Java 如何在 Intellij 中找到 spark、Hadoop 和 AWS jars

Question

我正在用 Java 在 IntelliJ 上运行 Spark 应用程序。我在 pom.xml 中添加了 spark、Hadoop 和 AWS 依赖项，但不知何故没有加载 AWS 凭证。我得到的确切错误是 Caused by: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint下面是我的 .java 和 pom.xml 文件。SparkSession spark  = SparkSession                    .builder()                    .master("local") .config("spark.hadoop.fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem")            .config("spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version", "2")                    .config("spark.hadoop.fs.s3a.awsAccessKeyId", AWS_KEY)                    .config("spark.hadoop.fs.s3a.awsSecretAccessKey", AWS_SECRET_KEY)                    .getOrCreate();            JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());            Dataset<Row> dF = spark.read().load("s3a://bucket/abc.parquet");这是我的 pom.xml<dependencies>    <dependency>        <groupId>org.apache.spark</groupId>        <artifactId>spark-core_2.11</artifactId>        <version>2.3.2</version>    </dependency>    <dependency>        <groupId>org.apache.spark</groupId>        <artifactId>spark-sql_2.11</artifactId>        <version>2.3.2</version>    </dependency>    <dependency>        <groupId>com.amazonaws</groupId>        <artifactId>aws-java-sdk</artifactId>        <version>1.11.417</version>    </dependency>    <dependency>        <groupId>org.apache.hadoop</groupId>        <artifactId>hadoop-aws</artifactId>        <version>3.1.1</version>    </dependency>    <dependency>        <groupId>org.apache.hadoop</groupId>        <artifactId>hadoop-hdfs</artifactId>        <version>3.1.1</version>    </dependency>我被困在这里一段时间并尝试了所有可用的解决方案。我在我的环境中添加了导出 AWS 密钥。考虑到没有像 python 或 Scala 这样的 java spark shell 并且 pom.xml 是唯一的方法，你有没有其他方法可以为 java 指定 jars 或键？

Answer 1

发现您只需要在 SparkContext 中添加 AWS 凭证，而不必在 SparkSession 中添加。

JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());

sc.hadoopConfiguration().set("fs.s3a.access.key", AWS_KEY);

sc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_SECRET_KEY);