我在我的本地
Windows机器上运行spark.我能够成功启动spark shell.

我想编辑驻留在conf /文件夹中的spark-env.sh文件.将值添加到spark-env.sh文件的正确方法是什么.

E.g如果我想为SPARK_EXECUTOR_MEMORY变量添加值怎么做？
我对可用的不同答案感到困惑
1. SPARK_EXECUTOR_MEMORY =“2G”
出口

解决方法

spark-env.sh是一个用于Unix的常规bash脚本,因此在Windows安装中它永远不会被拾取.

在Windows上,您需要在conf目录中有一个spark-env.cmd文件,而是使用以下语法：

set SPARK_EXECUTOR_MEMORY=2G

在Unix上,该文件将被称为spark-env.sh,您需要使用export预先发送每个属性(例如：export SPARK_EXECUTOR_MEMORY = 2G)