Category Archives: Cloudera

Spark error:Required executor memory (2048+384 MB) is above the max threshold (1536 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-allocation-mb’ and/or ‘yarn.nodemanager.resource.memory-mb’.

By | 2018年5月22日

在Spark执行的JAR的时候,可能你会遇到如题所示的报错,具体如下:

这个问题是因为你在调用【spark-submit】的时候,设定的memory过大导致的:

Read more

Spark error:Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://10.158.1.112:8020/spark/01/out already exists

By | 2018年5月22日

错误如题所示,具体如下:

该问题是,执行jar的时候,输出的目录不应该在HDFS中已存在,去掉已存在的目录就可以了,JAR会自动生成输出目录。

————————————————————
Done。

Spark + Java – error:Exception in thread “main” java.lang.UnsupportedClassVersionError: xxxxxxxxxx : Unsupported major.minor version 52.0

By | 2018年5月22日

在Linux中执行Java编写的Scala程序的时候,你可能遇到如题所示的问题,具体如下:

在Java中,上面错误信息的【52】的意义是如下的:

所以,[……]

Read more

Maven + Spark(scala) – error:[ERROR] scalac error: bad option: ‘-make:transitive’

By | 2018年5月22日

该错误发生在通过Maven打包Java scala classes的时候,具体报错如下:

解决上述问题需要修改这么几个地方:
1.

2.

然后再次【run maven】就没问题了:
[……]

Read more