Spark error:Required executor memory (2048+384 MB) is above the max threshold (1536 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-allocation-mb’ and/or ‘yarn.nodemanager.resource.memory-mb’.

By | 2018年5月22日

在Spark执行的JAR的时候,可能你会遇到如题所示的报错,具体如下:

这个问题是因为你在调用【spark-submit】的时候,设定的memory过大导致的:

根据上面的报错:
the max threshold (1536 MB) of this cluster
当前集群的内存阈值是:1536 MB。

所以,spark-submit的内存调用时改小或者去系统中修改参数扩大即可解决问题:
[crayon-5b063d58ea777[……]

Read more

Spark error:Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://10.158.1.112:8020/spark/01/out already exists

By | 2018年5月22日

错误如题所示,具体如下:

该问题是,执行jar的时候,输出的目录不应该在HDFS中已存在,去掉已存在的目录就可以了,JAR会自动生成输出目录。

————————————————————
Done。

Spark + Java – error:Exception in thread “main” java.lang.UnsupportedClassVersionError: xxxxxxxxxx : Unsupported major.minor version 52.0

By | 2018年5月22日

在Linux中执行Java编写的Scala程序的时候,你可能遇到如题所示的问题,具体如下:

在Java中,上面错误信息的【52】的意义是如下的:

所以,解决该问题的重点在于Java的版本。

我的服务器的版本:

我的Spark是部署在CDH五节点的集群上的,所以,所有的节点的Java都必须设置。

来看看我本地生成Jar包的Intellij IDEA的项目中的Java版本[……]

Read more

Maven + Spark(scala) – error:[ERROR] scalac error: bad option: ‘-make:transitive’

By | 2018年5月22日

该错误发生在通过Maven打包Java scala classes的时候,具体报错如下:

解决上述问题需要修改这么几个地方:
1.

2.

然后再次【run maven】就没问题了:

——————————————————————
Done。

JBoss 6.1:Install on MS Windows Server

By | 2018年5月21日

JBOSS,官方下载路径:
http://jbossas.jboss.org/downloads/

一、Java支持
从Oracle官方下载Java的安装介质,然后在目标服务器上执行安装:

然后,验证下:

二、JBoss介质

解压:jboss-as-distribution-6.1.0.Final.zip

写入系统环境变量:

验证一下:

运行JBOSS:
[crayon-5b063d58e[……]

Read more