如何编译Spark1.5.2

这篇文章将为大家详细讲解有关如何编译Spark 1.5.2,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

创新互联是一家网站设计公司,集创意、互联网应用、软件技术为一体的创意网站建设服务商,主营产品:响应式网站建设、高端网站设计全网整合营销推广。我们专注企业品牌在网站中的整体树立,网络互动的体验,以及在手机等移动端的优质呈现。成都做网站、成都网站建设、移动互联产品、网络运营、VI设计、云产品.运维为核心业务。为用户提供一站式解决方案,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏析悦目的作品,网站的价值服务。

在编译spark 1.5.2 时,由于maven版本过低导致出错(貌似使用oschina国内镜像也出现了错误,所以没采用国内镜像,这样就慢一些,但是没关系,能成功就行)

升级maven到最新的版本:

                             (1)卸载之前的maven, sudo apt-get autoremove maven

                             (2)下载最新的maven, apache-maven-3.3.9-bin.tar.gz

                             (3)sudo tar -zxvf  apache-maven-3.3.9-bin.tar.gz -C /usr

                             (4)sudo gedit  ~/.bashrc

                             (5) # MAVEN

                                        export MAVEN_HOME=/usr/apache-maven-3.3.9

                                        export PATH=${MAVEN_HOME}/bin:$PATH

                            (6)source ~/.bashrc

  设置Maven内存, 

export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1g -XX:ReservedCodeCacheSize=512m"

                   (这里得设置 MaxPermSize=1g ,不然会出现 OutOfMemoryError)

 开始编译:mvn -Pyarn -Dyarn.version=2.6.0 -Dhadoop.version=2.6.0 -DskipTests clean -U package

-vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M

-Xms    JVM初始分配的堆内存大小,默认是物理内存的1/64。
-Xmx   JVM最大分配的堆内存大小,默认是物理内存的1/4。
-XX:PermSize  JVM初始分配的非堆内存大小,默认是物理内存的1/64。
-XX:MaxPermSize  JVM最大分配的非堆内存大小,默认是物理内存的1/4。
-XX:NewSize  JVM初始分配的新生代堆区域内存大小。
-XX:MaxNewSize  JVM最大分配的新生代堆区域内存大小。
-XX:ReservedCodeCacheSize  编译代码时的缓存空间大小。

关于“如何编译Spark 1.5.2”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。


分享文章:如何编译Spark1.5.2
链接地址:http://csdahua.cn/article/ishegs.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流