用户
 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 1391|回复: 0

Spark入门(三)——源码阅读环境搭建、编译

[复制链接]

394

主题

412

帖子

2065

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
2065

活跃会员热心会员推广达人宣传达人灌水之王突出贡献优秀版主荣誉管理论坛元老

发表于 2016-12-22 12:37:46 | 显示全部楼层 |阅读模式
Spark 编译安装前的准备工作
1. 构建Linux 虚拟机或物理测试节点(1~3台)
2. 安装JDK 1.7
3. 安装Scala 2.10
4. 安装maven 编译工具(仅需要在编译节点上安装,笔者这里使用的是自己的虚拟机)

Spark 下载
从上述地址下载最新源码
1-8.png


Spark IDEA 源码阅读环境搭建
1.将下载好的源码copy到workspace 下并解压
解压命令:tar -xzvf  spark-version.tgz
1.jpg
2.使用IDEA 打开Spark项目,这时IDEA 会对Spark项目结构进行分析这个过程需要一段时间
File->Open
1-1.jpg

1-2.jpg

Spark 编译
进入Spark 目录,在终端输入如下编译命令(编译命令中的依赖组件可以根据自己的需要增删)
mvn clean install -Dhadoop.version=2.7 -Pyarn,spark,spark-ganglia-lgpl,kinesis-asl,hive -DskipTests -Dfindbugs.ski-Dmaven.javadoc.skip -Dcheckstyle.skip package
编译成功截图如下
1-4-300x268.jpg
编译完成后需要使用$SPARK_HOME/dev/make-distribution.sh 生成部署包
[Bash shell] 纯文本查看 复制代码
./dev/make-distribution.sh --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

小结:
Spark的源码阅读环境对于我们学习Spark 运行机制和原理是非常重要的,后续将会介绍如何搭建一个Spark 集群


来源:怡燃的博客

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐 上一条 /4 下一条

返回顶部