扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
一、客户端提交spark应用程序
创新互联公司是一家专注于成都网站设计、做网站与策划设计,海西网站建设哪家好?创新互联公司做网站,专注于网站建设十年,网设计领域的专业建站公司;建站业务涵盖:海西等地区。海西做网站价格咨询:18980820575
是指在spark集群之外的机器，提交spark应用程序到spark集群运行。
二、spark-submit提交程序语法
使用spark-submit工具提交Spark应用程序的语法：
./bin/spark-submit \
--class
--master
--deploy-mode
--conf
... # other options
[application-arguments]
--class 应用程序的入口类名；
--master spark 集群的url；
--deploy-mode 部署方式；
--conf 应用程序的sparkContext配置选项；
--application-jar 外部依赖；
--application-arguments 应用程序参数；
三、在客户端使用spark-submit提交spark应用程序时需要注意的事项
1）、客户端机器与spark集群必须互相知道，即相互ping得通；
2）、如果应用程序中用到了本地文件，那么集群中的worker机器都必须有该文件，否则会报找不到文件；
3）、windows客户端，如果应用程序中用到本地文件，那么无法提交到linux环境下的spark集群；
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网