怎么通过spark将数据存储到elasticsearch

这篇文章主要介绍“怎么通过spark将数据存储到elasticsearch”,在日常操作中,相信很多人在怎么通过spark将数据存储到elasticsearch问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么通过spark将数据存储到elasticsearch”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

延寿ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联建站的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18982081108(备注:SSL证书合作)期待与您的合作!

	maven依赖
	
	    org.elasticsearch
	    elasticsearch-spark-20_2.11
	    6.6.0
	
package hgs.spark.es
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.elasticsearch.spark._
import org.apache.spark.sql.SQLContext
object ViaSparkLoadDataToES {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("toEs").setMaster("local")
    conf.set("es.resource", "mtest/IT")
    conf.set("es.nodes", "bigdata00,bigdata01")
    conf.set("es.port", "9200")
    val context = new SparkContext(conf)
    
    val sqlContext = new SQLContext(context)
    
    
    import sqlContext.implicits._ 
    
    val rdd = context.textFile( "d:\\person",1)
    //val jsonrddDF = sqlContext.read.json(rdd)
    rdd.saveJsonToEs("mtest/IT")
    
    
   
    context.stop()
    
   
    
  }
 
  
}

到此,关于“怎么通过spark将数据存储到elasticsearch”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


网页名称:怎么通过spark将数据存储到elasticsearch
本文来源:http://csdahua.cn/article/ghpioc.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流