阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
准备工作创建同一专有网络下的阿里云Elasticsearch和E-MapReduce(以下简称EMR)实例、关闭Elasticsearch实例的自动创建索引功能并创建索引和Mapping、下载与Elasticsearch实例版本一致的ES-Hadoop安装包。
步骤一:上传ES-Hadoop JAR包至HDFS
将已下载的ES-Hadoop安装包上传至EMR Master节点的HDFS目录下。
步骤二:创建Hive外表
创建Hive外表,与Elasticsearch索引中的字段进行映射。
步骤三:通过Hive写入索引数据
通过HiveSQL,向Elasticsearch实例的索引中写入数据。
步骤四:通过Hive读取索引数据
通过HiveSQL,读取Elasticsearch实例中的索引数据。
步骤一:上传ES-Hadoop JAR包至HDFS
下载ES-Hadoop安装包,其版本需要与Elasticsearch实例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登录E-MapReduce控制台,获取Master节点的IP地址,并通过SSH登录对应的ECS机器。
具体操作步骤请参见登录集群。
将已下载的elasticsearch-hadoop-6.7.0.zip上传至Master节点,并解压获得elasticsearch-hadoop-hive-6.7.0.jar。
创建HDFS目录,将elasticsearch-hadoop-hive-6.7.0.jar上传至该目录下。
步骤二:创建Hive外表
在EMR控制台的数据开发模块中,创建HiveSQL类型的作业。
具体操作步骤请参见Hive SQL作业配置。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云24h自助充值,免费开户]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
将以下代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
湖南免联考项目 -
成长邦知识库 湖南免联考项目大纲项目创业教育胥老师认为毕业生在毕业后获得的项目有项目背景以及现阶段的专业知识的掌握,为以后的职业生涯奠定基础。 培养目标:主要以考生在企
-
wifi如何设置_wifi如何设置密码 -
如何设置WiFi密码 WiFi密码是保护你家庭网络安全的重要手段,下面将介绍一些简单的步骤来设置WiFi密码。 步骤一:登录WiFi路由器管理界面 首先,打开你的浏览器,在地址栏中输入路由
-
阿里云国际账号注册,阿里云服务器购买 -
阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd 使用自定义Topic进行通信 您可以在物联网平台上自
-
塔斯马尼亚旅游:探索澳大利亚最后的边疆 -
塔斯马尼亚 ,位于澳大利亚大陆的东南角,是澳大利亚最小的州,却也是拥有最独特自然风光的州。这里有着原始的森林、清澈的湖泊、壮观的海洋景观以及丰富的野生动物,吸引着无
-
防静电工作台的接地注意事项_佰斯特POUSTO -
对于很多企业来说, 防静电工作台 是生产电子产品过程中,一种必不可少的生产制造设备,电子产品的生产,是必须要排除静电干扰的。 所以,电子车间都是有着防静电要求的,那么
-
香港免联考会计硕士申请 -
Pista de sándwich 香港免联考会计硕士申请会计硕士(MPAcc)报考条件:获得教育部承认的大学本科毕业证书。 每年的1月报名,届时可自行选择,名额有限。 FBritishColumbiaFamination考试:考生报名后