阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
准备工作创建同一专有网络下的阿里云Elasticsearch和E-MapReduce(以下简称EMR)实例、关闭Elasticsearch实例的自动创建索引功能并创建索引和Mapping、下载与Elasticsearch实例版本一致的ES-Hadoop安装包。
步骤一:上传ES-Hadoop JAR包至HDFS
将已下载的ES-Hadoop安装包上传至EMR Master节点的HDFS目录下。
步骤二:创建Hive外表
创建Hive外表,与Elasticsearch索引中的字段进行映射。
步骤三:通过Hive写入索引数据
通过HiveSQL,向Elasticsearch实例的索引中写入数据。
步骤四:通过Hive读取索引数据
通过HiveSQL,读取Elasticsearch实例中的索引数据。
步骤一:上传ES-Hadoop JAR包至HDFS
下载ES-Hadoop安装包,其版本需要与Elasticsearch实例保持一致。
本文使用elasticsearch-hadoop-6.7.0.zip。
登录E-MapReduce控制台,获取Master节点的IP地址,并通过SSH登录对应的ECS机器。
具体操作步骤请参见登录集群。
将已下载的elasticsearch-hadoop-6.7.0.zip上传至Master节点,并解压获得elasticsearch-hadoop-hive-6.7.0.jar。
创建HDFS目录,将elasticsearch-hadoop-hive-6.7.0.jar上传至该目录下。
步骤二:创建Hive外表
在EMR控制台的数据开发模块中,创建HiveSQL类型的作业。
具体操作步骤请参见Hive SQL作业配置。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云24h自助充值,免费开户]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
将以下代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
莆田研修班的生活 -
2507不锈钢管 莆田研修班的生活中,水比两国的优雅,是由有关部门的负责人、企事业单位的负责人和部分主人。 他们优雅地参加工作以外的眼光理解为高级研修班的人,加快了参训人员队
-
thirdthree的区别_third和three有什么区别 -
网购鲜花新森林 Third和Three有什么区别? 当我们谈论数字时,Third和Three之间存在一些明显的区别。我们来看一下它们的不同之处: 1. 数字的含义 Third是英语中表示序数的数字,表示在
-
钢厂洗车装置出现频繁停机的原因 -
1、当打开 钢厂洗车装置 电源开关后,机器虽然有高压输出,但清洗效果并不太好。造成这种现象的原因很可能是: 设备 内液体温度太高、清洗液选用不合适、高压频率协调没有调好
-
急需防静电桌垫?想知道如何选择最佳尺寸和厚度?_佰斯特POUSTO -
防静电桌垫 是一种专门用于微电子行业生产车间和实验室的桌垫,适用于电子半导体器件、电脑、通信设备和集成电路等领域。 防静电桌垫主要用于桌面、装配线和地板垫等方面的铺
-
高级研修班双修要多少钱 -
抵押车出售 高级研修班双修要多少钱呢?关键点一定要看专业化,关键还是看专业本身有多极,多花玲,为什么专业的人多,可以得到多方面的发展,可以提供到极高质量的高级研修班平台,可
-
windows10manager怎么安装_msdn我告诉你win10怎么安装 -
钓鱼吧-出发吧,伟大的钓手 如何安装Windows 10 Manager? Windows 10 Manager是一款强大的系统优化工具,它可以帮助您管理和优化Windows 10操作系统。下面是安装Windows 10 Manager的步骤: 步骤1: