当前位置:首页 > Java入门 > 正文内容

ambari集成impala(ambari-server setup)

abcsky887个月前 (10-26)Java入门93

本文分享给大家的是:

背景ambari 2.7.0 + HDP 3.0 + elasticsearch 5.2.0ambari原生的HDP中不存在es,如果想通过ambari管理ES就需要自定义servers了,本文将详细记录整合过程。

ambari集成impala(ambari-server setup)

准备1.下载Ambari-elasticsearch整合包:用于在HDP群集上安装和管理Elasticsearch stack 的Ambari服务 2. elasticsearch 5.2.0安装包获取方式1

Ambari-elasticsearch和各个版本es下载地址:movehub/Ambari-elasticsearch​gitee.com/LeiMove/seo网站推广怎么做Ambari-elasticsearch

https://www.elastic.co/cn/downloads/past-releases#elasticsearch​www.elastic.co/cn/downloads/past-releases#elasticsearch

注意:如果Ambari-elasticsearch是从gitee中下载的,需要修改一下这个文件Ambari-elasticsearch/package/scripts/params.py

删除33行多写的{ ,否则在ambari web安装es的时候会报错注意:如果在官网下载的elasticsearch安装包,切记解压后给seo网站推广怎么做与运行权限在打包上传到yum http服务.chmod +x -R ./elasticsearch-5.2.0/*。

tar cvf elasticsearch-5.2.0.tar.gz ./elasticsearch-5.2.0/*---获取方式2鄙人的网盘:包含Ambari-elasticsearch 和 es 5.2.0 安装包

链接:https://pan.baidu.com/s/19aofiwt8IGT64yLOZ-z2vw提取码:2che

总流程修改 Ambari-elasticsearch 的部分配置和代码将 elasticsearch-5.2.0.tar.gz 上传至yum源,以便所seo网站推广怎么做有agent都可以下载到该安装包(也可以将安装包上传至所有agent节点的统一路径)。

在ambari-server中创建自定义 services,并且把 1步中改好的文件整体放进去重启ambari-server在ambari web中安装es集群下面介绍一下Ambari-elasticsearch中部分文件的作用。

├── configuration(配置文件目录) │ ├── elastic-env.xml (安装时的配置,比如安装包位置,工作目录等) │ └── elastic-site.xml (es组件的配置,比如es服务端口,日志目录等) seo网站推广怎么做 ├── LICENSE ├── metainfo.xml (描述了对整个项目的约束配置,是一个核心文件) ├── metrics.json ├── package (保存运行脚本) │ ├── archive.zip │ ├── files │ │ ├── downfiles.sh(负责下载,解压,赋予权限等功能) │ │ └── start-es.sh (负责启动es) │ ├── scripts │ │ ├── es_manager.py seo网站推广怎么做 │ │ ├── master.py (负责安装,开启,停止的脚本,方法名对应的是ambari web界面的功能键) │ │ ├── params.py (负责接收配置参数) │ │ ├── service_check.py │ │ └── status_params.py │ └── templates │ └── elasticsearch.yml.j2 ├── quicklinks │ └── quicklinks.json (对应ambari web的 Quick lseo网站推广怎么做inks) ├── README.md └── widgets.json

修改配置1.修改Ambari-elasticsearch/configuration/elastic-env.xml注意有汉字注释的部分 elastic_user elasticsearch es user user_group elasticsearch es group work_dir /app/var/run/es tarseo网站推广怎么做包存放,解压以及运行目录 es_tar_url http://192.168.10.110/ambari/ES/elasticsearch-5.2.0.tar.gz es tar包下载地址,对应总流程的 2

2.修改Ambari-elasticsearch/configuration/elastic-site.xml 如果你是下载gitee上的整合包,记得在文件中添加下面配置------

xpack.security.enabled false 401

------- cluster_name es-cluseo网站推广怎么做ster Cluster name identifies your cluster node_name adm Cluster name identifies your node network_host 192.168.10.110 elastic host http_port 9200 elastic port int log_dir /app/var/lseo网站推广怎么做og/elasticsearch Log directory for elastic node.master 1 being a master discovery.zen.ping.unicast.hosts ["192.168.10.110","192.168.10.111","192.168.10.112"] Log directory for elastic xpack.security.enabled false seo网站推广怎么做 401 pid_dir /var/run/elasticsearch es pid file path_data /var/lib/elasticsearch/data Path to directory where to store the data directory

3.修改Ambari-elasticsearch\package\files\downfiles.sh注意一下es的版本以及对应的安装包名字。

#!/usr/bin/env bash seo网站推广怎么做 #time: 11/2/17 ES_URL=$1 #es下载地址 #HEAD_URL=$2 #head插件下载地址 #NODE_URL=$3 WORK_DIR=$2 #安装目录 ES_USER=$3 #WORK_DIR=/usr/local/lib/ambari-service #CLUSTERNAME=es-81 #NODENAME=adm #NETWORKHOST=192.168.1.81 #HTTPPORT=9200 seo网站推广怎么做 if [ ! -d ${WORK_DIR} ]; then mkdir -p ${WORK_DIR} fi id ${ES_USER} &> /dev/null if [ $? -ne 0 ]; then useradd ${ES_USER} fi wget -O ${WORK_DIR}/elasticsearch-5.2.0.tar.gz $ES_URL tar -vxf ${WORK_DIR}/elasticsearch-5.2.0.tar.gz -seo网站推广怎么做C ${WORK_DIR} chown ${ES_USER}:${ES_USER} ${WORK_DIR}/elasticsearch-5.2.0 -R #wget -O ${WORK_DIR}/elasticsearch-head-master.zip $HEAD_URL #wget -O ${WORK_DIR}/node-v6.11.4-linux-x64.tar $NODE_URL #tar -xf ${WORK_DIR}/node-v6.11.4-linux-x64.tar #unzip ${WORK_DIseo网站推广怎么做R}/elasticsearch-head-master.zip &> /dev/null #sed s/1024$/2048/ /etc/security/limits.d/90-nproc.conf && echo "WARNING:changed the /etc/security/limits.d/90-nproc.conf" #echo * soft nofile 65536 #* hard nofile 131072 #* soft nproc 2048 #* hard nproc 4096 >>seo网站推广怎么做 /etc/security/limits.conf && echo "WARNING:changed the /etc/security/limits.conf" #echo "vm.max_map_count = 655360" >> /etc/sysctl.conf #sysctl -p &> /dev/null ######################################################head-plugin: #sed -i "/port:/i hostname: 0.0.0.0," $seo网站推广怎么做{WORK_DIR}/elasticsearch-head-master/Gruntfile.js # #ln -s ${WORK_DIR}/node-v6.11.4-linux-x64/bin/node /usr/local/sbin #ln -s ${WORK_DIR}/node-v6.11.4-linux-x64/bin/npm /usr/local/sbin # #npm config set registry https://registry.npm.taobao.org # seo网站推广怎么做 #cd ${WORK_DIR}/node-v6.11.4-linux-x64/lib/node_modules/npm #npm install –g grunt # #cd ${WORK_DIR}/elasticsearch-head-master #npm install #ln -s ${WORK_DIR}/elasticsearch-head-master/node_modules/grunt/bin/grunt /usr/local/sbin #grunt server & seo网站推广怎么做 #start es with the user of elasticsearch #su - elasticsearch <

4.修改Ambari-elasticsearch\package\scripts\params.py!!!!注意es版本,以及指定java_home!!!!

1.修改好了打包成 Ambari-elasticsearch.tar.gz上传到ambari-server服务器,同时也将elasticsearch-5.2.0.tar.gz 上传到http服务所在服务器。

2.找到service目录(如果没有就find一下ambari-server): /varseo网站推广怎么做/lib/ambari-server/resources/stacks/HDP/3.0/services/可以看一下其他service服务的目录,和我们刚才下载Ambari-elasticsearch的目录结构基本一致。

3.创建文件夹ELASTICSEARCH :mkdir ELASTICSEARCH将Ambari-elasticsearch.tar.gz解压到创建好的ELASTICSEARCH中。

4.将 elasticsearch-5.2.0.tar.gz 上传至http服务上去即Ambari-elasticsearch/configuration/elastic-env.xml 中es_tseo网站推广怎么做ar_url对应value。

注意这个服务是你自己搭的,写我的没用。

到这里准备工作就完成了,可以页面操作了ambari web安装es服务1.完成以上操作之后,重启ambari-server服务ambari-server restart进入ambari web > Service > Add Service 。

发现可以添加es服务了。

按步骤下一步下一步即可安装es服务。

常见的报错以及解决方案问题1.脚本运行权限问题Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/seo网站推广怎么做services/ELASTICSEARCH/package/scripts/master.py", line 61, in Elasticsearch().execute() File "/usr/lib/ambari-agent/lib/resource_management/libraries/script/script.py", line 353, in execute method(env) File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/ELASTICseo网站推广怎么做SEARCH/package/scripts/master.py", line 50, in start PATH: $PATH:$JAVA_HOME/bin File "/usr/lib/ambari-agent/lib/resource_management/core/base.py", line 166, in __init__ self.env.run() File "/usr/lib/ambari-agent/lib/resource_management/core/environment.py", line 160, seo网站推广怎么做in run self.run_action(resource, action) File "/usr/lib/ambari-agent/lib/resource_management/core/environment.py", line 124, in run_action provider_action() File "/usr/lib/ambari-agent/lib/resource_management/core/providers/system.py", line 263, in action_run seo网站推广怎么做returns=self.resource.returns) File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 72, in inner result = function(command, **kwargs) File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 102, in checked_call tries=tries, try_sleseo网站推广怎么做ep=try_sleep, timeout_kill_strategy=timeout_kill_strategy, returns=returns) File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py", line 150, in _call_wrapper result = _call(command, **kwargs_copy) File "/usr/lib/ambari-agent/lib/resource_management/core/shell.py"seo网站推广怎么做, line 314, in _call raise ExecutionFailed(err_msg, code, out, err) resource_management.core.exceptions.ExecutionFailed: Execution of sh /var/lib/ambari-agent/cache/stacks/HDP/3.0/services/ELASTICSEARCH/package/files/start-es.sh /app/var/run/es/elasticsearch-5.2.0 /var/run/elasticseaseo网站推广怎么做rch returned 126. -bash: line 1: /app/var/run/es/elasticsearch-5.2.0/bin/elasticsearch: Permission denied Last login: Thu Oct 14 08:25:37 CST 2021 on pts/1

主要检查以下两个目录中的的脚本文件有没有运行权限1./var/lib/ambari-server/resources/stacks/HDP/3.0/services/ELASTICSEARCH/package

这个目录是我们自己上传到ambari-server的,可能存在没有seo网站推广怎么做权限的问题,解决步骤如下修改运行权限,chmod -R +x ./*查找ambari-agent上关于es的缓存find /* | grep ELASTICSEARCH。

发现这个目录 /var/lib/ambari-agent/cache/stacks/HDP/3.0/services/ELASTICSEARCHrm -rf /var/lib/ambari-agent/cache

/stacks/HDP/3.0/services/ELASTICSEARCH (注意所有agent节点都要执行删除)重启ambari-server (重启时ambari-agent上会重新同步ambari-serverseo网站推广怎么做生成缓存,运行权限也同步过来了)

重新安装ES服务即可2./app/var/run/es/elasticsearch-5.2.0这个是ES的运行目录,这里的文件是由 elasticsearch-5.2.0.tar.gz安装包解压而来的,检查一下运行权限,如果没有,解决方案如下。

赋予目录下所有脚本运行权限 chmod -R +x ./*重新打包tar cvf elasticsearch-5.2.0.tar.gz ./*把打好的包重新上传到http服务清空es的安装目录(/app/var/run/es)下的所有文件

重新安装ES服务即可 问题2.服务启动正常,但是秒挂查看日志如下报错vi /app/vseo网站推广怎么做ar/log/elasticsearch/es-cluster.logCaused by: org.elasticsearch.transport.BindTransportException: Failed to bind to [9300-9400] at org.elasticsearch.transport.TcpTransport.bindToPort(TcpTransport.java:729) ~[elasticsearch-5.2.0.jar:5.2.0] at org.elasticsearch.transport.TcpTransport.bseo网站推广怎么做indServer(TcpTransport.java:694) ~[elasticsearch-5.2.0.jar:5.2.0] at org.elasticsearch.transport.netty4.Netty4Transport.doStart(Netty4Transport.java:183) ~[?:?] at org.elasticsearch.common.component.AbstractLifecycleComponent.start(AbstractLifecycleComponent.java:69) ~[elasticsearch-seo网站推广怎么做5.2.0.jar:5.2.0] at org.elasticsearch.transport.TransportService.doStart(TransportService.java:202) ~[elasticsearch-5.2.0.jar:5.2.0] at org.elasticsearch.common.component.AbstractLifecycleComponent.start(AbstractLifecycleComponent.java:69) ~[elasticsearch-5.2.0.jar:5.2.0] at seo网站推广怎么做org.elasticsearch.node.Node.start(Node.java:589) ~[elasticsearch-5.2.0.jar:5.2.0] at org.elasticsearch.bootstrap.Bootstrap.start(Bootstrap.java:261) ~[elasticsearch-5.2.0.jar:5.2.0] at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:335) ~[elasticsearch-5.2.0.jar:5.2.0] seo网站推广怎么做 at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[elasticsearch-5.2.0.jar:5.2.0] ... 6 more。

解决 ambari web > elasticsearch > CONFIGS >修改 network_host = 0.0.0.0

如有问题欢迎交流。

扫描二维码推送至手机访问。

版权声明:本文由海南拓宏网络科技工作室发布,如需转载请注明出处。

本文链接:http://4blc.com/post/297.html

分享给朋友:

“ambari集成impala(ambari-server setup)” 的相关文章

杜蕾斯那些经典的文案(杜蕾斯文案合集2020)

本篇文章给大家谈谈 提起杜蕾斯,不少媒体人都会感慨它的广告创意和营销手法。你对他们的记忆是否还停留在鞋套广告抑或是刘翔声援广告?今天小编就带你来品一品杜蕾斯最新的广告创意。 图 |杜蕾斯鞋套广告 图 |杜蕾斯刘翔广告 近日,在一年一度的中秋佳节,杜蕾斯化用诗...

亚马逊云计算官网入口(亚马逊云计算官网首页)

今天给各位分享 北京2023年2月23日 /美通社/ -- 亚马逊云科技宣布与Hugging Face进一步合作,以加速对大语言模型和视觉模型的训练、精调和部署,促进生成式AI应用的创建生成式AI应用可以执行各种任务,包括文本摘要、问题回答、代码生成、图像创建以及撰写论文和文章。...

38810算24点怎么算式小学(38810算24点怎么算式短)

本文分享给大家的是: 原标题:面试官:3,3,8,8怎么算出24?小伙立刻被录用如今的面试官为了选拔出适合自己公司岗位的人才,可谓是煞费苦心他们已经不满足于简简单单的问题,而是另辟蹊径,希望能够用最简单的方式尽量考察出面试者的综合能力。 我们今天要说的就是面试官的一个奇葩问...

maven项目与web项目差别(java项目和javaweb项目的区别)

今天给各位分享 Java是一种广泛应用于企业级应用程序开发的编程语言,而Maven是一种常用的Java项目管理工具虽然Java项目和Maven项目都是基于Java语言开发的,但二者之间存在一些区别下面,我们将详细介绍Java项目和Maven项目的区别和应用场景。 Java项...

学java容易吗(学java很难吗)

本篇文章给大家谈谈 中庸的回答就是也难也不难[呲牙]。入门容易,中级也可期,高级就要看自身底蕴了。作为十多年的从业者我们来一起分析一下。 1、编程或者说Java入门其实很简单编程最基本的逻辑就是写三种代码,也可以理解为套路顺序、循环、条件还有一些高级的类似递归的技巧,这些都...

孤立的意思(孤立无援什么意思)

本文分享给大家的是: 原标题:孤立5q、MDS-U是什么意思?(看不懂英文简称)在进一步的WHO分型中,对骨髓增生异常综合征(MDS)进行了分型诊断的细节化归类其中,对于一些不经常出现的简称不少病友持疑惑,下文进行相关解析!。 孤立5q、MDS-U是什么意思?(看不懂英文简...