尧图网站建设 尧图网络
  • 首页
  • 关于我们
  • 服务项目
  • 案例展示
  • 建站流程
  • 资讯中心
  • 联系我们
首页/资讯中心/详情

Ambari安装Hadoop

Ambari安装Hadoop
📅 发布时间:2026/6/17 21:34:07

Ambari界面安装Hadoop集群及其他的组件

Ambari的Web页面安装Hadoop

登入及定义集群名称

使用初始的:admin/admin账号登入到Ambari上,启动安装程序,之后输入集群的名称。
Ambari安装界面
定义集群名称

bigtop选择组件清单

在这一步选择默认的bigtop-3.3.0,也可根据需要自己列出清单以及将组件包上传至对应的repo上。
bigtop版本选择
这里配置的BaseUrl为之前搭建的私人仓库地址的路径。同时删除了其他的OS配置。
然后进入下一步。

配置FQDN和SSH

FQDN可按照在节点上的hosts清单去配置,如果点下一步的时候出现warring的弹窗,跳过即可。
而SSH的私钥可以在hadoop-app的root用户下~/.ssh/rsa_id获取

su - 
cat ~/.ssh/rsa_id#当然也可以将rsa_id这个私钥直接scp到本地,然后手动上传
scp ~/.ssh/rsa_id user@192.168.122.1:~\Desktop

FQDN与SSH

节点检测与组件选择

在上一步骤后,Ambari会去依据FQDN和SSH去尝试通信各节点,去确认各节点的存在。
节点出现不可连接的ERROR可通过点击红色或是黄色的标识来查看日志。

节点确认
在完成节点检查之后,需要选择自己所需的组件服务与功能,这里我选择了全部组件服务。
在选择之后,将组件服务在不同的节点上进行了简单分配。
组件选择
组件选服务分配
hadoop组件

配置各组件服务

下一步,需要配置各组件的数据库连接参数与用户。将之前使用的后端数据库的地址填写至对应的位置即可。在测试连接通过后,可进行下以一个组件的配置。其他的只需要配置好密码即可。
!!!可以尝试在数据库连接工具中尝试各组件的用户的连接,尤其是mysql数据库记得配置好在mysql.user下的host,使其与部署组件服务的节点一致,否则会在安装的时候提示失败!!!
组件服务参数1
组件服务参数2
组件服务参数3

组件自动安装

在组件安装时,会将之前所选择的组件和配置添加到对应的节点。本次安装时,在自动执行dnf install 相关的命令时概率返回fail transcation,导致当次安装失败,多重试几次即可。
但重复出现相同的问题时,需要仔细查看对应节点上的错误日志,找到原因。比如:安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.
此问题在问题shooting已给出解决办法。
自动安装1
安装失败
(多次重试后,依旧报同样的错误,要仔细查看导致的原因)

安装完成

在结束上诉操作后,在启动服务时,可能会出现报错,可以根据错误日志找到具体原因,大多情况都是文件目录权限不足或是数据库的操作失败。使用acl添加权限或是调整数据库对应用户权限即可。
安装完成
(此处可见有些指标无法显示,具体解决可见问题shooting)
修复之后的界面:
指标修复

开启高可用

在HDFS和YARN中,可以在右上角的ACTION中找到对应的HA按钮,根据指引即可完成HADOOP的高可用模式。
高可用

问题shooting

安装的时候弹出:The package hadoop-hdfs-dfsrouter is not supported by this version of the stack-select tool.

引发原因:
在该结点的bigtop版本包里,没有配置hadoop-hdfs-dfsrouter

处理方法:
在/usr/lib/bigtop-select/distro-select路径下
leaves的字典中添加:"hadoop-hdfs-dfsrouter":"hadoop-hdfs",
aliases的字典中的hadoop-hdfs-server的列表中添加"hadoop-hdfs-dfsrouter"

监控面板的监控数据不全,在namenode的日志里提示:No live collector to send metrics to...

完整提示:
INFO timeline.HadoopTimelineMetricsSink (AbstractTimelineMetricsSink.java:getCurrentCollectorHost(311)) - No live collector to send metrics to. Metrics to be sent will be discarded. This message will be skipped for the next 20 times.

参考网站:
https://issues.apache.org/jira/browse/AMBARI-26435

引发原因:
jar包冲突

处理方法:
删除/usr/lib/ambari-metrics-collector/jakarta.ws.rs-api-2.1.6.jar
下载jsr311-api-1.1.1.jar
或直接从/usr/bigtop/3.3.0/usr/lib/hadoop/lib/jsr311-api-1.1.1.jar拷贝过来
至/usr/lib/ambari-metrics-collector路径下
然后重新启动ambari的组件

SOLR服务无法正常启动,页面无法正常打开

可查看对应的SOLR的日志,在/var/log/solr/solr-8983-console.log
有可能引发的原因:JDK版本不符合,关于GC的部分参数无效

解决方法:

1.降低jdk版本
2.修改GC相关的参数
在solr的Advanced的参数中修改对应的选项:

Solr GC log options:

-Xlog:gc*=info:file=gc.log:time,uptime,level,tags:filecount=15,filesize=200M

Solr GC Tune:

-XX:+UseG1GC -XX:NewRatio=3 -XX:SurvivorRatio=4 -XX:TargetSurvivorRatio=90 -XX:MaxTenuringThreshold=8 -XX:ConcGCThreads=4 -XX:ParallelGCThreads=4 -XX:+ParallelRefProcEnabled -XX:PretenureSizeThreshold=64m

solr-env template 中的GC_LOG_OPTS:

"{{solr_gc_log_opts}} -Xlog:gc:{{solr_log_dir}}/solr_gc.log"

相关新闻

  • Ambari-bigtop搭建hadoop数据仓库架构
  • Python中的`namedtuple`:命名元组的用法与优势
  • directx 与d3d 什么关系

最新新闻

  • 海外仓仓库SKU管理混乱?货权有纠纷?4个设置告别货权混淆! - 跨境小媛
  • 2026天津钻石回收权威测评图鉴|国标4C定级规范、智能无损鉴测、十区直营布局与口碑评级报告 - 薛定谔的梨花猫
  • NoFences:Windows桌面分区神器,三分钟打造极致整洁工作空间
  • 6款论文降AI率网站亲测:AI痕迹彻底消失,这款便宜又好用
  • 深夜营运事故引人深思!北斗安心联 AI 主动安全监控,把行车风险扼杀在事发前
  • 濮阳美雅整木定制|2026濮阳全屋整木定制行业盘点+选购避坑指南 - 百航

日新闻

  • 2026年不锈钢卷板厂家推荐排行榜:冷轧热轧/304/201不锈钢卷板,高颜值耐腐蚀源头厂家实力精选 - 企业推荐官【官方】
  • FLUX.1-dev FP8模型实战指南:24GB以下显卡高效部署方案
  • 2026佛山长途搬家价目表:跨省跨市搬家费用完整计算指南 - 从来都是英雄出少年

周新闻

  • 3步解锁iOS设备:applera1n激活锁绕过完全指南
  • 39 2026 人工智能证书终极盘点,普通人选 AI 证书可以从这些方向入手
  • Redis 暴露公网有多危险?从端口检查到补救步骤

月新闻

  • 【总结】入门篇:50句话让你记住架构核心概念
  • WeChatMsg技术方案解析:实现Mac微信数据自主管理的完整解决方案
  • WeChatMsg:革新性微信数据备份方案,打造你的专属数字记忆库

关于尧图

  • 公司简介
  • 团队介绍
  • 企业文化
  • 荣誉资质

服务项目

  • 定制开发
  • 电商建站
  • UI 设计
  • 运维服务

快速链接

  • 案例展示
  • 建站流程
  • 常见问题
  • 资讯中心

联系方式

  • 📍北京市朝阳区互联网产业园 A 座 10 层
  • 📞400-888-8888
  • ✉️contact@rkmt.cn
  • 🕐周一至周日 9:00-21:00

© 2024 北京尧图网络科技有限公司 版权所有 | 京 ICP 备 XXXXXXXX 号