清理 ambari 安装的 hadoop 集群 - 文章教程

清理 ambari 安装的 hadoop 集群

发布于 2021-03-28 字数 3962 浏览 861 评论 0

本文针对 redhat 或者 centos

对于测试集群,如果通过 ambari 安装 hadoop 集群后,想重新再来一次的话,需要清理集群。

对于安装了很多 hadoop 组件的话,这个工作很繁琐。接下来是我整理的清理过程。

1,通过 ambari 将集群中的所用组件都关闭,如果关闭不了,直接 kill -9 XXX

2,关闭 ambari-server,ambari-agent

ambari-server stop
ambari-agent stop

3,卸载安装的软件

yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop* atlas-metadata* ambari* postgresql spark*

以上命令可能不全,执行完一下命令后,再执行

yum list | grep @HDP

查看是否还有没有卸载的,如果有,继续通过 # yum remove XXX 卸载

4,删除 postgresql 的数据

postgresql 软件卸载后,其数据还保留在硬盘中,需要把这部分数据删除掉,如果不删除掉,重新安装 ambari-server 后,有可能还应用以前的安装数据,而这些数据时错误数据,所以需要删除掉。

rm -rf /var/lib/pgsql

5,删除用户

ambari 安装 hadoop 集群会创建一些用户,清除集群时有必要清除这些用户,并删除对应的文件夹。这样做可以避免集群运行时出现的文件访问权限错误的问题。

userdel oozie
userdel hive
userdel ambari-qa
userdel flume  
userdel hdfs  
userdel knox  
userdel storm  
userdel mapred
userdel hbase  
userdel tez  
userdel zookeeper
userdel kafka  
userdel falcon
userdel sqoop  
userdel yarn  
userdel hcat
userdel atlas
userdel spark
rm -rf /home/atlas
rm -rf /home/accumulo
rm -rf /home/hbase
rm -rf /home/hive
rm -rf /home/oozie
rm -rf /home/storm
rm -rf /home/yarn
rm -rf /home/ambari-qa
rm -rf /home/falcon
rm -rf /home/hcat
rm -rf /home/kafka
rm -rf /home/mahout
rm -rf /home/spark
rm -rf /home/tez
rm -rf /home/zookeeper
rm -rf /home/flume
rm -rf /home/hdfs
rm -rf /home/knox
rm -rf /home/mapred
rm -rf /home/sqoop

6,删除 ambari 遗留数据

rm -rf /var/lib/ambari* 
rm -rf /usr/lib/python2.6/site-packages/ambari_*
rm -rf /usr/lib/python2.6/site-packages/resource_management
rm -rf /usr/lib/ambari-*
rm -rf /etc/ambari-* 

7,删除其他 hadoop 组件遗留数据

rm -rf /etc/hadoop
rm -rf /etc/hbase
rm -rf /etc/hive 
rm -rf /etc/oozie
rm -rf /etc/sqoop 
rm -rf /etc/zookeeper
rm -rf /etc/flume 
rm -rf /etc/storm 
rm -rf /etc/hive-hcatalog
rm -rf /etc/tez 
rm -rf /etc/falcon 
rm -rf /etc/knox 
rm -rf /etc/hive-webhcat
rm -rf /etc/kafka 
rm -rf /etc/slider 
rm -rf /etc/storm-slider-client
rm -rf /etc/spark 
rm -rf /var/run/spark
rm -rf /var/run/hadoop
rm -rf /var/run/hbase
rm -rf /var/run/zookeeper
rm -rf /var/run/flume
rm -rf /var/run/storm
rm -rf /var/run/webhcat
rm -rf /var/run/hadoop-yarn
rm -rf /var/run/hadoop-mapreduce
rm -rf /var/run/kafka
rm -rf /var/log/hadoop
rm -rf /var/log/hbase
rm -rf /var/log/flume
rm -rf /var/log/storm
rm -rf /var/log/hadoop-yarn
rm -rf /var/log/hadoop-mapreduce
rm -rf /var/log/knox 
rm -rf /usr/lib/flume
rm -rf /usr/lib/storm
rm -rf /var/lib/hive 
rm -rf /var/lib/oozie
rm -rf /var/lib/flume
rm -rf /var/lib/hadoop-hdfs
rm -rf /var/lib/knox 
rm -rf /var/log/hive 
rm -rf /var/log/oozie
rm -rf /var/log/zookeeper
rm -rf /var/log/falcon
rm -rf /var/log/webhcat
rm -rf /var/log/spark
rm -rf /var/tmp/oozie
rm -rf /tmp/ambari-qa
rm -rf /var/hadoop
rm -rf /hadoop/falcon
rm -rf /tmp/hadoop 
rm -rf /tmp/hadoop-hdfs
rm -rf /usr/hdp
rm -rf /usr/hadoop
rm -rf /opt/hadoop
rm -rf /tmp/hadoop
rm -rf /var/hadoop
rm -rf /hadoop

8,清理 yum 数据源

# yum clean all

通过以上清理后,重新安装 ambari 和 hadoop 集群(包括 HDFS,YARN+MapReduce2,Zookeeper,Ambari Metrics,Spark)成功。如果安装其他组件碰到由于未清理彻底而导致的问题,请留言指出需要清理的数据,本人会补全该文档。

如果你对这篇文章有疑问,欢迎到本站 社区 发帖提问或使用手Q扫描下方二维码加群参与讨论,获取更多帮助。

扫码加入群聊

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

目前还没有任何评论,快来抢沙发吧!

关于作者

JSmiles

生命进入颠沛而奔忙的本质状态,并将以不断告别和相遇的陈旧方式继续下去。

2583 文章
29 评论
84935 人气
更多

推荐作者

佚名

文章 0 评论 0

cs163v

文章 0 评论 0

Mr Rock

文章 0 评论 0