我是靠谱客的博主 细心鸵鸟,这篇文章主要介绍CDH集群日志垃圾清理记录CDHHDFSHiveHueimpalaKuduYarnZooKeeper其他,现在分享给大家,希望可以做个参考。

文章目录

  • CDH
  • HDFS
  • Hive
  • Hue
  • impala
  • Kudu
  • Yarn
  • ZooKeeper
  • 其他

CDH

  • Activity Monitor、Service Monitor、Host Monitor
复制代码
1
2
for i in `ls /var/log/cloudera-scm-firehose/*.log.out`;do cat /dev/null > $i;done
  • Alert Publisher
复制代码
1
2
for i in `ls /var/log/cloudera-scm-alertpublisher/*.log.out`;do cat /dev/null > $i;done
  • Event Server
复制代码
1
2
for i in `ls /var/log/cloudera-scm-eventserver/*.log.out`;do cat /dev/null > $i;done

HDFS

  • NameNode、SecondaryNameNode、DataNode
复制代码
1
2
3
for i in `ls /var/log/hadoop-hdfs/*.log.out`;do cat /dev/null > $i;done for i in `ls /var/log/hadoop-hdfs/*.log`;do cat /dev/null > $i;done

Hive

  • HiveServer2、Hive Metastore Server
复制代码
1
2
for i in `ls /var/log/hive/*.log.out`;do cat /dev/null > $i;done

Hue

  • Hue Server
复制代码
1
2
for i in `ls /var/log/hue/*.log`;do cat /dev/null > $i;done
  • Load Balancer
复制代码
1
2
for i in `ls /var/log/hue-httpd/*_log`;do cat /dev/null > $i;done

impala

  • Impala Catalog Server
复制代码
1
2
for i in `ls /var/log/catalogd/catalogd.*`;do cat /dev/null > $i;done
  • Impala StateStore
复制代码
1
2
for i in `ls /var/log/statestore/statestored.*`;do cat /dev/null > $i;done
  • Impala Daemon
复制代码
1
2
for i in `ls /var/log/impalad/impalad.*`;do cat /dev/null > $i;done

Kudu

  • Master
复制代码
1
2
for i in `ls /var/log/kudu/kudu-master.*`;do cat /dev/null > $i;done
  • Tablet Server
复制代码
1
2
for i in `ls /var/log/kudu/kudu-tserver.*`;do cat /dev/null > $i;done

Yarn

  • ResourceManager、NodeManager
复制代码
1
2
for i in `ls /var/log/hadoop-yarn/*.log.out`;do cat /dev/null > $i;done
  • JobHistory Server
复制代码
1
2
for i in `ls /var/log/hadoop-mapreduce/*.log.out`;do cat /dev/null > $i;done

ZooKeeper

  • Server
复制代码
1
2
for i in `ls /var/log/zookeeper/*.log`;do cat /dev/null > $i;done

其他

cdh

复制代码
1
2
3
rm -rf /var/lib/cloudera-host-monitor/ts/*/partition*/* rm -rf /var/lib/cloudera-service-monitor/ts/*/partition*/*

yarn cache

  • yarn.nodemanager.localizer.cache.cleanup.interval-ms:这是缓存清理间隔时间。默认值为 600000 毫秒。此间隔时间后,如果缓存大小超出 yarn.nodemanager.localizer.cache.target-size-mb 中设置的值,则将删除未被运行容器使用的文件。
  • yarn.nodemanager.localizer.cache.target-size-mb:这是缓存允许的最大磁盘空间。默认值为 10240 MB。当缓存磁盘大小超出此值时,将按照 yarn.nodemanager.localizer.cache.cleanup.interval-ms 中设置的时间间隔删除未被运行容器使用的文件。
复制代码
1
2
3
yarn.nodemanager.localizer.cache.cleanup.interval-ms 400000 yarn.nodemanager.localizer.cache.target-size-mb 5120

在这里插入图片描述

最后

以上就是细心鸵鸟最近收集整理的关于CDH集群日志垃圾清理记录CDHHDFSHiveHueimpalaKuduYarnZooKeeper其他的全部内容,更多相关CDH集群日志垃圾清理记录CDHHDFSHiveHueimpalaKuduYarnZooKeeper其他内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(86)

评论列表共有 0 条评论

立即
投稿
返回
顶部