hbase读写操作后hdfs内存占用太大的问题
查看内存信息
查看本地磁盘的内存信息
df -h
查看hdfs上根目录下各个文件的内存大小
hdfs dfs -du -h /
查看hdfs上/hbase目录下各个文件的内存大小
hdfs dfs -du -h /hbase
查看hdfs上/hbase/oldWALs目录下各个文件的内存大小
hdfs dfs -du -h /hbase/oldWALs
hbase读写操作
每一个hbase的读写操作日志都会占358MB的内存，内存占用很大。
可以设置hdfs的最小块的大小 小于128MB。
每次操作完hbase后记得删除这里的文件。
在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使，会进入安全模式，因为没有读写完，手动退出安全模式后依然会再次进入安全模式，会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后，hadoop的读写操作完后，解除安全模式后，才能删除/hbase/oldWALs 下面的文件。
hdfs dfs -rm -r /hbase/oldWALs/*
原文地址：https://blog.csdn.net/qq_45972323/article/details/144443155
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！