- 对OldWAL目录下的数据进行清理,释放空间。
- 进入hbase master web ui 在页面Home查看是否有region在RIT状态
- table Details查看是否有表报错信息,如果有进入具体的表查看是不有region处于大量的open和close操作。
- 切换到Procedures & Locks 页面查看是否有异常如:Locks卡住的Procedures
- 如果有region一直处于RIT状态,可以使用hbck2工具进行offline掉这个region后再现观察oldWAL目录是否还在增长。
- 在关闭处于RIT状态的region后目录还是在增长,切换到Procedures & Locks 页面,找到Lock的id 通过hbck2 工具bypass掉这个进程。
- 如果4、5操作过后还没有解决掉就需要强制删除这个表并且重建这个表来解决。
- 在强制删除这个有问题的表前要先对其做好备份(把表对应的region数据移走)。
- 在删除这个表后,再切换到Procedures & Locks 页面查看是否有Lock的进程,如果有就bypass掉,这时候oldWAL目录增长就会恢复正常。
- 恢复删除的表(建好表之后把之前的region数据移回来,再上线region)