作者:大数据之路 来源:https://my.oschina.net/leejun2005/blog/1524687
0、背景
经常做后端服务开发的同学,或多或少都遇到过 CPU 负载特别高的问题。尤其是在周末或大半夜,突然群里有人反馈线上机器负载特别高,不熟悉定位流程和思路的同学可能登上服务器一通手忙脚乱,定位过程百转千回。
对此,也有不少同学曾经整理过相关流程或方法论,类似把大象放进冰箱要几步,传统的方案一般是4步:
- top oder by with P:1040 // 首先按进程负载排序找到 axLoad(pid)
- top -Hp 进程PID:1073 // 找到相关负载 线程PID
- printf “0x%x\n”线程PID: 0×431 // 将线程PID转换为 16进制,为后面查找 jstack 日志做准备
- jstack 进程PID | vim +/十六进制线程PID – // 例如:jstack 1040|vim +/0×431 -
但是对于线上问题定位来说,分秒必争,上面的 4 步还是太繁琐耗时了,有没有可能封装成为一个工具,在有问题的时候一键定位,秒级找到有问题的代码行呢?
当然可以!工具链的成熟与否不仅体现了一个开发者的运维能力,也体现了开发者的效率意识。淘宝的oldratlee 同学就将上面的流程封装为了一个工具:show-busy-java-threads.sh(点击可直接下载,或参考文末链接下载),可以很方便的定位线上的这类问题,下面我会举两个例子来看实际的效果。
快速安装使用:
source <(curl -fsSL https://raw.githubusercontent.com/oldratlee/useful-scripts/master/test-cases/self-installer.sh)
1、java 正则表达式回溯造成 CPU 100%
编译、运行上述代码之后,咱们就能观察到服务器多了一个 100% CPU 的 java 进程:
怎么使用呢?
示例:
可以看到,一键直接定位异常代码行,是不是很方便?
2、线程死锁,程序 hang 住
执行之后的效果:
如何用工具定位:
一键定位:可以清晰的看到线程互相锁住了对方等待的资源,导致死锁,直接定位到代码行和具体原因。
通过上面两个例子,我想各位同学应该对这个工具和工具能解决什么问题有了比较深刻的了解了,遇到 CPU 100% 问题可以从此不再慌乱。但是更多的还是依赖大家自己去实践,毕竟实践出真知嘛~
3、免费实用的脚本工具大礼包
除了正文提到的 show-busy-java-threads.sh,oldratlee 同学还整合和不少常见的开发、运维过程中涉及到的脚本工具,觉得特别有用的我简单列下:
(1)show-duplicate-java-classes
偶尔会遇到本地开发、测试都正常,上线后却莫名其妙的 class 异常,历经千辛万苦找到的原因竟然是 Jar冲突!这个工具就可以找出Java Lib(Java库,即Jar文件)或Class目录(类目录)中的重复类。
Java开发的一个麻烦的问题是Jar冲突(即多个版本的Jar),或者说重复类。会出NoSuchMethod等的问题,还不见得当时出问题。找出有重复类的Jar,可以防患未然。
# 查找当前目录下所有Jar中的重复类 show-duplicate-java-classes # 查找多个指定目录下所有Jar中的重复类 show-duplicate-java-classes path/to/lib_dir1 /path/to/lib_dir2 # 查找多个指定Class目录下的重复类。 Class目录 通过 -c 选项指定 show-duplicate-java-classes -c path/to/class_dir1 -c /path/to/class_dir2 # 查找指定Class目录和指定目录下所有Jar中的重复类的Jar show-duplicate-java-classes path/to/lib_dir1 /path/to/lib_dir2 -c path/to/class_dir1 -c path/to/class_dir2
例如:
# 在war模块目录下执行,生成war文件 $ mvn install ... # 解压war文件,war文件中包含了应用的依赖的Jar文件 $ unzip target/*.war -d target/war ... # 检查重复类 $ show-duplicate-java-classes -c target/war/WEB-INF/classes target/war/WEB-INF/lib ...
(2)find-in-jars
在当前目录下所有jar文件里,查找类或资源文件。
用法:注意,后面Pattern是grep的 扩展正则表达式。
find-in-jars 'log4j\.properties' find-in-jars 'log4j\.xml