作为高级Java,你应该了解的Linux知识(非广告)
原创:小姐姐味道(微信公众号ID:xjjdog),欢迎分享,转载请保留出处。
作为一个javaer,我以前写过很多关于Linux的文章。但经过多年的观察,发现其实对于大部分人,有些东西压根就用不着。用的最多的,就是到线上排查个问题而已,这让人很是苦恼。那么,我们就将范围再缩小一下。
Linux上,最常用的一批命令解析(10年精选)
Linux生产环境上,最常用的一套“Sed“技巧
Linux生产环境上,最常用的一套“AWK“技巧
Linux生产环境上,最常用的一套“vim“技巧
Linux
命令好像还真不少,根本原因就是软件多,也有像ag
这样的命令想替代grep
,但大多数命令古老而坚挺。不是因为这些软件设计的有多好,原因是一些软件最开始入驻了系统,时间久了,就变成了一种约定,这种习惯改变代价太大,就像把所有键盘的L
和F
换一下一样。
这片文章假定你已经了解大多数Linux命令,并了解操作系统的基本元素。如果你现在了解的命令还不足10个,下面的内容就不用看了。除了最基本的东西,本文列出一些对你的面试最常见的最能加分的地方,有些组合可能是你没见过的技巧。但本文仅仅是给出一个大致的轮廓和印象,为以后的专题性考察点作一个序。
本文中出现的所有命令,应该熟记并熟练使用。
几种比较典型的Linux系统
首先对目前的Linux版本有个大体的印象,大体分Desktop版和Server版,已经是百花齐放。
Ubuntu 最常见的Linux个人发行版,一位有情怀的南非富豪,有了钱你也可以这么做
CentOS 最常用Linux服务器发新版,RHEL的开放版本,因版权而生的轮子
Arch 滚动升级,海量二进制包,社区活跃,个人最爱
Gentoo 安装软件需要从源码开始编译,稳定,但用起来会很痛
LFS 从零构建Linux,跟着做一遍,Linux每根毛都看的清清楚楚
Kali 专做渗透用的,代表了发行版的一个发展路径,就是领域
首先要了解的概念
KISS Keep it Simple and Stupid,据说是哲学
一切皆文件 通常是文件的东西叫文件,进程、磁盘等也被抽象成了文件,比较离谱的管道、设备、socket等,也是文件。
这是Linux最重要的组织方式。
管道
|
分隔,前面命令的输出作为后面命令的输入,可以串联多个重定向
<
将文件做为命令的输入>
将命令的输出输出到文件>>
将命令的输出追加到文件SHELL 首先确认你的shell,一般最常用的是bash,也有不少用csh,zsh等的,通过
echo $SHELL
可以看到当前用户的shell,对应的配置文件也要相应改变。比如
.zshrc
,.bashrc
四大元素
进入linux,我们首先关注的是四个元素:
内存,cpu,存储,网络。
Linux提供了足够的命令,让你窥探它的每个角落。
接下来的命令都是些最常用的,不管精通不精通,想不起来要打屁股。
CPU
使用
top
查看cpu的load,使用shift+p按照cpu排序。需要了解wa,us等都是什么意思
使用
uptime
查看系统启动时间和load,load是什么意思呢?什么算是系统过载?
这是个高频问题,别怪我没告诉你
ps
命令勃大茎深,除了查进程号外,你还需要知道R、S、D、T、Z、<、N状态位的含义top
和ps
很多功能是相通的,比如watch "ps -mo %cpu,%mem,pid,ppid,command ax"
相当于top的进程列表;top -n 1 -bc
和ps -ef
的结果相似。有生就有死,可以用
kill
杀死进程。对java来说,需要关注
kill -9
、kill -15
、kill -3
的含义,kill的信号太多了,可以用kill -l
查看,搞懂大多数信号大有裨益。如果暂时不想死,可以通过
&
符号在后台执行,比如tail -f a.log &
。jobs
命令可以查看当前后台的列表,想恢复的话,使用fg
回到幕前。这都是终端作业,当你把
term
关了你的后台命令也会跟着消失,所以想让你的程序继续执行的话,需要nohup
命令,此命令需要牢记mpstat 显示了系统中 CPU 的各种统计信
了解cpu亲和性
内存
free -m
命令,了解free、used、cached、swap各项的含义cat /proc/meminfo
查看更详细的内存信息
细心的同学可能注意到,CPU和内存的信息,通过top等不同的命令显示的数值是一样的。slabtop
用来显示内核缓存占用情况,比如遍历大量文件造成缓存目录项。曾在生产环境中遇到因执行
find /
造成dentry_cache
耗尽服务器内存。vmstat
命令是我最喜欢也最常用的命令之一,可以以最快的速度了解系统的运行状况。每个参数的意义都要搞懂。
swapon、swapoff 开启,关闭交换空间
sar 又一统计类轮子,一般用作采样工具
存储
使用
df -h
查看系统磁盘使用概况lsblk 列出块设备信息
du 查看目录或者文件大小
网络
rsync 强大的同步工具,可以增量哦
netstat 查看Linux中网络系统状态信息,各种
ss 它能够显示更多更详细的有关TCP和连接状态的信息,而且比netstat更快速更高效。
curl、wget 模拟请求工具、下载工具。
如wget -r http://site 将下载整个站点
ab Apache服务器的性能测试工具
ifstat 统计网络接口流量状态
nslookup 查询域名DNS信息的工具,在内网根据ip查询域名是爽爆了
nc 网络工具中的瑞士军刀,不会用真是太可惜了
arp 可以显示和修改IP到MAC转换表
traceroute 显示数据包到主机间的路径,俗称几跳,跳的越少越快
tcpdump 不多说了,去下载wireshark了
wall 向当前所有打开的终端上输出信息。
使用
who
命令发现女神正在终端上,可以求爱
网络方面推荐安装体验一下kaliLinux,上面的工具会让你high到极点。
如何组织起来
linux的命令很有意思,除了各种stat来监控状态,也有各种trace来进行深入的跟踪,也有各种top来统计资源消耗者,也有各种ls来查看系统硬件如lsblk、lsusb、lscpi。基本上跟着你的感觉走,就能找到相应的工具,因为约定是系统中最强大的导向。
Linux有个比较另类的目录/proc
,承载了每个命令的蹂躏。像sysctl
命令,就是修改的/proc/sys
目录下的映射项。不信看看find /proc/sys -type f | wc -l
和sysctl -a| wc -l
的结果是不是很像?
/proc文件系统是一个伪文件系统,它只存在内存当中,而不占用外存空间。只不过以文件系统的方式为访问系统内核数据的操作提供接口。系统的所有状态都逃不过它的火眼金睛。例如:
cat /proc/vmstat
看一下,是不是和vmstat
命令的输出很像?cat /proc/meminfo
是不是最全的内存信息cat /proc/slabinfo
这不就是slabtop
的信息么cat /proc/devices
已经加载对设备们cat /proc/loadavg
load avg原来就躺在这里啊cat /proc/stat
所有的CPU活动信息ls /proc/$pid/fd
静静地躺着lsof
的结果
一般排查问题的方法
一般排查问题也是围绕着内存cpu等几个元素去排查。下图是一张大体的排查故障或者性能问题的过程,看图,不多说。
应用场景举例
下面举例从具体应用场景来说明各种命令的组合应用,此类场景数不胜数,需要个人积累。但强烈建议将sed和awk练的熟练一些。
怎么查看某个Java进程里面占用CPU最高的一个线程具体信息?
获取进程中占用CPU最高的线程,计为n。
使用top
top -H -p pid
,肉眼观察之使用ps
ps -mo spid,lwp,stime,time,%cpu -p pid
将线程号转化成十六进制
printf 0x%x n
使用jstack找到相应进程,打印线程后的100行信息
jstack -l pid| grep spid -A 100
统计每种网络状态的数量
netstat -ant | awk '{print $6}' | sort | uniq -c | sort -n -k 1 -r
首先使用netstat查看列表,使用’awk’截取第六列,使用uniq
进行统计,并对统计结果排序。当然,也可以这样。netstat -ant | awk '{arr[$6]++}END{for(i in arr){print arr[i]" "i }}' | sort -n -k 1 -r
这和“分析apache日志,给出当日访问ip的降序列表”是一样的问题。
怎么查看哪个进程在用swap
首先要了解/proc/$pid/smaps里有我们所需要的各种信息,其中Swap字段即是我们所需要的。只要循环遍历一下即可。
for i in `cd /proc;ls |grep "^[0-9]"|awk ' $0 >100'` ;do awk '/Swap:/{a=a+$2}END{print '"$i"',a/1024"M"}' /proc/$i/smaps ;done |sort -k2nr
最后,附上http://www.brendangregg.com/ 的大图一张
End
软件领域有两种人才,一种是工程型的,一种是研究型的。在Linux领域里,相对于搞内核研究的来说,搞命令行的就属于工程型。工程型也有他自己的苦衷,比如,背诵命令就挺痛苦的,一般来说不太推荐背诵,第一覆盖的面不广,第二记的快忘的也快,浪费脑细胞。牛逼的记法就是用,用时间来冲淡烟云,见微知著,并体验其中的喜悦。爱她并天天抱她上床,真爱才成。
作者简介:小姐姐味道 (xjjdog),一个不允许程序员走弯路的公众号。聚焦基础架构和Linux。十年架构,日百亿流量,与你探讨高并发世界,给你不一样的味道。我的个人微信xjjdog0,欢迎添加好友,进一步交流
JAVA后端知识索引
1、必看!java后端,亮剑诛仙
2、学完这100多技术,能当架构师么?
两篇索引,吊打全网,也是小姐姐味道系统化文章展开路径,定期梳理
基础架构
基础架构的范围,大多数是一些整体性的方案,但又比较深入底层原理。这方面的工作有两个特点:思路要全,内容要专。
这次要是讲不明白Spring Cloud核心组件,那我就白编这故事了
有比较精细俏皮的讲解
微服务不是全部,只是特定领域的子集
也有大而全的解决方案
解决方案:
1、服务端开发学习路径图,心疼小哥哥们
2、这么多监控组件,总有一款适合你
3、“分库分表” ?选型和流程要慎重,否则会失控
4、使用Netty,我们到底在开发些什么?
5、”MySQL官方驱动“主从分离的神秘面纱
6、这可能是最中肯的Redis规范了
7、发布系统有那么难么?
8、也浅谈下分布式存储要点
7、希望一个数据同步,包治百病
8、如何使用postgis做一个高可用的附近的人服务?
9、那些需要自己开发的安全需求
10、WebSocket协议 8 问
11、JAVA多线程使用场景和注意事项简版
12、上厅房,下厨房,ElasticSearch有的忙
13、分布式消息系统,设计要点。画龙画虎难画骨
14、Kafka基础知识索引
15、与亲生的Redis Cluster,来一次亲密接触
高并发相关(未完结):
1、高并发之限流,到底限的什么鬼
2、信号量限流,高并发场景不得不说的秘密
3、没有预热,不叫高并发,叫并发高
4、这样的高可用,我不要!
细节深入:
1、到处是map、flatMap,啥意思?
2、现实中的路由规则,可能比你想象中复杂的多
3、非规范SQL的sharding-jdbc实践
4、冷门instrument包,功能d炸天
5、360度测试:KAFKA会丢数据么?其高可用是否满足需求?
6、使用多线程增加kafka消费能力
7、由 Canal 组件分析集成中间件架构的一般过程
8、血洗多线程,抱得offer归 [标题党]
9、余额,危险的操作,给996留点福报 [教唆]
10、模拟邮件服务器,批量注册利器 [黑产]
11、这段java太古怪 [逗比]12、MySQL痿了,放不下这么多数据!
13、你的也是我的。3例ko多线程,局部变量透传
14、这句简单的sql,如何加索引?颠覆了我多年的认知