原创：扣钉日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介继上次我们JVM停顿十几秒的问题解决后，我们系统终于稳定了，再也不会无故重启了！这是之前的文章：耗时几个月，终于找到了JVM停顿十几秒的原因但有点奇怪的是，每隔一段时间，我们服务接口就会有一小波499超时，经过查看gc日志，又发现JVM停顿了好几秒！查看safepoint日志有了上次JVM停顿排查经验后，我马上就检查了gc日志与safepoint日志，发现如下日志：$

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介在信息安全领域，一般会遇到"窃听"、"篡改"、"伪装"、"否认"这些威胁，而密码学家们提供了相应的密码学算法来解决这些问题，如下：窃听：攻击者可以在网络上安置了一个路由器，侦听所有经过的数据包，这样数据就被泄密了，密码学提供了对称密码与公钥密码算法对数据加密，保证机密性。篡改：攻击者对经过的数据包进行修改，使得接收方获取到错误的信息，密码学提供了单向散列函数生成“数据指纹”，保证数据完整性。伪装：攻击者伪装成发送方来发送数据，使得接收方获取到虚假的信息，密码学提供消息认证码生成"认证码"，保证数据来源的正确性。否认：发送方本身是攻击者，发送了恶意请求后，谎称自己没有发此请求，密码学提供了数字签名算法，使其不可否认。像对称加密、公钥加密、消息散列、消息认证码、数字签名这些算法，也被称为密码学家的工具箱。加密分类现如今的加密算法，主要分为两大类，一类是对称加密，而另一类是非对称加密，而对称加密在实现方式上又可以分为两类，一类是分组加密算法，另一类是流加密算法。分组加密分组加密(block

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介这要从一次压测项目说起，那是我们公司的系统与另几家同行公司的系统做性能比拼，性能数据会直接影响项目中标，因此压力非常大。当时甲方给大家提供了17台服务器供系统部署，并使用LoadRunner对系统进行压测，乙方有完全的服务器使用权，甲方派一个人负责压测并记录性能数据，要求压测QPS不低于4000。项目开工接收到项目后，我们leader作为本项目的技术负责人，很快就为本项目指定了架构，web层使用nginx作为负载均衡，应用层使用weblogic服务器(理解为类似tomcat的东西即可)集群，数据库使用Oracle

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介最近我们系统出现了一些奇怪的现象，系统每隔几个星期会在大半夜重启一次，分析过程花费了很长时间，令人印象深刻，故在此记录一下。第一次排查由于重启后，进程现场信息都丢失了，所以这个问题非常难以排查，像常规的jstack、jmap、arthas等都派不上用场，能用得上的只有机器监控数据与日志。在看机器监控时，发现重启时间点的CPU、磁盘io使用都会升高，但很快我们就确认了这个信息无任何帮助，因为jvm启动会由于类加载、GIT编译等导致CPU、磁盘io升高，所以这个升高是重启本身导致的，并不是导致问题的原因。然后就是分析业务日志、内核日志，经过一段时间分析，结论如下：在重启的时间点，系统流量并没有明显上升。在dmesg日志中并没有找到oom-killer的痕迹，虽然这经常是导致进程莫名重启的原因。由于部署平台也可能会kill掉进程(当进程不响应健康检查请求时)，我们也怀疑是它们的误杀，但运维同学认为不可能误杀。问题没有任何进一步的进展了，由于没有任何进程现场，为了排查问题，我开发了一个脚本，主要逻辑就是监控CPU、内存使用率，达到一个阈值后自动收集jstack、jmap信息，脚本部署之后就没继续排查了。第二次排查部署了脚本之后，过了几个小时，进程又重启了，但这次不是在大半夜，而是白天，又开始了排查的过程...在这次排查过程中，我突然发现之前漏掉了对gc日志的检查，我赶紧打开gc日志看了起来，发现了下面这种输出：Heap

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介这是Linux命令拾遗系列的第七篇，本篇主要介绍Linux中负载的概念与问题诊断方法。本系列文章索引Linux命令拾遗-入门篇Linux命令拾遗-文本处理篇Linux命令拾遗-软件资源观测Linux命令拾遗-硬件资源观测Linux命令拾遗-剖析工具Linux命令拾遗-动态追踪工具一般在类unix系统上，都会有系统负载（load

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介这是Linux命令拾遗系列的第六篇，本篇主要介绍工作中常用的动态追踪工具strace、arthas、bpftrace等。本系列文章索引Linux命令拾遗-入门篇Linux命令拾遗-文本处理篇Linux命令拾遗-软件资源观测Linux命令拾遗-硬件资源观测Linux命令拾遗-剖析工具之前介绍了一些线程与内存剖析工具，如jstack、pstack能很容易观测到线程被卡在了什么位置，而jmap、gcore则容易排查内存泄露、oom等问题。但线程与内存剖析，只能观测到进程的整体情况，有些时候我们需要观测到某一方法级别，比如调用方法test()时，传入的参数是什么，返回值是多少，花费了多少时间？这种情况下，我们就需要使用一些动态追踪工具了，如strace、arthas、bpftrace、systemtap等。strace与ltracestrace是Linux中用来观测系统调用的工具，学过操作系统原理都知道，操作系统向应用程序暴露了一批系统调用接口，应用程序只能通过这些系统调用接口来访问操作系统，比如申请内存、文件或网络io操作等。用法如下：#

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介这是Linux命令拾遗系列的第五篇，本篇主要介绍Linux中常用的线程与内存剖析工具，以及更高级的perf性能分析工具等。本系列文章索引Linux命令拾遗-入门篇Linux命令拾遗-文本处理篇Linux命令拾遗-软件资源观测Linux命令拾遗-硬件资源观测像vmstat,top等资源观测命令，只能观测到资源整体使用情况，以及在各进程/线程上的使用情况，但没法了解到进程/线程为什么会使用这么多资源？这种情况下，可以通过剖析(profile)工具做进一步分析，如jstack,jmap,pstack,gcore,perf等。jstackjstack是JVM下的线程剖析工具，可以打印出当前时刻各线程的调用栈，这样就可以了解到jvm中各线程都在干什么了，如下：$

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介这是Linux命令拾遗系列的第四篇，本篇主要介绍Linux中观测硬件资源的命令，如top、vmstat、pidstat、iostat、sar等。本系列文章索引Linux命令拾遗-入门篇Linux命令拾遗-文本处理篇Linux命令拾遗-软件资源观测CPU与内存观测vmstatvmstat全名是虚拟内存统计信息命令，看起来好像是用来观测内存的，实际上cpu、内存、io资源它都能观测。$

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介这是Linux命令拾遗系列的第三篇，本篇主要介绍Linux中观测软件资源的命令，如ps、netstat、lsof，以及查看进程信息的宝库/proc目录。本系列文章索引Linux命令拾遗-入门篇Linux命令拾遗-文本处理篇系统资源常分为两类，一类是软件资源，如进程、线程、文件描述符、socket连接，偏开发视角，另一类是硬件资源，如CPU、内存、硬盘、网络，偏运维视角，而本章主要介绍Linux中与观测软件资源有关的命令。ps查看进程相关信息相信ps命令大家也比较熟悉，主要是用来列出进程的，基本用法如下：#

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介这是Linux命令拾遗系列的第二篇，本篇主要介绍Linux中与文本处理相关的命令，如xargs、grep、sed、awk等。本系列文章索引Linux命令拾遗-入门篇常用文本相关命令cat、tac、less#

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介之前出过很多和Linux命令有关的文章，但都比较零散，故打算出一个Linux系列文章，一步一步带出Linux中纷繁复杂的命令知识。本篇是第一章，主要讲解Linux命令基本使用，并带认识一些最基础的Linux命令使用。基础知识当我们打开终端时，终端软件会为我们打开一个shell软件，这个shell会显示一个提示符，然后等待用户输入命令，类似下面这个：然后我们就可以在这个界面中执行Linux命令了，shell做为一个命令解释器，它会解释并执行用户输入的命令。这种shell有多种，如sh、csh、tcsh、zsh、fish、bash，而目前Linux环境中使用得最广泛的就是bash。命令参数与选项Linux命令基本都是如下的形式：cat

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。背景起因是这样的，我们想开发一个小脚本，当cpu使用率过高时，使用jstack将java的线程栈保存下来，以便后面分析。获取cpu使用率获取cpu使用率是比较容易的，使用vmstat就可以了，第15列id就是cpu空闲率，用100减一下，就是cpu使用率了。于是，我使用如下命令获取了cpu使用率，发现能获取到，如下：vmstat

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介对于刚使用Linux不久的同学，肯定会遇到这个问题，就是用grep匹配数字时，发现\d匹配不了数字。主要原因是grep支持三种正则表达式BRE,ERE,PCRE，而其默认使用的是BRE，但\d是定义在PCRE中的，所以grep默认是不支持\d的。正则表达式分类BRE基本的正则表达式（Basic

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介当年，我还是Linux菜鸟的时候，就在简历上写着精通Linux命令了，而当面试官问我“如何快速查看某个文件的第200行，仅这一行”时，我的心里是懵逼的。当时面试官心里估计在窃喜，从我敷衍的回答中，他应该已经完全了解到了我的Linux水平如何[-_-]不过，不得不说，这是一道非常好的面试题，对于一些只知道cd

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介众所周知，mysql中有两个时间类型，timestamp与datetime，但当在网上搜索timestamp与datetime区别时，会发现网上有不少与时区有关的完全相反的结论，主要两种：timestamp没有时区问题，而datetime有时区问题，原因是timestamp是以UTC格式存储的，而datetime存储类似于时间字符串的形式，示例博文：MySQL

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介在工作过程中，我们慢慢会了解到hex、base64、urlencode这3种常见的字节编码方案，它们是如此的熟悉，可是经常我们自己也说不清为啥要使用它们，下面我会详细解释下。hex编码hex编码，又称十六进制编码(也称base16)，一般用于方便人们查看二进制文件内容，它将字节数据中的每4个bit使用数字(0-9)、字母(A-F)共16个字符等效表示，由于一个字节有8个bit，所以一个字节会被编码为2个hex字符，具体规则如下：

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介现代编程语言都抽象出了String字符串这个概念，注意它是一个高级抽象，但是计算机中实际表示信息时，都是用的字节，所以就需要一种机制，让字符串与字节之间可以相互转换，这种转换机制就是字符编码，如GBK，UTF-8所以可以这样理解字符串与字符编码的关系:字符串是一种抽象，比如java中的String类，它在概念上是编码无关的，里面包含一串字符，你不需要关心它在内存中是用什么编码实现的，尽管字符串在内存中存储也是需要使用编码机制的。字节串才需要关心编码，当我们要将字符串保存到文件中或发送到网络上时，都需要使用字符编码机制，将字符串转换为字节串，因为计算机底层只认字节。常见字符编码方案ASCII全称为American

update为当前读，即读取最新的数据，普通的select则是快照读，在mysql中insert、update、delete、select

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介网上有很多辅助开发的小工具，如base64,md5之类的，但这些小工具其实基本都可以用Linux命令实现，即方便又高效。1.查看特殊字符把这个放在首位，是因为这个实在太重要了，程序经常会因为特殊的看不见的字符而出现bug，因此一些本应该执行正确而实际出乎意料的字符串处理，你都应该看看是否含有特殊字符。$

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介前一篇介绍了Linux中一些基本的文本命令与使用技巧，但是结合场景过少，本篇结合工作中一些常见的场景介绍一些技巧。数据提取数据提取在文本处理中是常见，提取单个值可以使用grep

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介前一篇我介绍了awk，这是一个全能的文本处理神器，因为它本身就是一门编程语言了，但对于很多场景，使用Linux预设的一些文本处理命令，会更方便快捷，如grep、sed等。本篇就来介绍一下Linux上常用的文本处理命令，由于内容较多，分为上下两篇，这里是上篇。查看文本内容主要包含cat、less、grep、head、tail，请看示例：#

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介刚开始入门awk时，觉得awk很简单，像是一个玩具，根本无法应用到工作之中，但随着对awk的了解不断加深，就会越发觉得这玩意的强大，大佬们称其为上古神器，绝不是空穴来风。这也可以说明，一些热门的技术知识点，如果你觉得它不过如此，那绝对是你对它的掌握不够深入，而不是它没啥用。基本语法awk基本语法如下：awk

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介现如今，正则表达式几乎是程序员的必备技能了，它入手确实很容易，但如果你不仔细琢磨学习，会长期停留在正则最基本的用法层面上。因此，本篇文章，我会介绍一些能用正则解决的场景，但这些场景如果全自己琢磨实现的话，需要花一些时间才能完成，或者就完全想不出来，另外也会介绍一些正则表达式的性能问题。匹配多个单词比如我想匹配zhangsan、lisi、wangwu这三个人名，这是一个很常见的场景，其实在正则里面也算基本功，但鉴于本人初入门时还是在网上搜索得到的答案，还是值得提一下的！实现如下：zhangsan|lisi|wangwu其中|表示或的含义，就是匹配zhangsan或lisi或wangwu了。匹配重复数字匹配如1111、2222、3333这样的4位长度的重复数字，突一想，这不用\d{4}就解决了嚒，其实不然，因为\d{4}可以匹配1111，但也可以匹配1234啊。写法如下：(\d)\1{3}\d匹配第一个数字，后面的\1匹配前面\d匹配的内容，重复3次，这样就可以匹配1111或2222这样的4位数字串了。匹配各种空白在使用正则时，常用\s来匹配空白，但遗憾的是，还是有一些Unicode的空白字符，\s无法匹配，这时可以尝试POSIX字符类\p{Space}，我在Java中验证通过，可以匹配ascii空白字符与Unicode空白字符，如果是其它语言的话，可能正则语法会稍有区别。位置匹配正则表达式中\G与环视是比较难理解的，因为这两个东西很多书上只是介绍了匹配的规则，没有说出实质，导致死记的规则过一段时间就忘，也不明白这两东西有啥用。我们转换一下思维，其实在正则表达式中，匹配目标只有两个，一是匹配字符串中的字符，二是匹配字符串中的位置，如下图：上边的hello，有5个字符可以匹配，另外还有6个位置可以匹配，而^hello中^就是代表匹配开头的位置，所以如果是_hello就无法被^hello匹配，因为_与h之间的位置并不是开头，不能与^匹配！常见位置匹配规则规则匹配的位置^

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。简介有时，我们需要处理一批数据，使用while循环是个不错的想法，但while循环中的命令是一个一个执行的，如果要批量处理的数据很多，执行时间就会很长，而parallel可以让命令并行执行，从而缩短命令执行时间。下面，我们先用ncat来模拟一个处理数据的接口。模拟接口ncat

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。网络连通性检测当应用出现网络异常时，首先需要确认的就是网络的连通性是否正常，下面一组命令可快速检测网络的连通性，如下：检测DNSdig

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。场景有时我们开发了一个api接口，自己调得好好的，接口文档也写好了，但别人调用时就是有问题，而当我们调试时，发现请求根本没进来或进来了却取不到调用参数，该怎么告知对方调用姿势哪不对呢？解决方法对于编码新手，一般会和对方撕扯一会，然后甚至去review对方的代码，这样也许能解决问题，但自己毕竟不熟悉别人系统的实现，耗费时间较长。另外api调用端可能因为封装方式不同或者加过一些拦截器，导致你看调用端的代码根本看不到什么问题，或者因为调用参数有一些不易分辨或不可见的特殊字符，让你无法察觉到这里有问题。其实这种问题，我们从网络层出发，对比自己正确调用时的数据包与对方错误调用时的数据包内容，以此来诊断问题所在更加高效，毕竟任何封装或拦截器的处理，最终都会反馈在底层的交互数据上。这里，我使用springmvc开发一个简单的接口，如下：@RestControllerpublic

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。场景写过一段时间代码后，对连接池应该不会陌生，MySQL、HttpClient、MQ等这些都需要连接池，而一般来说，服务端程序会自动断开长时间不交互的连接，但TCP连接本身是无法感知到对端关闭的，因此连接池组件一般都需要配置一个空闲时间，连接池组件需要根据这个值来判断连接是否存活，那么该怎么配置此值呢？检测服务端空闲断连时间首先最容易想到的，就是使用抓包软件了，比如wireshark，根据TCP连接时会发SYN包，断开时会发FIN包，只需要用FIN包的时间减去SYN包的时间，就是服务端允许的空闲时间值，但这种方法稍微有点麻烦。但我们可以使用telnet命令来检测，如下：$

原创：打码日记（微信公众号ID：codelogs），欢迎分享，转载请保留出处。场景很多时候，我们需要批量操作多台机器，业界一般使用Ansible来实现，但使用Ansible来操作多台机器的前提是需要有ssh权限的，可悲的是，对于开发人员来说，一般是没有正式环境机器的ssh权限的，只能通过一个指定的入口登录机器，也可以理解，毕竟正式环境如此重要。不过，如果你的生产环境可以访问你的开发机，那么可以通过反向Shell来访问机器，然后将反向Shell与tmux结合，又可实现同时操作多台机器的效果，这就是本文要介绍的。正反向Shell如果你了解过nc命令，一定听说过nc可以建立正向或反向Shell，这里就不解释正向或反向Shell的概念了，解释不清，直接上nc实现正向Shell与反向Shell的例子。由于nc命令本身存在模糊性，有些文章介绍的nc命令是ncat，有些文章介绍的nc命令又是netcat，这两个还是有些差别的，故这里的例子，直接使用ncat避免混淆。开发机ip为192.168.0.10