性能怪兽——JDK19的虚拟线程

点蓝色字关注“中移科协”

  //  

JVM调优、多线程的使用、代码层面的优化是JAVA程序员优化性能经常使用的方案。今天给大家介绍一种新的性能优化方案：JDK19中的性能怪兽--虚拟线程。

1

前言

生活在数字化时代的我们，在日常生活工作学习中或多或少遇到过这样的问题：双十一购物时，提交订单无法响应或无法提交；查询高考成绩时，网站打不开或打开了网站无法正常登录查分；春运高峰期，抢购火车票时，APP一直转圈，却抢不到票。

“性能”是每一个程序员在产品功能实现以后又爱又恨的话题。一款上线的产品，没有经过性能测试，犹如一颗定时炸弹，随时会被引爆；有的性能问题又如调皮的小孩，东躲西藏，等到了一定的时间就爆炸了。

而今在万物互联的物联网时代，随着社会的进步，数字化城市的建立，性能会更加凸显它的重要性。面对各种各样大的设备连接，面对大量设备的数据上报，物联网系统无时无刻不在承受着巨大的考验与压力。

2

虚拟线程介绍

虚拟线程(Virtual Threads)就犹如名字一样，并非传统意义上的JAVA线程。

传统意义上的JAVA线程（以下称为平台线程）跟操作系统的内核线程是一一映射的关系。而对于平台线程的创建和销毁所带来的开销是非常大的，所以JAVA采用线程池的方式来维护平台线程而避免线程的反复创建和销毁。然而平台线程也会占用内存、CPU资源，往往在CPU和网络连接成为系统瓶颈前，平台线程首当其冲的会成为系统瓶颈。在单台服务器硬件资源确定的情况下，平台线程的数量同样也会因为硬件资源而受到限制，也成为单台服务器吞吐量提升的主要障碍。

而虚拟线程则是由JDK而非操作系统提供的一种线程轻量级实现，它不依赖于平台线程的数量，也不会增加额外的上下文切换开销，也不会在代码的整个生命周期中阻塞系统线程。整个虚拟线程的维护是通过JVM进行管理，作为普通的JAVA对象存放在RAM中。那么意味着若干的虚拟线程可以在同一个系统线程上运行应用程序的代码，只有在虚拟线程执行的时候才会消耗系统线程，在等待和休眠时不会阻塞系统线程。

虚拟线程是一种非常廉价和丰富的线程，可以说虚拟线程的数量是一种近乎于无限多的线程，它对硬件的利用率接近于最好，在相同硬件配置服务器的情况下，虚拟线程比使用平台线程具备更高的并发性，从而提升整个应用程序的吞吐量。如果说平台线程和系统线程调度为1:1的方式，虚拟线程则采用M:N的调度方式，其中大量的虚拟线程M在较少的系统线程N上运行。

那么虚拟线程是如何被JVM调度呢？首先创建一个虚拟线程，此时JVM会将虚拟线程装载在平台线程上，平台线程则会去绑定一个系统线程。JVM会使用调度程序去使用调度线程执行虚拟线程中的任务。任务执行完成之后清空上下文变量，将调度线程返还至调度程序等待处理下一个任务。

3

虚拟线程VS平台线程

虚拟线程的使用其实非常简单，跟平台线程的使用方式基本相同，唯一不同的是创建虚拟线程时，需要调用newVirtualThreadPerTaskExecutor()来创建虚拟线程。

以下我将三种线程创建的方式来模拟高并发IO，并打印系统线程数，得到三种线程对处理10万累加计数的时长。

➢ 主程序：

主程序采用一个定时任务，每一秒打印一次所消耗的系统线程数。

第一种方式，无限制的使用普通线程（平台线程），不需要考虑OOM的情况：

➢ 三次运行结果：

普通线程(平台线程)耗时(三次): 9584 ms 、10189ms、9586ms

普通线程(平台线程)count计数为:  100000

初始占用系统线程数：9；峰值占用系统线程线程数：20027、19137、19140

第二种方式，使用线程池模式创建普通线程（平台线程），考虑OOM的情况，线程池中创建1000普通线程：

➢ 三次运行结果(由于运行时间过长，无法完整截图起始线程数)：

线程池模式1000普通线程(平台线程)耗时(三次): 100165ms 、100146ms、100159ms

线程池模式1000普通线程(平台线程)count计数为:  100000

初始占用系统线程数：9；峰值占用系统线程线程数：1009、1009、1009

第三种方式，使用虚拟线程模式，创建10万个虚拟线程：

➢ 三次运行结果：

• 虚拟线程耗时(三次): 2290ms、2523ms、2412ms

• 虚拟线程(平台线程)count计数为:  100000

• 初始占用系统线程数：9；峰值占用系统线程线程数：16

由于JVM对系统线程的释放机制，峰值占用系统线程数会逐渐从16降至9，由于释放需要一定时间，没对释放系统线程进行完整截图。

由上表可见，线程池模式处理10万累加并发处理的耗时是虚拟线程耗时的50倍；在不考虑服务内存OOM的情况下，普通线程模式占用了大量系统线程处理10万累加并发耗时也是虚拟线程的5倍。虚拟线程只占用了7个系统线程，来处理10万累加并发，这已经不能用并发的巨大的性能提升来描述，而是并发怪兽，性能革命！但是虚拟线程的运行速度并不比平台线程快，所以不能用来降低延迟。

4

虚拟线程的使用场景

那么什么时候可以使用虚拟线程？

• 应用系统有大量的并发任务（超过几千个并发任务），这些任务也需要大量的时间等待；

• IO密集型场景，工作负载不受CPU限制。

如何改造当前的线程池？

1. 直接用虚拟线程代替线程池，如果代码中使用CompletableFuture，则直接将异步执行任务线程池替换为：Executors.newVirtualThreadPerTaskExecutor().

2. 虚拟线程非常轻量化，不需要创建池，直接创建虚拟线程即可；

3. synchronized更改为ReentrantLock减少固定到平台线程的虚拟线程；

4. 虚拟线程中ThreadLocal使用方式和平台线程一致，但创建了大量的虚拟线程，每个虚拟线程中均有ThreadLocal实例及其引用的数据，则会对内存带来很大的负担。

5

总结

在万物互联的今天，物联网平台日益增长的设备连接数和庞大的并发量已经不是我们能忽视的问题，JDK19中的性能怪兽--虚拟线程给我们带来了一个崭新的方向来解决物联网平台并发量的问题。虚拟线程中还有很多可以深挖和学习与借鉴的前沿技术和设计思想，这需要我们不断的探究和实践来提升我们的OneNET平台，以应对未来无限的机遇与挑战。

 — end —

来源：移动Labs

作者：张天智

单位：中移物联网有限公司

往期精彩内容，戳我

更多精彩视频

“黑”科技表带

无人机飞行吊床

据说每一个点【在看】的人都收获了好运👇