Servlet3异步原理与实践

一、什么是Servlet

servlet 是基于 Java 的 Web 组件，由容器进行管理，来生成动态内容。像其他基于 Java 的组件技术一样，servlet 也是基于平台无关的 Java 类格式，被编译为平台无关的字节码，可以被基于 Java 技术的 Web 服务器动态加载并运行。容器（Container），有时候也叫做 servlet 引擎，是 Web 服务器为支持 servlet 功能扩展的部分。客户端通过 servlet 容器实现的 request/response paradigm（请求/应答模式） 与 Servlet 进行交互。

二、什么是Servlet规范

每当一个Servlet版本发布都会对应一个Servlet版本的规范，比如Servlet2.5、Servlet3.0、Servlet3.1. 规范中描述了Java Servlet API 的标准，定义了 Java Servlet API 中类、接口、方法签名的完整规范且附带的Javadoc 文档供开发人员查阅，目的主要是为Java Servlet 给出一个完整和清晰的解释。从下图可以看出Servlet规范版本和tomcat支持的版本的对应关系。比如Servlet3是从tomcat7以后开始支持的。

三、同步，异步，阻塞，非阻塞

同步异步是数据通信的方式，阻塞和非阻塞是一种状态。比如同步这种数据通讯方式里面可以有阻塞状态也可以有非阻塞状态。从另外一个角度理解同步和异步，就是如果一个线程干完的事情都是同步，有线程切换才能干完的事情就是异步。

四、Servlet3的异步位置

这里说的位置是指，从tomcat处理整个request请求流程中，异步处于哪一步。我们先梳理出在NIO模式下(是否使用NIO跟异步没有直接关系，这里是拿NIO模式下的tomcat流程做说明)，下面这个图是tomcat的总体结构，里面用箭头标明了请求线路。

我们知道在tomcat的组件中Connector和Engine是最核心的两个组件，Servlet3的异步处理就是发生在Connector中。Tomcat的组件之间的协作关系，后续会单独写一篇文章介绍。这里先有一个直观的认识。便与后续对异步理解。

五、Servlet3的异步流程

接收到request请求之后，由tomcat工作线程从HttpServletRequest中获得一个异步上下文AsyncContext对象，然后由tomcat工作线程把AsyncContext对象传递给业务处理线程，同时tomcat工作线程归还到工作线程池，这一步就是异步开始。在业务处理线程中完成业务逻辑的处理，生成response返回给客户端。在Servlet3.0中虽然处理请求可以实现异步，但是InputStream和OutputStream的IO操作还是阻塞的，当数据量大的request body 或者 response body的时候，就会导致不必要的等待。从Servlet3.1以后增加了非阻塞IO，需要tomcat8.x支持。

六、Servlet3的异步使用步骤

我们使用的大致步骤如下： 1、声明Servlet，增加asyncSupported属性，开启异步支持。@WebServlet(urlPatterns = "/AsyncLongRunningServlet", asyncSupported = true) 2、通过request获取异步上下文AsyncContext。AsyncContext asyncCtx = request.startAsync(); 3、开启业务逻辑处理线程，并将AsyncContext 传递给业务线程。executor.execute(new AsyncRequestProcessor(asyncCtx, secs)); 4、在异步业务逻辑处理线程中，通过asyncContext获取request和response，处理对应的业务。 5、业务逻辑处理线程处理完成逻辑之后，调用AsyncContext 的complete方法。asyncContext.complete();从而结束该次异步线程处理。

七、Servlet3的异步使用示例

7.1、AsyncLongRunningServlet.java 处理Servlet请求，并开启异步

1. package com.test.servlet3;

2. import javax.servlet.AsyncContext;

3. import javax.servlet.ServletException;

4. import javax.servlet.annotation.WebServlet;

5. import javax.servlet.http.HttpServlet;

6. import javax.servlet.http.HttpServletRequest;

7. import javax.servlet.http.HttpServletResponse;

8. import java.io.IOException;

9. import java.util.concurrent.ThreadPoolExecutor;

10. /**

11. * Created by wangxindong on 2017/10/19.

12. */

13. @WebServlet(urlPatterns = "/AsyncLongRunningServlet", asyncSupported = true)

14. public class AsyncLongRunningServlet extends HttpServlet {

15.    private static final long serialVersionUID = 1L;

16.    protected void doGet(HttpServletRequest request,

17.                         HttpServletResponse response) throws ServletException, IOException {

18.        long startTime = System.currentTimeMillis();

19.        System.out.println("AsyncLongRunningServlet Start::Name="

20.                + Thread.currentThread().getName() + "::ID="

21.                + Thread.currentThread().getId());

22.        request.setAttribute("org.apache.catalina.ASYNC_SUPPORTED", true);

23.        String time = request.getParameter("time");

24.        int secs = Integer.valueOf(time);

25.        // max 10 seconds

26.        if (secs > 10000)

27.            secs = 10000;

28.        AsyncContext asyncCtx = request.startAsync();

29.        asyncCtx.addListener(new AppAsyncListener());

30.        asyncCtx.setTimeout(9000);//异步servlet的超时时间,异步Servlet有对应的超时时间，如果在指定的时间内没有执行完操作，response依然会走原来Servlet的结束逻辑，后续的异步操作执行完再写回的时候，可能会遇到异常。

31.        ThreadPoolExecutor executor = (ThreadPoolExecutor) request

32.                .getServletContext().getAttribute("executor");

33.        executor.execute(new AsyncRequestProcessor(asyncCtx, secs));

34.        long endTime = System.currentTimeMillis();

35.        System.out.println("AsyncLongRunningServlet End::Name="

36.                + Thread.currentThread().getName() + "::ID="

37.                + Thread.currentThread().getId() + "::Time Taken="

38.                + (endTime - startTime) + " ms.");

39.    }

40. }

7.2、AppAsyncListener.java 异步监听器

1. package com.test.servlet3;

2. import javax.servlet.AsyncEvent;

3. import javax.servlet.AsyncListener;

4. import javax.servlet.ServletResponse;

5. import javax.servlet.annotation.WebListener;

6. import java.io.IOException;

7. import java.io.PrintWriter;

8. /**

9. * Created by wangxindong on 2017/10/19.

10. */

11. @WebListener

12. public class AppAsyncListener implements AsyncListener {

13.    @Override

14.    public void onComplete(AsyncEvent asyncEvent) throws IOException {

15.        System.out.println("AppAsyncListener onComplete");

16.        // we can do resource cleanup activity here

17.    }

18.    @Override

19.    public void onError(AsyncEvent asyncEvent) throws IOException {

20.        System.out.println("AppAsyncListener onError");

21.        //we can return error response to client

22.    }

23.    @Override

24.    public void onStartAsync(AsyncEvent asyncEvent) throws IOException {

25.        System.out.println("AppAsyncListener onStartAsync");

26.        //we can log the event here

27.    }

28.    @Override

29.    public void onTimeout(AsyncEvent asyncEvent) throws IOException {

30.        System.out.println("AppAsyncListener onTimeout");

31.        //we can send appropriate response to client

32.        ServletResponse response = asyncEvent.getAsyncContext().getResponse();

33.        PrintWriter out = response.getWriter();

34.        out.write("TimeOut Error in Processing");

35.    }

36. }

7.3、AppContextListener.java Servlet上下文监听器，可以在里面初始化业务线程池

1. package com.test.servlet3;

2. import javax.servlet.ServletContextEvent;

3. import javax.servlet.ServletContextListener;

4. import javax.servlet.annotation.WebListener;

5. import java.util.concurrent.ArrayBlockingQueue;

6. import java.util.concurrent.ThreadPoolExecutor;

7. import java.util.concurrent.TimeUnit;

8. /**

9. * Created by wangxindong on 2017/10/19.

10. * 在监听中初始化线程池

11. */

12. @WebListener

13. public class AppContextListener implements ServletContextListener {

14.    public void contextInitialized(ServletContextEvent servletContextEvent) {

15.        // create the thread pool

16.        ThreadPoolExecutor executor = new ThreadPoolExecutor(100, 200, 50000L,

17.                TimeUnit.MILLISECONDS, new ArrayBlockingQueue<Runnable>(100));

18.        servletContextEvent.getServletContext().setAttribute("executor",

19.                executor);

20.    }

21.    public void contextDestroyed(ServletContextEvent servletContextEvent) {

22.        ThreadPoolExecutor executor = (ThreadPoolExecutor) servletContextEvent

23.                .getServletContext().getAttribute("executor");

24.        executor.shutdown();

25.    }

26. }

7.4、AsyncRequestProcessor.java 业务工作线程

1. package com.test.servlet3;

2. import javax.servlet.AsyncContext;

3. import java.io.IOException;

4. import java.io.PrintWriter;

5. /**

6. * Created by wangxindong on 2017/10/19.

7. * 业务工作线程

8. */

9. public class AsyncRequestProcessor implements Runnable {

10.    private AsyncContext asyncContext;

11.    private int secs;

12.    public AsyncRequestProcessor() {

13.    }

14.    public AsyncRequestProcessor(AsyncContext asyncCtx, int secs) {

15.        this.asyncContext = asyncCtx;

16.        this.secs = secs;

17.    }

18.    @Override

19.    public void run() {

20.        System.out.println("Async Supported? "

21.                + asyncContext.getRequest().isAsyncSupported());

22.        longProcessing(secs);

23.        try {

24.            PrintWriter out = asyncContext.getResponse().getWriter();

25.            out.write("Processing done for " + secs + " milliseconds!!");

26.        } catch (IOException e) {

27.            e.printStackTrace();

28.        }

29.        //complete the processing

30.        asyncContext.complete();

31.    }

32.    private void longProcessing(int secs) {

33.        // wait for given time before finishing

34.        try {

35.            Thread.sleep(secs);

36.        } catch (InterruptedException e) {

37.            e.printStackTrace();

38.        }

39.    }

40. }

八、Tomcat NIO Connector ,Servlet 3.0 Async,Spring MVC Async的关系

对于这几个概念往往会混淆，这里做一个梳理比较，nio是一种IO的模型，对比与传统的BIO，它可以利用较少的线程处理更多的连接从而增加机器的吞吐量，Tomcat NIO Connector是Tomcat的一种NIO连接模式。异步，前面提到他是一种通讯的方式，它跟NIO没有任务关系，及时没有NIO也可以实现异步，Servlet 3.0 Async是指Servlet 3规范以后支持了异步处理Servlet请求，我们可以把请求线程和业务线程分开。Spring MVC Async是在Servlet3异步的基础上做了一层封装。具体的区别如下：

8.1、Tomcat NIO Connector

Tomcat的Connector 有三种模式，BIO,NIO,APR,Tomcat NIO Connector是其中的NIO模式，使得tomcat容器可以用较少的线程处理大量的连接请求，不再是传统的一请求一线程模式。Tomcat的server.xml配置protocol="org.apache.coyote.http11.Http11NioProtocol"，Http11NioProtocol 从 tomcat 6.x 开始支持。NIO的细节可以参看NIO相关技术文章。

8.2、Servlet 3.0 Async

是说Servlet 3.0支持了业务请求的异步处理，Servlet3之前一个请求的处理流程，请求解析、READ BODY,RESPONSE BODY,以及其中的业务逻辑处理都由Tomcat线程池中的一个线程进行处理的。那么3.0以后我们可以让请求线程(IO线程)和业务处理线程分开，进而对业务进行线程池隔离。我们还可以根据业务重要性进行业务分级，然后再把线程池分级。还可以根据这些分级做其它操作比如监控和降级处理。servlet 3.0 从 tomcat 7.x 开始支持。

8.3、Spring MVC Async

是Spring MVC 3.2 以上版本基于Servlet 3的基础做的封装，原理及实现方式同上，使用方式如下:

1. @Controller

2. @RequestMapping("/async/TestController")

3. public class TestController {

4.    @ResponseBody

5.    @RequestMapping("/{testUrl}")

6.    public DeferredResult<ResponseEntity<String>> testProcess(@PathVariable String testUrl) {

7.        final DeferredResult<ResponseEntity<String>> deferredResult = new DeferredResult<ResponseEntity<String>>();

8.        // 业务逻辑异步处理,将处理结果 set 到 DeferredResult

9.        new Thread(new AsyncTask(deferredResult)).start();

10.        return deferredResult;

11.    }

12.    private static class AsyncTask implements Runnable {

13.        private DeferredResult result;

14.        private AsyncTask(DeferredResult result) {

15.            this.result = result;

16.        }

17.        @Override

18.        public void run() {

19.            //业务逻辑START

20.            //...

21.            //业务逻辑END

22.            result.setResult(result);

23.        }

24.    }

25. }

九、Servlet3非阻塞IO

Servlet3.1以后增加了非阻塞IO实现，需要Tomcat8.x以上支持。根据Servlet3.1规范中的描述”非阻塞 IO 仅对在 Servlet 中的异步处理请求有效，否则，当调用 ServletInputStream.setReadListener 或ServletOutputStream.setWriteListener 方法时将抛出IllegalStateException“。可以说Servlet3的非阻塞IO是对Servlet3异步的增强。Servlet3的非阻塞是利用java.util.EventListener的事件驱动机制来实现的。

9.1、AsyncLongRunningServlet.java 接收请求，获取读取请求监听器ReadListener

1. package com.test.servlet3Noblock;

2. import javax.servlet.AsyncContext;

3. import javax.servlet.ServletException;

4. import javax.servlet.ServletInputStream;

5. import javax.servlet.annotation.WebServlet;

6. import javax.servlet.http.HttpServlet;

7. import javax.servlet.http.HttpServletRequest;

8. import javax.servlet.http.HttpServletResponse;

9. import java.io.IOException;

10. import java.io.PrintWriter;

11. /**

12. * Created by wangxindong on 2017/10/23.

13. */

14. @WebServlet(urlPatterns = "/AsyncLongRunningServlet2", asyncSupported = true)

15. public class AsyncLongRunningServlet extends HttpServlet {

16.    protected void doGet(HttpServletRequest request,

17.                         HttpServletResponse response) throws ServletException, IOException {

18.        request.setCharacterEncoding("UTF-8");

19.        response.setContentType("text/html;charset=UTF-8");

20.        AsyncContext actx = request.startAsync();//通过request获得AsyncContent对象

21.        actx.setTimeout(30*3000);//设置异步调用超时时长

22.        ServletInputStream in = request.getInputStream();

23.        //异步读取（实现了非阻塞式读取）

24.        in.setReadListener(new MyReadListener(in,actx));

25.        //直接输出到页面的内容(不等异步完成就直接给页面)

26.        PrintWriter out = response.getWriter();

27.        out.println("<h1>直接返回页面，不等异步处理结果了</h1>");

28.        out.flush();

29.    }

30. }

9.2、MyReadListener.java 异步处理

1. package com.test.servlet3Noblock;

2. import javax.servlet.AsyncContext;

3. import javax.servlet.ReadListener;

4. import javax.servlet.ServletInputStream;

5. import java.io.IOException;

6. import java.io.PrintWriter;

7. /**

8. * Created by wangxindong on 2017/10/23.

9. */

10. public class MyReadListener implements ReadListener {

11.    private ServletInputStream inputStream;

12.    private AsyncContext asyncContext;

13.    public MyReadListener(ServletInputStream input,AsyncContext context){

14.        this.inputStream = input;

15.        this.asyncContext = context;

16.    }

17.    //数据可用时触发执行

18.    @Override

19.    public void onDataAvailable() throws IOException {

20.        System.out.println("数据可用时触发执行");

21.    }

22.    //数据读完时触发调用

23.    @Override

24.    public void onAllDataRead() throws IOException {

25.        try {

26.            Thread.sleep(3000);//暂停5秒，模拟耗时处理数据

27.            PrintWriter out = asyncContext.getResponse().getWriter();

28.            out.write("数据读完了");

29.            out.flush();

30.            System.out.println("数据读完了");

31.        } catch (InterruptedException e) {

32.            e.printStackTrace();

33.        }

34.    }

35.    //数据出错触发调用

36.    @Override

37.    public void onError(Throwable t){

38.        System.out.println("数据 出错");

39.        t.printStackTrace();

40.    }

41. }

Servlet3.1的非阻塞IO从下面图中可以看出是面对InputStream 和 OutPutStream流的，这里的非阻塞IO跟我们常说的JDK NIO不是一个概念，Servlet3.1的非阻塞是同jdk的事件驱动机制来实现。 public interface ReadListener extends java.util.EventListener

十、总结

通讯模型中的NIO可以利用很少的线程处理大量的连接，提高了机器的吞吐量。Servlet的异步处理机制使得我们可以将请求异步到独立的业务线程去执行，使得我们能够将请求线程和业务线程分离。通讯模型的NIO跟Servlet3的异步没有直接关系。但是我们将两种技术同时使用就更增加了以tomcat为容器的系统的处理能力。自从Servlet3.1以后增加了非阻塞的IO，这里的非阻塞IO是面向inputstream和outputstream流，通过jdk的事件驱动模型来实现，更一步增强了Servlet异步的高性能，可以认为是一种增强版的异步机制。

参考资料 https://tomcat.apache.org/tomcat-7.0-doc/config/http.html http://svn.apache.org/repos/asf/tomcat/tc7.0.x/trunk/java/org/apache/catalina/connector/Request.java tomcat源码地址 https://www.journaldev.com/2008/async-servlet-example http://www.cnblogs.com/davenkin/p/async-servlet.html