CUDA流在CUDA中有两个级别的并发：内核级并发和网格级并发。前面的文章介绍的是内核级并发，这种并发方式是通过数据并行的方式用多个GPU线程去并发地完成一个内核任务，而网格级并发则是把一个任务分解为多个内核任务，通过在一个设备上并发地运行多个内核任务来实现任务的并发执行，这种方式使得设备的利用率更高。CUDA流是一系列异步操作的集合，同一个CUDA流中的操作严格按照顺序在GPU上运行，使用多个流同时启动多个内核任务就可以实现网格级并发。首先来回顾一下一个典型的CUDA程序的执行流程：将数据从host拷贝到device上；在device上执行内核任务；将数据从device上拷贝到host上。这些操作都会在一个CUDA流中运行，如果显式地创建一个流那么这个流就是显式流（非空流）否则就是隐式流（空流），前面文章介绍的CUDA例程都是在隐式流中运行的。如果显式地创建多个流分别去执行上述3个操作步骤，那么不同的CUDA操作是可以重叠进行的，参考下图：可以看到，使用多个流可以提升整个CUDA程序的运行效率。使用下面的方法可以声明和创建一个显式流：cudaStream_t