GPU版scanpy (rapids)实践 | 大型单细胞数据分析利器
The following article is from seqyuan Author ahworld
COVID-19 immune features revealed by a large-scale singlecell transcriptome atlas》，文章分析了超过25T近150万个细胞的转录组数据。Ren X, Wen W, Fan X, et al. COVID-19 immune features revealed by a large-scale single cell transcriptome atlas[J]. Cell, 2021.
超大量的单细胞数据分析处理是一项极具挑战性的工作，一般的单细胞数据处理软件采用：
seurat[1] (R base) scanpy[2] (python base)
我们经常调侃单细胞分析的精髓就是：不断调整分群。调整分群的后果经常是所有的后续依据分群的分析推倒重来。这样的分析工作模式对于处理分析的计算集群是一个挑战，对于调整了N遍的分析工作者的心理更是一种挑战。
如果涉及的样本量和细胞数再大一些，不断的调整分群重来更是一种折磨。我们自己做过的一个项目测了27个样本的单细胞数据，采用常用的软件seurat和scanpy时间消耗都很大，项目要求的时间也经不起我们一遍遍的调整折腾。
所以迫切需要一种快速分析大型单细胞数据的解决方案。有幸了解到NVIDIA开发的RAPIDS能够利用GPU在 11 分钟内分析一百万个细胞[3]
我自己在我们的GPU集群尝试过Anaconda安装相关的测试环境，但是cudf软件包的安装一直不成功。最近在NVIDIA的帮助下知道有RAPIDSdocker镜像可以用。为了能够帮助更多人解决大型单细胞数据分析的痛处，鉴于很多研究者对于docker类服务类操作不太熟悉，我把交互式测试环境相关的方案总结如下。
1. 下载测试数据
我的工作目录是：/home/seqyuan/scanpy，在工作目录依次执行执行以下命令
git clone https://github.com/clara-parabricks/rapids-single-cell-examples.gitcd rapids-single-cell-examples/ && mkdir datacd data/ && wget -c https://rapids-single-cell-examples.s3.us-east-2.amazonaws.com/1M_brain_cells_10X.sparse.h5ad
2. docker容器启动jupyter服务
参考rapids-single-cell-examples[4]
docker run --gpus all --rm -it -p 8888:8888 -p 8787:8787 -p 8786:8786 -p 8889:8889 -v /home/seqyuan/scanpy:/workspace claraparabricks/single-cell-examples_rapids_cuda11.0:latest
如果是nohup执行以上jupyter server命令，docker的-it参数要去掉，不然会报错：the input device is not a TTY。
这一步骤请注意选择对应cuda版本的镜像，查看cuda版本命令：cat /usr/local/cuda/version.txt
CUDA Version 11.0.182
镜像仓库地址：https://hub.docker.com/u/claraparabricks
3. 本地访问远程集群的jupyter服务
3.1 设置ssh端口转发
前面一步的docker jupyter服务我是在下面的集群上启动：
Host: 60.211.88.180 Port: 8900 User: seqyuan
要想本地电脑访问60.211.88.180这个远程节点的服务，我们需要用到ssh端口转发功能（也叫ssh隧道）。具体是这样操作的：
打开本地电脑的命令行界面，不同系统命令行执行工具
Macbook: 打开terminal windows: 可以下载一个MobaXterm[5]
在打开的命令行界面执行
ssh -N -f -L localhost:9999:localhost:8889 -p 8900 seqyuan@60.211.88.180
3.2 网页访问jupyter服务
在本地浏览器地址栏输入localhost:9999就能打开2.启动的docker jupyter服务了
4. 测试1M_brain_gpu_analysis_uvm.ipynb
打开notebook目录里的1M_brain_gpu_analysis_uvm.ipynb，就能在线交互式做单细胞分析了，每一步骤的运行时间都会像下面的示例一样有记录
1M的单细胞数据真的也可以交互式运行，每一步骤运行的时间都很短。CPU版本1M_brain_cpu_analysis.ipynb我也做了测试，但是在过滤细胞的步骤就运行了很长时间，所以就没有测试完。
想了解每一步骤具体的时间消耗，可以下载查看我的jupyter notebook测试记录：
链接: https://pan.baidu.com/s/1651w4ceigIeQGrt4QRLd7g 密码: okj7
参考资料
seurat: https://satijalab.org/seurat/
[2]scanpy: https://scanpy.readthedocs.io/en/stable/
[3]在 11 分钟内分析一百万个细胞: https://developer.nvidia.com/zh-cn/blog/accelerating-single-cell-genomic-analysis-using-rapids/
[4]rapids-single-cell-examples: https://github.com/clara-parabricks/rapids-single-cell-examples
[5]MobaXterm: https://mobaxterm.mobatek.net/
[6]https://zhuanlan.zhihu.com/p/75354006
[7]https://github.com/avantikalal/rapids-single-cell-examples
[8]http://www.zsythink.net/archives/2450
[9]https://www.biorxiv.org/content/10.1101/742320v2
如果你对单细胞转录组研究感兴趣，但又不知道如何入门，也许你可以关注一下下面的课程
看完记得顺手点个“在看”哦！
长按扫码可关注