扩增子分析QIIME2. 5数据导入Importing data
点击上方蓝色「宏基因组」关注我们!专业干货每日推送!
声明:本文为QIIME2官方帮助文档的中文版,由中科院遗传发育所刘永鑫博士翻译并亲测有效,文档翻译己获QIIME2团队官方授权。由于QIIME2更新频繁,如使用中遇到问题请访问QIIME2官方论坛阅读最新版中文帮助。
https://forum.qiime2.org/t/qiime2-1-chinese-manual/838
如中文翻译没有急时更新,新 阅读英文原版 https://docs.qiime2.org
扩增子分析QIIME2. 5数据导入Importing data
为什么要导入数据?
QIIME2使用了标准文件格式qza和qzv,分别是数据文件和统计图表文件;目的是统一文件格式,方便追溯分析过程。
本人将带大家熟悉QIIME2分析流程的不同阶段,导入数据。
最典型的导入数据,是原始测序数据的导入。实际上,我们可以从分析的任何一步导入数据,继续分析。比如合作者提供了biom格式的OTU表,我们可以导入,并进行下游的统计分析。
导入数据可以采用多种方式,包括命令行或图形界面,我们这里主要介绍命令行的方式。
# 安装QIIME2 2017.7,如己安装请跳过
conda update conda
conda create -n qiime2-2017.7 --file https://data.qiime2.org/distro/core/qiime2-2017.7-conda-linux-64.txt
# 激活工作环境
source activate qiime2-2017.7
# 建立工作目录
mkdir -p qiime2-importing-tutorial
cd qiime2-importing-tutorial
导入带质量值的测序数据
地球微生物组标准混样单端数据 “EMP protocol” multiplexed single-end fastq
此类数据标准包括两个文件,扩展名均为fastq.gz
,一个是barcode文件,一个是样品混样测序文件。
# 建样品目录
mkdir -p emp-single-end-sequences
# 下载 barcode文件
wget -O "emp-single-end-sequences/barcodes.fastq.gz" "https://data.qiime2.org/2017.7/tutorials/moving-pictures/emp-single-end-sequences/barcodes.fastq.gz"
# 下载序列文件
wget -O "emp-single-end-sequences/sequences.fastq.gz" "https://data.qiime2.org/2017.7/tutorials/moving-pictures/emp-single-end-sequences/sequences.fastq.gz"
# 导入QIIME2格式
qiime tools import \
--type EMPSingleEndSequences \
--input-path emp-single-end-sequences \
--output-path emp-single-end-sequences.qza
地球微生物组标准混样双端数据 “EMP protocol” multiplexed paired-end fastq
此类数据标准包括三个文件,扩展名均为fastq.gz
,一个是barcode文件,两个是样品混样测序文件。
# 建样品目录
mkdir -p emp-paired-end-sequences
# 下载序列正向和反向文件
wget -O "emp-paired-end-sequences/forward.fastq.gz" "https://data.qiime2.org/2017.7/tutorials/atacama-soils/1p/forward.fastq.gz"
wget -O "emp-paired-end-sequences/reverse.fastq.gz" "https://data.qiime2.org/2017.7/tutorials/atacama-soils/1p/reverse.fastq.gz"
# 下载barcode文件
wget -O "emp-paired-end-sequences/barcodes.fastq.gz" "https://data.qiime2.org/2017.7/tutorials/atacama-soils/1p/barcodes.fastq.gz"
# 导入QIIME2格式
qiime tools import \
--type EMPPairedEndSequences \
--input-path emp-paired-end-sequences \
--output-path emp-paired-end-sequences.qza
样品文件清单格式 “Fastq manifest” formats
# 下载fastq压缩包zip文件,其中的样品和文件清单文件mainfest
wget -O "se-33.zip" "https://data.qiime2.org/2017.7/tutorials/importing/se-33.zip"
wget -O "se-33-manifest" "https://data.qiime2.org/2017.7/tutorials/importing/se-33-manifest"
wget -O "pe-64.zip" "https://data.qiime2.org/2017.7/tutorials/importing/pe-64.zip"
wget -O "pe-64-manifest" "https://data.qiime2.org/2017.7/tutorials/importing/pe-64-manifest"
# 解压fastq样品文件
unzip -q se-33.zip
unzip -q pe-64.zip
样品清单是包括样品名、文件位置、文件方向三列的csv文件,以pe-64-manifest为例,内容如下:
#样品名、文件位置、文件
sample-id,absolute-filepath,direction
sample1,$PWD/pe-64/s1-phred64-r1.fastq.gz,forward
sample1,$PWD/pe-64/s1-phred64-r2.fastq.gz,reverse
sample2,$PWD/pe-64/s2-phred64-r1.fastq.gz,forward
sample2,$PWD/pe-64/s2-phred64-r2.fastq.gz,reverse
导入质量值不同编码的两类文件Phred33/64 (一般Phred33比较常见,只有非常老的数据才有Phred64格式)
# 导入Phred33格式测序结果
qiime tools import \
--type 'SampleData[SequencesWithQuality]' \
--input-path se-33-manifest \
--output-path single-end-demux.qza \
--source-format SingleEndFastqManifestPhred33
# 导入Phred64格式测序结果
qiime tools import \
--type 'SampleData[PairedEndSequencesWithQuality]' \
--input-path pe-64-manifest \
--output-path paired-end-demux.qza \
--source-format PairedEndFastqManifestPhred64
导入OTU表Biom文件
BIOM v1.0.0
# 下载数据并导入为QIIME2的qza格式
wget -O "feature-table-v100.biom" "https://data.qiime2.org/2017.7/tutorials/importing/feature-table-v100.biom"
qiime tools import \
--input-path feature-table-v100.biom \
--type 'FeatureTable[Frequency]' \
--source-format BIOMV100Format \
--output-path feature-table-1.qza
BIOM v2.1.0
wget -O "feature-table-v210.biom" "https://data.qiime2.org/2017.7/tutorials/importing/feature-table-v210.biom"
qiime tools import \
--input-path feature-table-v210.biom \
--type 'FeatureTable[Frequency]' \
--source-format BIOMV210Format \
--output-path feature-table-2.qza
代表性序列 Per-feature unaligned sequence data
wget -O "sequences.fna" "https://data.qiime2.org/2017.7/tutorials/importing/sequences.fna"
qiime tools import \
--input-path sequences.fna \
--output-path sequences.qza \
--type 'FeatureData[Sequence]'
less sequences.fna # 看看代表性序列的样子,如下图
多序列比对后的代表性序列导入(多序列比对后的序列中包括减号,表示比对的gap) Per-feature unaligned sequence data
wget -O "aligned-sequences.fna" "https://data.qiime2.org/2017.7/tutorials/importing/aligned-sequences.fna"
qiime tools import \
--input-path aligned-sequences.fna \
--output-path aligned-sequences.qza \
--type 'FeatureData[AlignedSequence]'
无根进化树导入 Phylogenetic trees (unrooted)
wget -O "unrooted-tree.tre" "https://data.qiime2.org/2017.7/tutorials/importing/unrooted-tree.tre"
qiime tools import \
--input-path unrooted-tree.tre \
--output-path unrooted-tree.qza \
--type 'Phylogeny[Unrooted]'
Reference
https://docs.qiime2.org/2017.7/tutorials/importing/
科研经验
1云笔记积累个人知识体系
2云协作建立实验室工作总结和内部资料共享平台
3公众号建立实验室共享知识体系和宣传窗口
宏基因组公众号14天受邀原创-诚邀同行共享研究经验
扩增子图表解读第一季
1箱线图:Alpha多样性,老板再也不操心的我文献阅读了
2散点图:组间整体差异分析(Beta多样性)
3热图:差异菌、OTU及功能
4曼哈顿图:差异OTU或Taxonomy
5火山图:差异OTU数量及变化规律
6韦恩图:比较组间共有和特有OTU或分类单元
7三元图:美的不要不要的,再多用也不过分
8网络图:节点OTU或类Venn比较
扩增子分析
QIIME2. 2最简单的完整分析实例Moving Pictures
微生物相关网络教程:MENA, LSA, SparCC和 CoNet
QIIME. 2.使用Docker安装并运行
QIIME. 3以管理员安装1.9.1至Ubuntu16.04
扩增子文献
Review:Microbiota, metagenome, microbiome傻傻分不清
Nautre:Gordon文章—甘露糖苷选择性抑制致病性大肠杆菌
Nature:培养组学+人工重组菌群,微生物组从描述转向功能研究
Microbiome:简单套路发高分文章--白杨内生和根际微生物组
Microbiome:宏蛋白质组揭示人肠道菌群功能,离真相更近一步
想了解更多宏基因组、16S分析相关文章,
快关注“宏基因组”公众号,干货第一时间推送。
系统学习生物信息,快关注“生信宝典”,
那里有几千志同道合的小伙伴一起学习。