查看原文
其他

宏基因组数据提交GSA实操手册—发表文章前必备技能

宏基因组 宏基因组 2022-05-08

GSA简介

GSA是Genome Sequence Archive的缩写,即基因组序列存档,由中科院基因组所主办。

网址:http://gsa.big.ac.cn/

之前介绍过NCBI提交测序数据,- 原始数据极速上传NCBI SRA教程,还有
中国核酸数据库GSA数据提交指南

这些教程太过于笼统,对于特定类型数据的信息填写大家还有很多困惑。

因为,我们带来了微生物组领域最常用的扩增子和宏基因组数据提交教程。

今天为大家推荐由中科院基因组所创办的国内大数据中心GSA的宏基因组数据提交实例。

网址:http://gsa.big.ac.cn/

全中文界面,被Nature、Science和Cell等顶级杂志全面认可。可实现全自动化数据提交,无人值守,有问题邮箱和QQ群技术支持

联系方式:gsa@big.ac.cn;QQ群:548170081

开始前准备:注册/登陆

访问:http://gsa.big.ac.cn/ ,第一次使用请先点击菜单栏右侧的 Register ,按提示注册一个新用户。

一定要记清楚你的 用户名 和 密码,成功后重新访问主页 点击 Login 登陆。

登陆成功,右上角会显示 Welcome, XXX

新建BioProject

主页 http://gsa.big.ac.cn/

点击主页面中的“提交”——访问 http://gsa.big.ac.cn/ ,使用组内帐号登陆 Login,点击提交可看到历史提供GSA记录。新项目要建新BioProect。

http://bigd.big.ac.cn/gsub/submit/bioproject/list

必须的信息主要是提交者个人基本信息,还有项目的名称、基金和简介等。

如下为一个示例的项目信息供参考:

项目标题: Human gut microbiome

涉及领域: Medical

项目说明: Human gut microbiota relation with cancer

数据类型:Metagenome 和 Metagenomic assembly

样品范围:Enviroment

一般提交后马上可获得项目编号,如PRJCA00xxxx这种格式,请记录好,马上要用,文章里也要写。

注:一篇文章中一般有一个项目号,但一个项目可以有多种类型、多批次的数据,即可以包括下次不同批次的GSA。

数据上传

使用Filezilla登陆 submit.big.ac.cn ,帐号和密码同网站注册账号,登陆

Filezill新建站点填写内容:主机、账号和密码

登陆成功后,上传数据至GSA目录中(最好每批数据建一个子目录,再把左侧数据选中后右键上传或托入右侧)

批量提交样本信息

主页 http://gsa.big.ac.cn/

提交 —— 新建GSA批量提交

01 提交者信息

默认会自动填写你注册时预留的信息,可直接点击保存并进入下一项

02 基本信息

发布日期默认选择 审核通过后即可发布(推荐)

阅读下方声明请后,选择I accept it.

填写样本标题和描述,如下示例

标题:A simple metagenome project for pipeline test

描述:Shotgun metagenome of human gut microbiota. Two groups include normal and caner. Each group has 6 individuals.

项目编号可以选择你之前创建的BioProject。

点击保存并进入下一项

03 样本类型

选择Metagenome,有人类肠道(human-gut)、土壤(soil)和水(water)三大类。我们选择human=gut

注:不是以上三类,属于其它,选择Metagenome/Environmental Sample (GSC MIMS unsupported)

点击保存并进入下一项

04 样本属性

下载 BioSample批量提交模板文件 MetagenomeMIMS.me_human-gut.cn.xlsx,也有示例文件e.g.MetagenomeMIMS.me_human-gut.cn.xlsx供参考(注:这个模板是人类扩增子的模板,对于宏基因组参考意义不大)。

注:模板经常更新,请以官网为准,本次提供的文件仅供参考。

主要填写的字段介绍,详见e.g.MetagenomeMIMS.me_human-gut.cn.xlsx表格中的Description页面有比较详细的中文简介:可以只读星红色的必填部分


下面是一些我的个人经验

  • *sample_name: 样品名,推荐字母开头,字母和数据组合的名称,且必须唯一,详见 样品命名 注意事项 实例教程。

  • *public_description:填写样本的详细描述,重点突出你的实验分组信息,比如我们实验是分为2组,每组有6个个体,这些分类和个体描述是重点。如“Gut microbiota from cancer patient 1”

  • *project_accession填写;即本项目注册的项目编号 PRJCA00xxxx

  • *sample title;可以是样本名的全称描述。如”Shotgun metagenomic sequencing of human fecal C1。

  • *organism:物种,单一物种要填拉丁名,我们研究肠道宏基因组是多物种,填写human gut metagenome

  • *host:宿主来源,添宿主的拉丁名,如人类填写Homo sapiens

  • *collection_date:采样时间,年月日格式,如2014/8/1

  • *geographic_location:采样地点,国家:省/市,如China: Beijing

  • *latitude_longitude:经纬度,最好采样的时间用手机指南指定位下,格式到小数点后两位分,如:39.91 N 116.34 E。百度地图中——开放平台——坐标拾取器,可显示目标的经纬度。

  • *env_broad_scale: 样本生存大环境的描述,如人类肠道填写“digestive tract enviroment”,土壤就填 soil

  • *env_local_scale:添加对样本有因果影响的小环境描述,支持多个词用逗号分隔,此处填“Intestinal”

  • *environment_medium:样本中包含的物质,此处填“fecal material”

  • 其它非必须选项可如实填写即可,没有可不填


填写完的示例格式

填写并保存好Excel样本信息后(MetagenomeMIMS.me_human-gut.cn.xlsx),点击请选择文件选择样本信息文件,然后点上传,然后再点击 校验。没问题会提示Checked OK


上传并校验成功。

如果校验失败,请参考error.txt报告和参考的模板修改,直到通过校验。

点击保存并进入下一项

05 元数据信息

下载 元数据 提交模板文件 GSA_Template.cn.xlsx,也有示例文件e.g.GSA_Template.cn.xlsx供参考(不过这个示例是m6A转录组测序数据,不是扩增子或宏基因组,参考意义不大)

包括Experiment(实验样品)和Run(测序样品,一个实验样品可能有多个测序样品)两页:

实验样品信息

下面是官方描述可以读一下实验样本信息的填写说明。再往下有我的填写经验指南:

  • *ID:E1, E2, …,不够的按顺序补,多余的删除。我们有12个样品,则删除E13起的样品名

  • *Experiment title:如果你的实验和样本是一一对应,此处可以填写上面样品的public_description(样本描述),或者进一步技术简介,如样本描述sample_title,如“Shotgun metagenomic sequencing of human fecal C1”

  • *BioProject accession: 同上 project_accession

  • *BioSample name:同上 sample_name

  • BioSample accession:不填

  • *Platform:选择测序平台,有几十种可选,宏基因组PE150测序常用 Illumina HiSeq X ten,NovaSeq 6000两种平台,PE100常用 BGISEQ-500 平台。这里我们使用的是 BGISEQ-500 产出的PE100数据,支持国产测序仪。

  • *DNA for each sample was extracted with FastDNA SPIN Kit (MP Biomedicals), sheared to approximately 300-500 bp using a Covaris S220 instrument. Then the libraries were constructed through end-repair, A-tailing, adapter ligation. Then it was sequenced on BGISEQ-500 platform in PE100 mode.”

  • Library name:文库名称,样本来源的文库ID,可用于研究批次效应,可不填

  • *Strategy:建库类型,选择“WGS”

  • *Source:实验材料来源类型,选择“METAGENOMIC”

  • *Selection:片段的富集或选择方法,鸟枪法宏基因组选“unspecified”

  • *Layout:测序模式,这里选“PAIRED”

  • *Read length for mate1(bp):填写 100。Illumina 平台产出数据多为150,华大BGISEQ-500产出为100

  • Read Insert size (bp)length for mate 2(bp):填写 100,同上

  • Insert size (bp):填写400,为片段的中位数,可以查看建库的胶图,也可以问实验人员打断的长度主体。


实验信息填写的结果预览。

测序样品信息

填写说明,请阅读:

下有是我的填写经验:

  • ID: R1, R2, …,不够的按顺序补,多余的删除。12个样删除R12后面的行

  • *Run title:与Experiment title 一致。注:存在一个Experiemnt有多个Run的情况,在宏基因组中很常见,如一个样本需要300GB的数据,可能需要几个文库分别建库测序才能获得目标数据量。

  • *BioProject accession: 同上project_accession

  • *Experiment accession,复制自Experiment页第一列

  • *Run data file type: 选择 fastq

  • *File name 1: 如命令 ls|grep '_1.' 获得左端序列文件名,并复制填入表(默认按字母顺序,需要确定样本已经按名称排序才能对应)

  • MD5 checksum 1: 在命令行 用md5sum *_1.fq.gz 计算左端数据md5值,并按Alt矩形选择数据粘贴入表格即可

  • File name 2: 如 ls|grep '_2.' 获得右端序列文件名,并复制填入表(默认按字母顺序,需要确定样本已经按名称排序才能对应)

  • MD5 checksum 2: 在命令行用 md5sum *_2.fq.gz 计算右端数据md5值,并按Alt矩形选择数据粘贴入表格即可

获取文件名列表 和 计算md5sum值和过程。注意文件名和顺序。


测序文件信息填写的结果预览。

填写并保存好Excel样本信息后,点击请选择文件选择样本信息文件,然后点上传,校验。没问题会提示Checked OK

点击保存并进入下一项

06 文件上传

我们之前已经通过Filezilla的FTP方式上传了文件,此处什么也不用操作。

点击保存并进入下一项即可。

如果提示 “离开此网站”,点击“离开”即可。

07概况信息

展示提交项目的基本信息,最后阅读确定。有问题可以点击上方的各步数字按扭跳转修改。

下面是每个样本的信息,没问题点击 提交

大功告成。

注:宏基因组一般几G-几十G要等1-2天,数据检查通过后才会分配GSA编号。

文件校验需要时间,上TB级别的数据,可能校验需要几周。而且过大的文件也容易报错,如果归档失败,请及时联系数据中心工作人员处理。如果自己文件有问题,需要删除损坏的文件重新上传。

常见问题

数据上传速度

我使用GSA上传数据,推荐使用Filezilla的FTP模式,支持断点续传,速度非常快。建义在教育网、科技网环境下使用,最快可达40 MB/S,即一般千兆网速的速度(代宽是由你的网络供应商决定的),和移动硬盘往电脑上复制飞一般的感觉。

如果你的数据特别多,而且传输速度也不快,可以联系GSA的邮箱或QQ(见主页),应该可以邮寄硬盘的。在北京,离基因组所不远可以亲自去现场复制。

上传Clean data还是Raw data

一般公司返回的数据,分有clean data和raw data两类,区别是raw data是下机按index拆分的原始数据,clean data是去除建库引物、接头污染和低质量后的序列。公司一般是按clean data收费的,而用户推荐直接使用 clean data开展下游分析。clean data 去掉的都是垃圾,raw data一般情况下真的没什么用,即浪费空间,又增长传输时间。除非你发现clean data中有问题,需要自己设置规则重新过滤,才需要使用raw data。

结论:一般只使用或上传clean data即可。

上传宏基因组数据是否要去除宿主

关于这个问题,答案是都可以。但人类最好要去除宿主在上传,因为有个人隐私的问题。

对于宿主污染特别高的宏基因组样本,如阴道液、皮肤、口腔、植物根或叶相关等。也建议去除宿主后再上传。

举个简单的例子,研究叶片的宏基因组,微生物含量仅为0.2%。你想获得6 Gb的宏基因组数据,如果叶片不进行微生物富集实验,则需要测序 6 / 0.2% = 3000 Gb的数据,一是成本过高,二是数据上传也是极耗时的。这种情况非常推荐你过滤宿主基因组相关序列,仅上传非宿主部分的宏基因组即可。

猜你喜欢

10000+:菌群分析 宝宝与猫狗 梅毒狂想曲 提DNA发Nature Cell专刊 肠道指挥大脑

系列教程:微生物组入门 Biostar 微生物组  宏基因组

专业技能:学术图表 高分文章 生信宝典 不可或缺的人

一文读懂:宏基因组 寄生虫益处 进化树

必备技能:提问 搜索  Endnote

文献阅读 热心肠 SemanticScholar Geenmedical

扩增子分析:图表解读 分析流程 统计绘图

16S功能预测   PICRUSt  FAPROTAX  Bugbase Tax4Fun

在线工具:16S预测培养基 生信绘图

科研经验:云笔记  云协作 公众号

编程模板: Shell  R Perl

生物科普:  肠道细菌 人体上的生命 生命大跃进  细胞暗战 人体奥秘  

写在后面

为鼓励读者交流、快速解决科研困难,我们建立了“宏基因组”专业讨论群,目前己有国内外5000+ 一线科研人员加入。参与讨论,获得专业解答,欢迎分享此文至朋友圈,并扫码加主编好友带你入群,务必备注“姓名-单位-研究方向-职称/年级”。PI请明示身份,另有海内外微生物相关PI群供大佬合作交流。技术问题寻求帮助,首先阅读《如何优雅的提问》学习解决问题思路,仍未解决群内讨论,问题不私聊,帮助同行。

学习16S扩增子、宏基因组科研思路和分析实战,关注“宏基因组”

点击阅读原文,跳转最新文章目录阅读

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存