生信平台搭建(十五):Aspera
这次内容我们来介绍一款快速下载的工具aspera,Asprea是一款非常神奇的工具,它可以极大的提高数据传输的效率,不过aspera不能使用root账户来使用,因此,我们切换到普通用户来使用。
软件安装
软件官网:http://asperasoft.com/
登录Asprea官网,找到下载页面。这里面提供了很多工具。注意千万不要选择错了。我们选择下载客户端产品,这里选择aspera connect,这个是浏览器的插件,找到Linux版本下载地址,这个地址不容易显示出来,可能是网速问题。
wget -c https://download.asperasoft.com/download/sw/connect/3.8.1/ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz
tar -zxvf ibm-aspera-connect-3.8.1.161274-linux-g2.12-64.tar.gz
sh aspera-connect-3.7.4.147727-linux-64.sh
使用aspera
软件默认安装到home目录下,在一个隐藏的点.aspera 目录下。这个是浏览器调用的目录,Linux的图形化界面下可以直接使用浏览器调用,这里我们使用命令行操作。
其中我们需要使用的ascp命令在bin目录下,我们可以将其连接或者复制到在PATH的软件目录中,而在etc目录下有一个密钥文件asperaweb_id_dsa.openssh。
[wangtong@VM_0_11_centos ~]$ tree -L 2 .aspera/
.aspera/
`-- connect
|-- bin
|-- etc
|-- lib
|-- locales
|-- notices.txt
|-- plugins
|-- product-info.mf
|-- res
`-- var
8 directories, 2 files
下面我们介绍一下ascp命令的使用。选项参数很多,这里我们只介绍几个常用的。
-i string输入私钥,安装 aspera 后有在目录 ~/.aspera/connect/etc/ 下有几个私钥,使用 linux 服务器的时候一般使用 asperaweb_id_dsa.openssh 文件作为私钥。
-l string设置最大传输速度,比如设置为 200M 则表示最大传输速度为 200m/s。若不设置该参数,则一般可达到10m/s的速度,而设置了,传输速度可以更高。
-T 不进行加密。若不添加此参数,可能会下载不了。
--host=stringftp的host名,NCBI的为ftp-private.ncbi.nlm.nih.gov;EBI的为fasp.sra.ebi.ac.uk
--user=string用户名,NCBI的为anonftp,EBI的为era-fasp
--mode=string选择模式,上传为 send,下载为 recv
下载数据
这里面我们尝试下载ncbi三个数据库,注意,购买的腾讯云默认只有50g容量,是没法下载完nt库和nr库的,那个只是用来练习的。
# nt库下载
.aspera/connect/bin/ascp -i .aspera/connect/etc/asperaweb_id_dsa.openssh --overwrite=diff -QTr -l6000m anonftp@ftp.ncbi.nlm.nih.gov:blast/db/FASTA/nt.gz ./
# nr库下载
.aspera/connect/bin/ascp -i .aspera/connect/etc/asperaweb_id_dsa.openssh --overwrite=diff -QTr -l6000m anonftp@ftp.ncbi.nlm.nih.gov:blast/db/FASTA/nr.gz ./
# swissprot库下载
.aspera/connect/bin/ascp -i .aspera/connect/etc/asperaweb_id_dsa.openssh --overwrite=diff -QTr -l6000m anonftp@ftp.ncbi.nlm.nih.gov:blast/db/swissprot.tar.gz ./
注意事项
首先,需要正确给出aspera-license,在-i后面接license文件,这里是asperaweb_id_dsa.openssh
第二,ftp账号要写正确,ncbi是anonftp@ftp.ncbi.nlm.nih.gov
第三,ftp地址后面接冒号,然后是ftp上面文件的具体位置,不要写错了。
另外大家要知道的是,不是所有的网站都支持Aspera下载的。需要服务提供方购买Aspera服务,用户才可以使用。
---------- END ----------
(添加作者微信,请注明单位姓名)
您可能还会感兴趣的
上传数据,直接分析,1T内存服务器来了
手把手教你生信分析平台搭建专栏合集
生物信息重要资源站点合集
不会编程,如何进行批量操作
一个人全基因组完整数据分析脚本
一个细菌基因组完整分析脚本
如何在Linux下优雅的装X