数据增⻓太快?科学大数据平台解决您的存储顾虑!
科学大数据平台
为满足不断增长的科学数据存储需求，经过近4个月的公测，科学大数据平台将于2024年3月8日正式上线服务。平台采用国产超高密度磁盘阵列，裸盘容量高达23.5 PB，具备防误删等数据保护特性。平台与超算集群高速互通，存储的数据可随时被调用分析。平台数据管理操作简易，定价仅为热存储的一半，比移动硬盘更便宜。
01
什么是科学大数据平台
科学数据是在科学实验中通过生产、收集、分析、加工得到的，具有科研价值的数据集。“交我算”校级计算平台积累的科学数据已超过20PB，是科研团队获得新发现、开展交叉学科创新的宝贵数据基础。
为了更好地满足科研数据快速增长的需求，以“算力”和“存力”支持科研范式创新，网络信息中心以国产存储设备为基础，上线了专为读写频率低、可靠性要求高、需长期保存的海量科研数据而优化的科学大数据平台。
02
科学大数据平台的优势
(1) 价格低：平台单价仅为当前超算存储的一半，比移动硬盘更便宜，再也不需要屯移动硬盘来保存课题组数据了。
(2) 存得住：平台存力位居全国高校前列，总容量达23.5 PB，相当于6000多个4TB移动硬盘的总和，能存下FAST天眼望远镜1年的观测数据。
(3) 找得到：平台用法与网盘或FTP类似，传输过程简单，数据随时可用。平台还配备了定时快照、防误删等安全机制，确保数据不被恶意删除篡改。
(4) 能计算：平台与“交我算”超算集群高速互通，数据可被方便地调度到超算集群上做进一步分析和处理。“交我算”超算平台支持CPU通用计算任务、AI人工智能任务以及基于国产硬件的计算任务，总算力超过 9PFLOPS。
(5) 易分享：用户无需自建站点，就能在共享门户 scidata.sjtu.edu.cn 向全球研究者共享科研数据，提交论文审稿所需的数据链接。
03
如何使用科学大数据平台
“交我算”用户可以用如下三种方式管理平台上的数据：
01 XFTP或WinSCP客户端
如图所示，XFTP客户端接入数据传输节点后，进入/archive下的相应目录，就能像使用FTP那样管理平台上的数据。
02 可视化计算平台
登录可视化计算平台 studio.hpc.sjtu.edu.cn，通过Files文件管理功能，进入Archive Home Directory目录，在浏览器中管理科学大数据平台上的数据。
03 终端命令行工具
使用MobaXterm、XSHELL等终端程序登录数据传输节点，在命令行下管理数据。
如图所示，使用rsync命令将数据从热存储复制到科学大数据平台（rsync支持断点续传）。
更详细的使用方法，请参阅文档：
https://docs.hpc.sjtu.edu.cn/transport/archiveusage.html
04
科学大数据平台收费标准
科学大数据平台单价是当前热存储的一半，按照数据实际用量每日收取费用。
05
常见问题
Q: 平台是否设置了容量配额？
A: 目前平台存储空间充足，暂不限制存储用量。
Q: 如何恢复误删除的数据？
A: 可将数据路径发送至 hpc@sjtu.edu.cn，由管理员尝试从回收站和快照中恢复数据。
Q: 能否协助上传或下载大批量数据？
A: 欢迎发送邮件至hpc@sjtu.edu.cn 咨询，我们将为您提供定制方案。
Q: 如何确保数据完整？
A: 使用md5deep校验数据完整性，具体操作步骤可参考https://docs.hpc.sjtu.edu.cn/transport/archiveusage.html#id3。
Q: 迁移到科学大数据平台后，是否需要删除原始数据？
A: 存储在科学大数据平台上近期不做计算分析的数据，在校验过数据完整性以后，我们建议您删除对应的热存储原始数据，以节省存储空间。在需要分析计算时，再从大数据平台调度到热存储。
06
结语
我们将基于“交我算”平台的强大“算力”和“存力”，持续为师生提供优质、优惠、易用的计算服务。欢迎您在使用科学大数据平台的过程中，向我们提出宝贵意见！
#推荐阅读
图文/责任编辑：汪浩淼