查看原文
其他

震撼!华大LUSH基因序列比对加速工具集再次突破计算极限!

华大医学BGIDx 华大医学
2024-11-08

引子


2017年5月,19岁的世界围棋第一人柯洁九段在和AlphaGo的围棋终极人机大战以0:3完败,这也是人类顶尖高手与这台机器之间的最后一次较量。同年10月 《Nature》杂志发表了超越它之前所有版本的AlphaGo Zero。这一成就向世界展示了建立系统并通过自学完成复杂任务的可能性,而其背后所支撑的是运算能力,是计算机科学的分支领域--高性能计算 (High Performance Computing),其实际应用不仅成为了国家综合实力的体现,更给人们的日常生活带来了改变,目前该技术已在航空航天、核试验模拟、天气预报、生命科学、高新制造 (汽车、微电子) 等领域得到了广泛应用。


以生命科学领域举例,随着生命遗传密码 (基因组) 的不断被破解,人的生老病死这一复杂事情可以用数字化的方式具体呈现,以期实现疾病的精准预测、诊断和治疗,让人们远离传感染疾病、防控出生缺陷、肿瘤和心脑血管疾病,提升人均预期寿命,并大幅度降低社会卫生总负担。


近二十年来,个人全基因组测序的成本以“超摩尔定律”的速度下降,而高性能计算在测序数据分析方向的应用也发生了翻天覆地的变化。目前全球主流的基因组测序数据分析工具是Broad Institute开发的免费开源工具集GATK (Genome Analysis Toolkit),该项生命科学领域公认的最佳工作流程完成一个人的全基因组 (Whole Genome Sequencing,WGS) 30X数据分析需要1,800分钟,但是最近该成绩再一次被远远超越。深耕基因组学20多年的华大基因在基因组高性能计算领域再获突破性进展,于近日成功实现6分钟完成30X WGS全流程的分析任务,相较于GATK标准计算时长提速300倍。


根据NIH公布的最新资料,随着测序技术的发展,

测序成本以超摩尔定律下降[1]


6分钟完成30X WGS任务是由华大基因自主研发的LUSH工具集实现的,打破了该软件在2020年1月创造的15分钟极限速度。其中的黑科技正是采用了全新的底层架构设计,提供了基于中央处理器和图形处理器相结合进行基因数据分析的高性能加速方案,在降低集群计算资源消耗、提高检出速度的同时,实现了全程自动化、信息化、数据可回溯,可以更好地满足精准医学的应用场景。


LUSH工具集加速的全新底层架构逻辑


LUSH工具集提供了一种“CPU+GPU”的高并行软硬件解决方案,基于经典流程中的软件模块BWA、SAMTOOLS和GATK,利用GPU的通用运算技术,通过计算引擎和加速引擎的全新架构设计,实现算法优化和并行化处理,并结合国产自主的超高通量测序仪,完成碱基数据流的超高速分析,最终获得准确的分析结果。


LUSH工具集加速流程示意图


正是因为生命数字化进程需要严谨的科学精神,而其应用场景主要体现在精准医疗、健康管理等与人类健康息息相关的领域,因此不同于其他高性能计算领域,基因组数据分析对精度有极高的要求。而实际上高性能和准确性并不能完全兼得,数据范围、分布和浮点精度、峰值性能和内存都会影响算法的选择,尤其涉及到唯一最优解和近似解的算法可能大相径庭。LUSH工具集正是通过在经典流程算法的基础上利用了其全新设计的底层架构进一步减少了中间结果的读写,并利用CPU实现基因分析任务的智能分发,利用GPU数千计算核心实现百万任务的极速并行处理,同时解决了经典流程高密度计算、频繁地访问存储器等问题。而且经过测试其标准品的准确性,结果与经典流程一致,高达99.86%,使得其可以在计算结果的准确性与极速性上得以平衡。


更优越的性能、更低的成本和更高效的检出是所有高性能计算应用领域追求的目标。对加速组件的持续研发源自对速度无止境的追求,正如手机芯片行业的发展是随着移动端需求的旺盛,技术才得以不断地迭代和进步。从基因组学基础研究到临床研究及应用,实现测序工具的自主可控的同时也需要实现数学方法上的自主研发,而不只是追求芯片的底层下潜开发。对后者是无止境的追求,而只有前者的完全可控才能实现从跟随模仿到真正超越,并从核心算法的研发上助力我国精准医疗自主可控地发展。




拓展阅读

重磅发布!华大基因百万级NIPT检测通量全自动化平台

▲ 重磅!华大基因正式发布出生缺陷防控一站式数据管理服务系统

▲ 重磅!华大基因CNV-seq智能化解读云平台全新发布

▲ 重磅!华大基因遗传病数据解读云平台正式上线

▲ 优秀!这就是全球首部跑通WGS分析的国产手机


参考文献:

[1]https://www.genome.gov/about-genomics/fact-sheets/DNA-Sequencing-Costs-Data



继续滑动看下一个
华大医学
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存