一张“黑洞”照片需半吨重硬盘?更逆天的操作还有这些……
戳蓝字“CSDN云计算”关注我们哦!
技术头条:干货、简洁、多维全面。更多云计算精华知识尽在眼前,get要点、solve难题,统统不在话下!
策划 | 孙浩峰
作者 | 清儿爸
编辑 | LD
出品 | CSDN 云计算
这两天,全世界的大大小小屏幕被一张照片刷屏了。甚至今天小编在公司食堂吃早点的时候,中央电视台也在播报这张照片的来历。究竟是什么照片这么吸睛呢?
那就是北京时间 2019 年 4 月 10 日 21 点整,在全球六地同时召开的新闻发布会上,国际组织事件视界望远镜(EHT)发布的人类首张黑洞照片。那是碳基生命历史上,人类第一次直接“拍摄”的黑洞照片。
有关黑洞的科普已经满天飞,相信读者们已经耳濡目染了,本文将不再阐述黑洞的相关知识,小编将带领读者们了解人类首张黑洞照片背后应用到的信息技术。
黑洞照片究竟有多难拍?
为了能够成功拍摄黑洞照片(5500万光年外的室女 A 星系(M87)中心的黑洞),哈佛-史密森天体物理中心博士后研究员 Katie Bouman 带领的科学家团队成立了一个项目,动用分布在全球的八个毫米 / 亚毫米射电望远镜,将这些望远镜组成一个虚拟的、口径接近整个地球的望远镜,这个虚拟的望远镜就称为 “事件视界望远镜”(Event Horizon telescope,EHT)。
为什么要这么大的阵仗来拍摄黑洞呢?这就不得不提到瑞利判据了。
其中λ 为波长,d 为望远镜直径,分辨率为物体尺寸 / 目标距离。
简单来说,我们能看到的最小物体是有限的,想看到的物体越小,所需的望远镜口径就需要越大。
这次拍摄的黑洞对象距离地球 5500 万光年,对我们来说,就像在地球上试图观测月球上的一枚硬币一样。因此,要想成功拍摄黑洞的难度可想而知。
黑洞照片究竟是怎么拍摄的?
黑洞照片背后的幕后英雄 Katie Bouman 还在麻省理工学院计算机科学和人工智能读研究生时,提出了一种新的算法,将通过 EHT 网络收集的数据拼接在一起。这种算法最终帮助捕获到这张独一无二的照片:超大质量黑洞及其位于 M87 星系中心的阴影。
Katie Bouman 曾在TEDx做过演讲《如何拍摄一张黑洞照片》,这场演讲访问网址在:
https://www.ted.com/talks/katie_bouman_what_does_a_black_hole_look_like/
用最简单的语言来说就是,EHT 使用称为氢脉泽(hydrogen masers)的原子钟来协调不同地点的观测,这个原子钟精确到每 1 亿年误差一秒钟。EHT 依赖于干涉测量技术,这有点像通过试图通过在池塘边缘放置探测器来测量发出的涟漪来重建扔进池塘的石头。与此同理,EHT 将来自八座望远镜的信号组合起来,通过计算机输入,才能将一堆难以理解的光点转换成视觉图像。
那么问题来了,这个项目收集的数据量如此之大,仅一个晚上,EHT 生成的数量也达到了前所未有的水平,高达 5PB,约合 5242880GB。现在一般普通电脑硬盘是 500GB,那么 EHT 生成的 5PB 数据,需要一万块 500GB 硬盘才能装满,而这一万块硬盘就达半吨之重。
如此海量的数据是无法通过互联网传输的,只能放到硬盘中,由研究人员亲自坐飞机带到美国和德国的研究机构,利用超级计算机将原始数据合成为我们所看到的人类首张黑洞照片。
黑洞照片是如何“冲洗”出来的?
要将 EHT 产生的海量数据转换成图像的关键之一是,需要开发一种新的、复杂的算法。这些算法不仅需要将数据组合起来,还需要滤除由大气湿度等因素引起的噪声,因为噪声会使无线电波产生扭曲。还需要逐波精确同步远距离望远镜捕获的信号。但是,EHT 收集来的数据仍然有很多地方需要填补。
Bouman 提出算法后,进行了一系列精心设计的测试,旨在确保 EHT 的图像不是某种形式的技术故障或侥幸造成的。为了保证结果的准确性,在最终数据处理的时候,严谨的科学家们在两个不同的地方分别处理、分别验证。全世界范围内设立了两个数据中心,一个是位于美国的麻省理工学院,另外一个是位于德国的马普射电所,二者彼此独立地处理数据,也彼此验证和校对,保证了最终结果的准确可靠。
前面说过,EHT 收集到的数据仍然有很多空白,这就是 Bouman 的算法以及其他几个算法的用武之地。利用 Bouman 的算法,研究人员创建了三个脚本代码管道来拼合图像。
由于这次观测得到的数据高达 10PB,EHT 将这些数据装到硬盘空运到美国马萨诸塞州天文台和德国伯恩天文研究所进行处理,由超级计算机把所有的数据进行集成,超级计算机需要获取相同的信号到达两个望远镜的时刻差(时延)以及时延随着时间的变化快慢(时延率),校正射电波抵达不同望远镜的时间差,最后综合两个望远镜的位置信息、信号的强度以及上述两个参数 —— 时延、时延率,经过校准的资料被用来合成黑洞照片,但面对如此海量的数据,即便是超级计算机浮点计算能达到每秒 14 亿亿次,也划了一年多的时间才完成“冲洗”的工作。虽然人类首张照片是计算合成而得,但也是最为接近真实的照片了。
由此可见,人类为了首张黑洞照片,除了需要海量观测数据,还需要高性能的计算存储能力、相关算法和大数据技术等支撑。
拍摄黑洞的相关算法涉及到了大量(稀疏)图像处理、统计理论、非凸优化算法、混合高斯模型、隐马尔科夫模型、贝叶斯推断的问题。通过查阅资料,我发现,给黑洞拍照其实对统计学、计算机科学和运筹学 / 优化理论这些领域实际上也带来了很多有意思的、具有挑战性的问题。
当然,黑洞照片的背后也有着人工智能的影子。从本质上来说,这次黑洞成像的问题就是如何通过有随机噪声的稀疏信号去进行图像重构,Katie Bouman 等人的高斯隐马尔科夫模型当然是一种成功的思路,但针对不同的问题,我们是否还可以设计出更好的统计模型呢?针对这种超大规模的图像重构问题我们是否可以有更好的训练算法呢?这些都需要我们的计算机科学家、算法工程师们继续付出努力。
作为计算机信息技术的从业人员,最激动的就是这人类首张黑洞照片背后的数学原理和算法实现。黑洞成像的成功不仅让物理学家们感到激动,对于从事图像处理、统计、大数据、计算机科学、优化算法等个方向的研究者们来说也是更加激动的事情。
还记得我们的征途吗?我们的征途是星辰和大海!正是有了全世界的计算机科学家和算法工程师、程序员的工作,凭借计算机信息技术的加持,我们人类才能踏上征途……
福利
扫描添加小编微信,备注“姓名+公司职位”,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!
推荐阅读:
为什么给黑洞拍照需要这么长时间?
V神玩起freestyle! 5位以太坊核心大咖在悉尼的演讲精华全在这了!| 直击EDCON
“重构”黑洞:26岁MIT研究生的新算法 | 人物志
零编程基础的 15 岁少年,仅用 9 个月开发了 9 款 App?!
京东“地震”
程序员 996 再上热搜,黑名单增至 84 家!