查看原文
其他

美国南加州大学USC Shoah基金会首席技术官利用Filecoin进行永久保存并检索纳粹大屠事件“辛德勒的名单”的珍贵历史材料

【ESPA系列】美国南加州大学USC Shoah基金会首席技术官利用Filecoin进行永久保存并检索纳粹大屠事件“辛德勒的名单”的珍贵历史材料;践行Filecoin旨在存储人类社会最重要信息的分布式网络


资料:


正文:



CTO at USC Shoah FoundationAssoc. Dean of USC Libraries
USC Shoah基金会首席技术官。南加州大学图书馆主任


我们是一个由史蒂文·斯皮尔伯格创立的组织,是在1993年的电影《辛德勒名单》之后,然后在1994年,我们开始在世界各地收集采访,在56个国家和地区采访到,最终从1994年到2000年手机了52,000次采访,记录了尽可能多的幸存者证人的经历,这些采访记录数据未压缩前有25PB。压缩之后是6PB的数据大小。


从1944年留下来的数据,在1994年第一个网络问世了,所以我们的目标是让每一分钟的视频都像网页一样可以搜索,我可以通过关键字来搜索人们的名字以最快捷的方式找到关于他们的事迹和文章内容。然后在2006年,随着我们越来越关注教育,我们的使命是通过网络的发展来教育人们提高同理心理解和尊重生命。在美国有一半以上的高校都有我们的教育计划。南加州大学对引入非常大的数字馆藏非常感兴趣,那里的教职工和社区也都很感兴趣。他们扩大了我们的范围,不仅关注当年二战的大屠杀和种族灭绝历史和从记事开始到当今发生过的14次大规模暴行事件。我们能够获得的幸存者的数量以及从他们身上得到的历史教训没有限制。


我们再次作为加载使用Filecoin网络的用例,我稍后会告诉你我们在哪里,实际上不仅会进行新的采访,我们还会去博物馆和其他人处理采访,他们必须把它们带进来,以便对它们进行编目和保存。
我们这样做的原因是因为随着技术的发展,新的技术所带来的工具,会加速老数据存储载体的衰退速度,会导致老数据载体无法在新技术工具下获得使用,将导致数据无法被输出。
所以这对许多组织阿里说都是一个问题。所以我们帮助组织获得他们的旧磁带和其他媒体数据。


这是我们利用Filecoin网络的操作页面,可以通过近70000个关键字搜索116000小时。
我们还有一个非常大的图像数据库,这些图像数据库在视频中显示。
可以让您搜索视频和人名,这很有帮助通过各种家谱学的努力以及幸存者让他们重聚,帮助人们找到家庭,因为在当年家族离散、家庭离散数不胜数。


所以我们使用的关于保存的顶级概念是一个称为超级文本的概念。
是由几位前南加州大学校长及史蒂夫·萨姆所构建出来的,基本概念是我们已经阅读和写作超过5000年,所有我们有像莎士比亚、西赛罗、古兰经、圣经、托拉这样的内容,这些内容已经通过了数百数千年,问题是你与移动图像有什么关系才能让他们有同样的机会成为超级文本。

特别是因为我们只有140多年的运动图像,并且还没有图像超级文本,因为他们只是没有图像,所以我们这就是我们的全部在这些可验证数据中,我们希望让他们有机会通过他们交手的课程度过时光,这是我们在保存方面面临的挑战,我们图如何让试听材料有机会成为一个超级文本。


所以我们开发了一个为级别的保存连续体,在连续体的一侧,我们使用互联网的用途,有很多地理分布并使用大量电力来存储和保存实际内容。

我们从斯坦福开始的一个项目叫做staling lab,我相信你们应该挺搞关于那个实验室的一些事情,这对我们来说是一个很好的合作伙伴关系。

所以这就是专门使用区块链和filecoin来尝试存储和保留证词,然后我们就有了我们多年来一直在做的事情,我们再世界各地的不同地方拥有装满磁带机器人的数据中心,欧洲东海岸我们还添加了云数据中心与亚马逊同步,那些同步固定性检查这些环境中的视频文件的健康状况并将他们更新为不同的内容片段防止数据损坏或者丢失。

这是我们目前的解决方案,我们现在正处于研究级别,使用filecoin,事情正在朝好的方向发展
然后再媒体的另一端,我们正在研究实际上可以保存音频的东西,很长一段时间的视觉内容,例如DNA、石头或各种形式的水晶,当你达到那力是,你会担心阅读器会长期存储这些内容,例如枪和玻璃或二氧化硅或透明媒介。

但是使用DNA或石头,你需要使用不同的技术,你需要能够读取其中的信息位,虽然我们是由DNA假设未来会有DNA的注释和作者,所以这感觉相当安全的赌注,但这也在研究领域,但基本上我们的想法是允许视听内容成为一个超级文本,你在每个不同的领域和所有这些领域尽可能的多样化。


所以从数据中心的角度来看,你知道我们目前拥有的展示基础,一个6PB的数据库,我们实际上在南加州大学使用了图书馆的Show Foundation架构来引入各种不同的馆藏,这些馆藏也不一定与种族灭绝有关,并将其变成学术馆藏的云存档,我们在那力管理者65PB的数据,基金会就是其中的一部分。

然后我们进行位级别的固定,者以为者我们至少每六个月检查一次每个文件,确保与你在filecoin网络上,迄今为止在IDC数据中心所做的,然后你知道至少三年迁移到全新的媒体库中。保持世界各种各地的副本,然后我们正在添加一个很快的filecoin副本可以与我们的微软副本和我们的数据中心副本同步,以再次继续允许内容在整个时间中移动,并且没有改变。


这是一个用于保存的框架,我们司机上都在捕获存储和验证我们正在与工程部门合作的内容,我们提别感谢Starling Lab实验室和我们合作的PICNIC项目。




这是我们的一个简单的搜索引擎,你可以进入,你可以按照关键字搜索,这些群体是各种种族灭绝的关键字,由66000人或地方,但我可以开始输入诸如奥斯维辛集中营里面的东西。


这些搜索到的内容会根据你所提供的关键字或者范围内的内容马上搜索到。


这里面还有通过关键词和关键的一些内容索引到视频图像文件,可以在某一句采访的话中捕捉到关键字。

并再次跳到各种主题,我们现在由多种方式可以浏览内容,你可以通过所有提到的人在采访中的每一分钟浏览,每一分钟所表达的话都可以记录成为超级文本,都可以作为一个索引单位。

摈弃给你可以按主题移动分钟,你恶意转到目录,你可以选择感兴趣的话题,如果存档中有任何图片和视频,你只需要点击图像或视频,就会跳转到视频中该图像的那一段。


在这里可以通过直接关键词搜索,还有幸存者我们一致在用3D和2D拍摄这些采访,并于幸存者有更直接更近距离的亲身的体验,我们一致在工作,只是我们已经工作了一年,但我们一致在做我们的研究,也与其他团体合作,今年年中我们将上传并准备好开始推出filecoin集成到我们保存的基础设施中。



相关:

官方负责人:众多核心优势更适合大型数据的存储;Filecoin是全球性的,跨越全球45个国家和数百城市;存储成本低于传统云20倍

USC Shoah Foundation & Starling Lab的合作。USC Shoah Foundation是一个非营利组织,管理着世界上最大的种族灭绝幸存者证词档案
【官方】生态建设:协议实验室及Filecoin基金会宣布投资200万美元建立Starling实验室,以建立真实数据库

【ESPA系列】访谈纽约市政府首席技术官为什么要把公共数据集存储在Filecoin上?Filecoin正迈出坚定的一大步

关注:美国地方、州和联邦政府将大量公共数据集通过SeedAI组织上传到Filecoin进行隐私安全AI分析和利用

纽约市将有关人口统计、空气质量和法律通知的公开数据上传到Filecoin网络;存储人类社会最重要信息的分布式网络又跨进了重要一步

官方 | Filecoin基金会和协议实验室开展实验项目,将纽约市的开放数据放在Filecoin网络上

Filecoin,迈出重要一步!互联网档案数据库成千上万的电影和有声读物都已经同步到Filecoin上了
【Filecoin应用价值】路透社拍摄的美国总统大选照片档案已被上传并存储于Filecoin网络

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存