DHLib海外成果授权专栏 | 数字人文中的视听研究专题

“数字人文门户网站”DHLib(网址：www.dhlib.cn)近日在“海外成果授权专栏”推出“数字人文中的视听研究”专题文章，涵盖电影、电视、舞蹈、音乐、AR/VR，以及其他多种视觉和听觉艺术相关的数字人文研究、工具、教学与数据库。该组文章节选自Digital Humanities Quarterly 2021年15.1期推出的“AudioVisual Data in DH”专题，由Taylor Arnold, Jasmijn van Gorp, Stefania Scagliola 和 Lauren Tilton共同组稿编辑完成。

Books Aren’t Dead: Resurrecting Audio Technology and Feminist Digital Humanities Approaches to Publication and Authorship

作者：

Emily Edwards, Bowling Green State University

Robin Hershkowitz, Bowling Green State University

这篇文章探讨了播客媒介作为一种音频技术是如何促进学术出版和女权主义实践的重新想象的。在这个案例研究中，我们将播客“Books Aren’t Dear”(BAD)置于数字人文学术研究的更大背景下，以及该领域利用音频技术实现女权主义方法的潜力。BAD，作为一个播客，作为一个开放获取的媒介，将作者和评论者聚集在一个协作的环境中。有声书评允许作者和采访者之间进行对话，作者可以将作品置于更广泛的学术和当代背景中，并积极参与建设性的批评和问题。其结果是一种动态的学术交流，而不是一篇书评的静态文本产品。我们从表演研究和档案的角度讨论了音频技术在知识生产过程中的独特作用。此外，本着BAD项目的精神，我们还提供了文本讨论的补充，包括一个播客，我们作为联合制作人、研究生和年轻学者讨论这些主题，探索音频技术如何打破出版和作者障碍。

长按二维码扫一扫，即可阅读全文

Deformin’ in the Rain: 

How (and Why) to Break a Classic Film

作者：

Jason Mittell, Middlebury College

数字源材料，如电影，可以转化为数字人文研究的创新路径:计算处理声音和图像，以创造新的视听制品，其洞察力可能通过其审美力量和变革性的陌生感揭示出来。在马克·桑普尔(Mark Sample)称之为“畸形的人文”的数字人文实践的压力下，本文将一部电影置于一系列的变形之中:经典音乐剧《雨中曲》(Singin’in the Rain)。本文梳理了20多种原始的视听变形，包括静态图像、GIF和视频格式，考虑了每一个新版本对电影(以及更广泛的电影)的揭示，以及我们如何将算法实践创造的衍生美学对象作为一种变形的人文科学的产物。

长按二维码扫一扫，即可阅读全文

Moving Cinematic History: Filmic Analysis through Performative Research

作者：

Jenny Oyallon-Koloski, University of Illinois at Urbana–Champaign

Dora Valkanova, University of Illinois at Urbana–Champaign

Michael J. Junokas, University of Illinois at Urbana–Champaign

Kayt MacMaster, University of Illinois at Urbana–Champaign

Sarah Marks Mininsohn, University of Illinois at Urbana–Champaign

在本文中，我们论证了动作捕捉驱动的研究的价值，它将视听分析推向表演的方向，将舞者/研究者整合到电影空间中。与通过视听媒体而非书面媒体传播其研究结果的视频从业者的工作一样，本工作通过将实践导向的方法应用于运动图像分析，寻求与Catherine Grant和Brad Haseman所称的“表现性研究”相结合。通过对电影和舞蹈形式的物理和虚拟的体现，我们试图更好地理解舞蹈融入电影空间的形式含义，以及影响电影制作人叙事和风格选择的物质条件。

长按二维码扫一扫，即可阅读全文

From close listening to distant listening: Developing tools for Speech-Music discrimination of Danish music radio

作者：

Iben Have, Aarhus University

Kenneth Enevoldsen, Aarhus University

数字化改变了流音乐广播。来自Spotify和iTunes等音乐流媒体服务的竞争在很大程度上超过了传统的播放列表电台，上世纪90年代，公共服务电台通过软件生成的播放列表在全球范围内的传播，已经取代了热情的音乐电台主持人。但数字化也改变了我们研究无线电的方式。在丹麦，从1989年开始，几乎所有的广播节目都进行了数字化，这使得人们能够真正聆听这些档案，来研究广播内容的历史变化。本文通过定性案例研究与新的大规模研究相比较，探讨了丹麦广播公司(Danish Broadcasting Corporation) P3广播频道1989-2019年音乐与谈话的分布情况。从方法论上讲，这种从近距离收听少数节目到远距离收听超过65,000小时的广播的转变，使我们能够对两种分析的方法、结果、优缺点进行讨论和批判性比较。先前的研究已经证明，用于音频频谱图像识别的卷积神经网络(CNN)优于其他方法，如支持向量机(svm)。提出的大规模研究表明，基于cnn的方法可以很好地概括丹麦广播的语音和音乐分类，即使没有微调，总体准确率也能达到98%。

长按二维码扫一扫，即可阅读全文

Annotating our Environs with the Sound and Sight of Numbers: The DataScapes Project

作者：

John Bonnett, Brock University

Joe Bolton, Business Insight 3

William Ralph, Brock University

Amy Legault, Billyard Insurance Group

Erin MacAfee, University of Ottawa

Michael Winter, Brock University

Chris Jaques, Badal.io

Mark Anderson, Independent Consultant

DataScapes项目是对增强现实对象如何作为景观设计的组成部分的探索。该项目以Stephen Ramsay的Screwmeneutics和Harold Innis的Oral Tradition为理论起点，整合了数据艺术的产品——数据的可视化和声音化——作为我们两件作品The Five Senses和Emergence的组成部分。

长按二维码扫一扫，即可阅读全文

Afrofuturist Intellectual Mixtapes: A Classroom Case Study

作者：

Tyechia L. Thompson, Virginia Tech

Dashiel Carrera, Virginia Tech

本文是一个视听数字人文模块智能混音带项目的课堂案例研究。智能混音带使用爵士乐和嘻哈作为框架来创建音频编辑和“对话”，对文学音频文本进行采样（例如 SunRa 演讲、Octavia Butler 采访、Tracy K. Smith 的诗歌朗读等）。智能混音带的每首曲目都有三个音频：1) 教学大纲中的文学音频文本，2) 学生用自己的话表达的声音，以及 3) 学生选择的音频。作为每首曲目的伴奏，学生们写下 500 字的课堂笔记，其中必须包括曲目的标题以及他们的策展和混音决定。

长按二维码扫一扫，即可阅读全文

Advances in Digital Music Iconography: Benchmarking the detection of musical instruments in unrestricted, non-photorealistic images from the artistic domain

作者：

Matthia Sabatelli, Montefiore InstituteNikolay Banar, University of AntwerpMarie Cocriamont, Royal Museums of Art and History, BrusselsEva Coudyzer, Royal Institute for Cultural HeritageKarine Lasaracina, Royal Museums of Fine Arts of Belgium, BrusselsWalter Daelemans, University of AntwerpPierre Geurts, University of LiègeMike Kestemont, University of Antwerp

在本文中，我们提出了MINERVA，这是视觉艺术领域中第一个用于非真实感、不受限制的图像集合中乐器检测的基准数据集。这一努力是在音乐图像学的学术背景下进行的，这是一个在音乐学和艺术史交叉的跨学科领域。我们对一些最先进的图像分类和目标检测系统进行了基准测试。我们的结果证明了这项任务的可行性，但也突出了这种艺术材料对计算机视觉构成的重大挑战。我们评估了系统的样本外收集，并提供一个解释讨论的假阳性检测。错误分析对触发检测器的上下文线索产生了许多意想不到的见解。例如，围绕儿童和乐器的图像有一些共同的核心属性，比如肢体语言的亲密感。

长按二维码扫一扫，即可阅读全文

Comparative K-Pop Choreography Analysis through Deep-Learning Pose Estimation across a Large Video Corpus Comparative K-Pop Choreography Analysis through Deep-Learning Pose Estimation across a Large Video Corpus

作者：

Peter Broadwell, Stanford University

Timothy R. Tangherlini, University of Calfornia, Berkeley

在本文中，我们描述了将基于深度学习的摆位检测应用于一个大型K-pop音乐视频语料库的过程中所做的考虑和选择，并介绍了我们开发的分析方法，同时聚焦于一个较小的舞蹈练习视频子集。这些努力的指导原则是采用技术来描述、分类和比较视频内和之间的姿势，并分析各种性质的动作作为时间序列数据，这将适用于多种类型的动作编排，而不是特定于K-pop舞蹈。最后，我们通过案例研究展示了我们的方法如何有助于开发K-pop姿势的排版和姿势序列(“动作”)，从而促进数据驱动研究K-pop和其他文化类型之间的相互依存关系。我们还展示了这项工作如何推进“远距离”分析舞蹈表演和更大的语料库的方法，考虑到这样的标准，如重复性和同步程度，以及更特殊的措施，如团体表演的“紧密性”。

长按二维码扫一扫，即可阅读全文

Audiovisualities out of Annotation: Three Case Studies in Teaching Digital Annotation with “Mediate”

作者：

Joel Burges, University of Rochester

Solvegia Armoskaite, University of Rochester

Tiamat Fox, University of Rochester

Darren Mueller, University of Rochester

Joshua Romphf, University of Rochester

Emily Sherwood, University of Rochester

Madeline Ullrich, University of Rochester

本文描述了mediation，一个由罗彻斯特大学开发的视听媒体注释工具。本文认为，该平台是理解电影、电视、诗歌、流行歌曲、现场表演、音乐和广告的一个来源，如电影和媒体研究、音乐史和语言学的三个案例研究所示。在每一种情况下，学生之间的合作不仅是关键，而且还使mediation成为可能，它允许学生分组工作，生成大量有关视听媒体的数据。此外，数据生成过程产生了视觉和声音相互作用的定量和定性观察。对教授这些课程的教师来说，这些课程的一个主要成果是视听的概念:物理上和文化上相互渗透的视听体验和视听记录模式，在这种模式中，听觉和视觉对我们所有人来说都是感官和社会主体。

长按二维码扫一扫，即可阅读全文

The Media Ecology Project: Collaborative DH Synergies to Produce New Research in Visual Culture History

作者：

Mark Williams, Dartmouth College

John Bell, Dartmouth College

本文详细介绍了媒介生态项目(MEP)的发展和目前NEH资助的研究目标，该项目由达特茅斯大学的马克·威廉姆斯教授指导，约翰·贝尔博士设计。MEP实现的访问、研究和保存的良性循环，是建立在技术进步(软件开发)的基础上，加上与学者、学生和移动图像档案等历史记忆机构的大规模合作网络。

长按二维码扫一扫，即可阅读全文

Exploring Film Language with a Digital Analysis Tool: the Case of Kinolab

作者：

Allison Cooper, Bowdoin College

Fernando Nascimento, Bowdoin College

David Francis, Bowdoin College

本文介绍了 Kinolab， 一个用于分析叙事电影语言的数字平台。本文认为，电影和媒体研究教师和学生需要一个专注于电影语言的学术剪辑数据库，最近的技术和法律进步为这种数字人文工作创造了有利的环境。该项目的讨论位于运动图像注释当代发展的更广泛背景下，并讨论了计算驱动的运动图像分析带来的独特挑战。

长按二维码扫一扫，即可阅读全文

点击“阅读原文”跳转数字人文门户网站“海外成果授权专栏”。

数字使人文更新

投稿邮箱：[e-mail]

数字人文门户网站：www.dhlib.cn