【动态】第十六期可视化与可视分析国际学术报告成功举办

2022年5月5日晚，中国图象图形学学会可视化与可视分析专业委员会组织的第十六期可视化与可视分析国际学术报告成功举行。此次报告特邀德国慕尼黑工业大学Rüdiger Westermann教授担任讲者。Westermann教授是慕尼黑工业大学的计算机科学教授。自2003年以来，他任计算机图形和可视化小组的负责人。2012年，他在不确定性可视化领域的研究获得了价值230万欧元的ERC高级资助。自2015年以来，他是跨区域合作研究中心“Waves to Weather”的一员，为气象学家提供视觉分析和深度学习方法，以打破天气预测的局限性。他最近的研究包括与来自代尔夫特理工大学的Wu Jun教授合作的应力引导拓扑优化，基于学习的数据可视化和重构、压缩和特征分析方法。

Westermann教授带来了题为《Neural Network-based Upscaling and Sampling for In-Situ Visualization》（基于神经网络的原位可视化提升和采样）的精彩报告。首先，Westermann教授介绍了科学可视化相关的背景知识，科学数据可视化往往是事后（post-hoc）进行的，从存储中提取数据，从数据中抽取特征然后进行渲染；其中最重要的问题之一便是解决数据的可伸缩性（scalability）问题：

1. 计算和读写（I/O）能力之间存在差距：在21世纪10年代，计算速度增加了两个量级，而I/O能力却只增加了一个量级；

2. 模拟数据需要被存储，无法以足够的帧率被流式传输到内存：存储数据的时间比计算它们更长；

3. 在处理多变量数据和集合数据时，对I/O的要求甚至会更高；

这些问题，使得事后渲染科学数据变得非常缓慢。在此背景下，Westermann教授指出，原位可视化（In-situ visualization）是一种传统事后可视化的替代方案。原位可视化的一个特点是通过实时可视化来监控正在运行的数据模拟程序，其动态产生数据并进行流式传输。为了提高可视化的效率，可行方案之一是降低数据样本，那么，基于学习的方法是否能够降低原位可视化程序所需的数据样本数量呢？

图 1 从低分辨率的结构中推断高分辨率（4x）结构

Westermann教授提到，基于学习的尺度提升（upscaling）技术，利用人工神经网络，能够从低分辨率的输入中推断出高分辨率的结构（图1），这使得数据传输过程，只需要部分的数据样本和更低的像素。Westermann介绍了一种科学可视化中使用的超分辨率技术，基于残差网络生成双线性提升的超分辨率图像，用稠密光流来保持时序一致性。

在实际应用中，还可以将超分辨率技术和高分辨率渲染进行结合，对于用户感兴趣的区域（比如图2红色部分）则可以直接采用真实的高分辨率结构进行绘制，其周围（图2绿色部分）则可以用1:2的采样率进行超分辨率重构，对于不感兴趣的其它区域则用1:4的采样率进行重构即可。

图 2 对不同区域用不同采样率进行超分辨率重构

Westermann教授提到，当前基于神经网络的超分辨率技术存在以下问题：为I/O带宽牺牲了质量(下采样)，可能足够用于监控模拟数据，但也许会丢失重要特征，从而带来准确率的问题；其次，神经网络非常耗时（相对于成熟的可视化程序生成图像的速度而言）；最后，当前的神经网络训练只在单一的模拟数据训练集上进行，难以处理没有在训练过程中见过的结构，对于更多不同的特定模拟过程，需要使用新的数据集重新训练网络。

图 3 自适应采样学习和超分辨率重构的神经网络架构

为了提高重构质量，Westermann教授发表了一项自适应采样的工作，能够在更加密集的区域采样更重要的特征而不是均匀采样。这项工作的主体是一个用于体可视化的自适应采样学习和三维可视化重构的神经网络（图3），该网络模型经过端到端训练，从给定的低分辨率输入图像生成稀疏自适应采样结构，并从稀疏样本集重构高分辨率图像。在Richtmyer-Meshkov仿真数据上获得自适应采样率为5%的重构效果(图4左)与真实值(图4右)对比，整体可视化结果相当好，仅明亮度有一定程度的褪色。

图 4 自适应采样和重构网络模型输出与真实值对比

接下去，Westermann教授回到原先的话题上，探讨事后可视化渲染的另一种可替代方案：将数据进行压缩以便进行流式传输或者实时存储，在远程的可视化端，就可以实时处理这些压缩的数据流。这些做法包括以下这些方面：

1. 仅抽取特定特征然后进行流式传输（但这还并不是真的数据压缩）

2. 用经典的压缩算法进行数据压缩并且进行流式传输；一旦进行流式传输，就可以随机存取压缩数据流，避免恢复整个数据集而导致数据规模问题

相较于传输原始数据，将数据压缩后再传输有助于缓解带宽压力，但是这一做法也将数据渲染时间从数秒提升到数分钟 ，这难以接受。Westermann教授团队提出了Fast Volume Scene Representation Networks（fV-SNR），从硬件和网络结构两方面的改进了先前的工作，减少了压缩和解压所需时间，即生成数据的紧凑表达所需的学习时间和渲染时间。

图 5 fV-SNR在硬件和网络结构上的两点改进

在硬件方面，该方法考虑了线程束中的线程个数、张量处理单元中的矩阵列数与共享内存大小。在网络结构方面，该方法提出三维隐空间网格，即原始数据在隐空间中的紧凑表达。结合网络参数与坐标轴，该表达可以对原始数据进行重构，即“解压”。

对比Compressive Neural Representations of Volumetric Scalar Fields中的方法（图6括号中数据），fV-SNR在降低训练时间和渲染时间上均表现优异（图6蓝色部分）。

图 6 fV-SNR方法在训练时间和渲染时间上均相对于Baseline方法有较大的提升

该方法进一步将fV-SNR用于对时间序列的重构上。fV-SNR可以构造单帧数据的三维隐空间网格，通过对关键帧的三维隐空间网格进行插值，实现时间序列数据的重构。同时，这一过程也可视为对时间序列数据的解压。

Westermann教授提到了一些在做基于神经网络的数据缩减时的一些见解和挑战。首先，没有足够的高低分辨率的模拟数据用以训练，当然这一点可以通过诸如数据增强的方法进行解决。第二，在低分辨率图像推断高分辨率图像的过程中，并没有物理限制，这可能需要在神经网络中加入物理的先验知识和正则化。

在提问环节，Westermann教授和听众进行了热烈的交流。在谈及超分辨率技术在体数据原位可视化中的作用时，Westermann教授指出传输高分辨率的图像需要较长时间，通常会压缩图像以提高传输效率，而超分辨率技术则用于恢复压缩后图像的质量，虽然基于神经网络方法的渲染结果不是完全可信的，但它仍然为我们提供了一种方便、快速的体数据渲染方法。至于性能问题，随着硬件技术以及神经网络架构的进步，将会得以解决。另外有观众提问到：是否需要为特定的数据集训练特定的网络模型，还是在一组相似的数据集上共用一个模型？Westermann教授指出图像上采样模型将使用Ejecta数据集进行训练，然后用于其他所有数据集。至于图像压缩，则需要首先训练模型以适应特定的数据集，这通常比压缩本身更为耗时。因此Westermann教授认为模型的泛化能力非常重要，需要考虑如何克服过拟合，使得压缩模型能在其他数据集上共用。

本次活动由浙江大学CAD&CG国家重点实验室支持，可视化与可视分析专委会常务委员，中南大学计算机学院夏佳志教授主持。下一期报告将于2022年5月19日 19:00 - 20:30举办，邀请了德国斯图加特大学的Daniel Weiskopf教授作为演讲嘉宾。

来源：CSIG可视化与可视分析专委会