—— 青亭网
其他
MR应用《SeeSignal》主创：为看到身边的3D信号，我学到了什么
Esther｜ 编辑
在去年Magic Leap展开的独立创作者项目中，从6500个参赛作品中选出了至少31个横跨多个应用领域的AR应用，BadVR开发的《SeeSignal》3D数据可视化应用就是其中之一。
据了解，《SeeSignal》号称是世界上首个利用空间计算来展示信号数据的完全沉浸数据可视化平台，它可以将WiFi、蓝牙、手机信号变成分布在你周围环境的3D图形。与传统无线电频率接收器不同，《SeeSignal》并未使用若干2D条形图来表示信号强度，而是用空间中的条形图来代表信号在空间中的分布，它所呈现的信息更多，看起来也更直观。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=s3004ocqiwg
近期，BadVR CEO兼联合创始人Suzanne Borders和高级工程师Brian Wong分享了这款应用的背景和灵感来源，以及开发过程中遇到的挑战和心得，或许能为其他AR/MR开发者带来些启发和灵感。
为啥选择3D数据可视化
Suzanne Borders
Borders表示：在成立BadVR以前，我曾做过UX/产品设计师，在5年左右时间里负责2D数据可视化和分析工具的设计，特别专注于地理空间数据可视化。
当时，Borders发现2D可视化有许多局限，尤其是在为非技术型用户设计产品的时候。据她回忆，为了确保产品的易用性，她设计的每个功能必须通过一个“妈妈测试”，也就是让她妈妈在10-15秒或以内学会这个功能。但由于每幢大楼几乎拥有100到300个独立数据点，如果设计一款可在全国范围应用的产品，那么设计一个结合这些数据且方便使用的界面则十分具有挑战性。
Borders热爱AR/MR等沉浸式技术并不是偶然，她从小就是一个《星际迷航》粉丝，某一天，她意识到可以将沉浸式技术与数据分析工具相结合，这样就不需要再牺牲产品的规模或细节层次。
早期的XR硬件相当笨重，为了确保自己开发的沉浸式数据平台能够得到广泛应用，她一直在等待XR硬件成熟。后来，在2018年的AWE展会上，Borders觉得时机已到，便成立了BadVR。
近年来，Borders一直在关注XR硬件发展，并在早期曾体验过HoloLens，看到了它的潜力，发现将AR用于数据可视化可为全方位数据可视化带来有趣的变化。后来，她又接触到Magic Leap One，并在上面体验了MR音乐体验应用《Tonandi》，发现空间计算已经可以让你伸出手去触碰看起来非常逼真的全息影像，甚至能得到另一种全新的感受。
Borders表示：在Magic Leap One中，我感觉自己真正沉浸在了一个全新的世界中，头显的视场角比以前更大，我还可以伸出手去触碰全息影像，这些影像感觉就像是接入了我的神经系统一样，让我的大脑都以为它们是真的。
于是，Borders决定要将Magic Leap的空间计算与BadVR的产品战略相结合。
至于为什么没有像道琼斯创新实验室开发的《华尔街日报股市数据》那样，将空间计算与股票行情数据结合，而是对手机信号、WiFi和蓝牙三种信号进行可视化，Borders给出了一个更为生活化的解释。
她表示：以前自己曾住在美国洛杉矶市中心，当时几乎没有什么基础设施，尤其是手机信号塔。而且还住在一个混凝土建造的公寓里，因此在家里不管怎么尝试都得不到稳定的信号覆盖，常常借不到电话或者打到一半断掉。
后来她只能选择安装固定电话，每当遇到手机信号问题，Borders都会想：如果能看到手机信号就好了。于是，她在公寓里根据自己收集到的数据样本，会在脑中幻想分布在公寓里的3D信号模型。
2018年11月的时候，Borders与另一位联合创始人Jad Meouchy参加了一场AT&T和Magic Leap举办的黑客马拉松活动。这场开发者竞赛由通信公司AT&T赞助，因此她便萌生了将手机信号可视化的想法，《SeeSignal》就此而生。
遇到哪些挑战
空间计算是一项新技术，为这个平台开发数据可视化应用必然遇到诸多挑战。BadVR高级工程师Brian Wong也分享了《SeeSignal》开发过程中发生的困难和决策。
他表示：传统无线电波接收器每次只能识别特定坐标的信号强度，而《SeeSignal》所提供的则是对整个空间中信号的可视化。同时，对我们来说目前实现其功能的最佳设备则是Magic Leap空间计算平台。空间计算让你能从空间层面对信号进行理解，如此一来，复杂的信号图案看起来也能足够显而易见。
在开发《SeeSignal》的过程中，遇到的一个最大挑战就是适应Magic Leap One的50°对角线FOV。为了让应用内容保持在用户眼前，BadVR从技术和创意层面入手，得出了多个有用的小心得。
《SeeSignal》开发团队发现的第一个心得是，在摄像头上加入一个不发亮的黑色晕影，它可以柔化头显视场角的可见边缘，创造一种渐变的效果。通过晕影产生的错觉，《SeeSignal》可以让用户感觉自己看到跟更多内容。
左：Jad Meouchy；右：Brian Wong
另外一个心得是，将用户的头部姿势和相对的正方向作为参照点，确保应用内容不会跑出用户视线外。
与传统2D屏幕不同，空间计算可将周围整个空间作为显示屏，因此应用内容的摆放位置将是一个需要解决的问题。BadVR团队将《SeeSignal》的内容放置在用户眼前的一个可读距离，它可以在头显视场角内移动，每当移动到用户视野范围外，应用内容会固定回全新的相对位置。
接下来，BadVR遇到的第二大挑战是，如何定义应用内容的起始点？是在房间中心还是在虚拟空间的中心？
在VR中，虚拟空间的定位具备明确定义，而对于结合真实环境的空间计算平台来说，起始点该放在哪呢？据了解，Magic Leap One会将应用内容的起始点默认设定在你打开设备的地点，因为在启动之前，头显还不了解房间的环境。
而对于开发者来讲，将虚拟内容放置在真实空间中要比在VR的虚拟空间中更为棘手，对此有几个解决方案，比如参考用户头部姿势来定位虚拟内容，或者将虚拟内容固定在真实空间中。
根据用户头部姿势重新定位内容，对于展会演示场景来讲非常关键，Wong建议开发者在制作demo的时候将重新定位做成一个公共功能，让现场人员可以通过Magic Leap手柄就能访问，这样在繁忙且难以预知的环境中开启应用会更容易。
此外，也可以将虚拟内容以可共享的持续性内容固定在真实空间中，在Lumin系统中，这一功能被称为持续性坐标框架（PCF）。将虚拟内容固定在真实环境中的好处是，每次打开应用后内容都能保持一致，即使重启也不会改变。
BadVR在开发《SeeSignal》过程中遇到的第三个挑战是，找到空间计算平台的最佳界面。对于PC来讲，是键鼠，而对于移动端来讲，是点击和滑动手势。空间计算目前还未找到合适的界面，好在Magic Leap One搭载了一系列传感器和输入方式，包括手势追踪、眼球追踪和6DoF手柄等。
对于《SeeSignal》来讲，BadVR希望用户能够与信号进行直接交互，因此他们首先决定结合手势追踪，用户可以伸出手并抓住虚拟信号，触发当前坐标信号强度的更多细节。
除了手势交互，《SeeSignal》还具备一个名为Gadgets的功能，也就是将包括信号接收器在内的多种虚拟设备与6DoF手柄相结合，看起来就像是将传统界面变成了数字版。
这些虚拟设备可用来改变可视化信号的配色，或者查看当前位置的信号强度、用箭头定位最弱和最强信号环境（类似于3D指南针）。未来BadVR将在其中加入更多小设备，比如空间信号的小地图。
BadVR团队遇到的第四大挑战是，制作应用教程动画。据悉，他们先是采用了类似于电影分镜头的脚本来规划整个连贯的流程，接下来采用Unity的Timeline功能（适用于创建复杂动画和教程的工具），采用嵌套式时间轴方式（主时间轴中的多个时间轴）将动画拆成多个部分，让团队成员可以独立工作，最后再整合成完整的动画。
为了教程具有更多互动性，BadVR团队采用Unity Timeline的Signals功能，在时间轴固定点上触发特定事件，事件触发后教学才能继续。这样的好处是让用户参与到教学中，培养空间和肌肉记忆。
而第五大挑战则是在真实空间中固定持续性内容，Wong表示：与PC或VR平台不同，在空间计算平台中进行锚点更具挑战性，好在后来Magic Leap不断更新SDK，让空间锚点对开发者越来越友好。
持续性空间锚点是《SeeSignal》的关键性功能，BadVR希望通过空间锚点来降低使用门槛，减少重复使用的阻力。因此，BadVR使用了Magic Leap的持续性坐标框架API，将信号读数保存在空间中。
如此一来，用户在发现模式中扫描信号数据后，当再次进入应用依然能看到上一次扫描的结果，同时它也会继续自动收集更多最新数据。
持续性内容对于多人体验来讲也是关键，利用持续性坐标框架，《SeeSignal》无须在房间内人工标记，就可以将多台头显中的数字世界进行同步。
学到了什么
解决了《SeeSignal》中的开发难题后，BadVR也总结了不少心得，CEO Borders总结了以下5点：
1）多用分镜头脚本
前面提到，BadVR曾利用类似于电影分镜头的脚本来串连教学动画的内容，这个灵感其实来自于Borders本人。她表示：自己一直热衷于电影，此前曾写剧本、导演和制片，从中了解到了分镜头故事板的好处。
分镜头故事板指的是，将电影中的逐个镜头简单绘制出来，并配上字幕和备注，这种方式可将电影等融合多感官的体验内容拆分成多个部分。其目标是帮助电影主创与美术和创作团队沟通自己的想法。
与电影相似，空间计算体验也融合了多种感官，因此设计过程更像是在拍电影，而不是像在设计2D科技产品。它同样需要音效、灯光、音效和剧本团队，于是Borders决定采用电影分镜头的形式进行创作。
分镜头在教程动画这种单一体验的创作上非常有用，通过将每个场景的全部信息呈现在故事板上，对于团队间的交流起到了极大帮助。因此，Boarders推荐开发者们多使用分镜头故事板来创作应用。
2）在AR中使用《Spatiate》
《Spatiate》
在应用开发初期的集思广益阶段，BadVR团队利用常见的VR创作应用《Tiltbrush》来创作想法，该应用非常适合开发VR内容，不过在空间计算中就没那么好用了。因为《Tiltbrush》不能预览将AR内容叠加在真实环境中的样子，因此很容易注意不到一些重要的细节。
因此，BadVR改用由Across Realities开发的Magic Leap One创作应用《Spatiate》，该应用就像是AR版《Tiltbrush》，它支持实时多人创作和预览，更适合创作空间计算应用。
据了解，BadVR团队大部分远程工作，《Spatiate》可以让成员在同一个虚拟空间中，实现远程协作，不需要再花费几小时路程跑到办公室工作。
3）写旁白是复杂过程
在编写教学动画的旁白环节，Borders的写剧本经验（号称累计时长1万个小时）派上了用场，而且除了她之外，团队的其他成员也会轮流编写旁白。Borders对于旁白要求严格，同时他们也会争论一些教学体验应该以音频、视频、文字还是触觉反馈的形式来表达，最后认为简洁的文字语言最有效。
在电影中，旁白的作用有两种，推动故事情节或者建立和传达情感，而《SeeSignal》中的全部音频通常是用于指导用户，或者对某种行为提供反馈和确认。
根据这个框架，BadVR成功融合了简洁的文字、图像和声音，传达了非常高的教学效果。
4）要通过“爸爸测试”
Borders的爸爸
上面提到过，在设计2D产品的时候，Borders会采用“妈妈测试”来了解产品对于非技术型用户的易用性。后来为了测试《SeeSignal》，她创造了一个“爸爸测试”，因为爸爸更了解科技，与大多数Magic Leap用户接近，而且他也是一个Magic Leap粉丝，非常了解射频信号。
爸爸更能代表典型的《SeeSignal》用户，如果他能顺利上手这款应用，那其他用户应该也可以。
Borders的爸爸在体验后没多久就发现了应用中的5处错误，尤其是在射频传播算法上，他的反馈也让《SeeSignal》得以完善。
5）易用性很重要
Borders透露，她的父亲其实是红绿色盲，因此建议Borders将《SeeSignal》做的对色盲人群更友好。
此前，《SeeSignal》采用红绿色系的信号，在采纳父亲建议后，Borders和团队在应用中加入了一个叫Styler的调色器，用户可调整颜色渐变，一共有三种选项，其中一个是适合色盲用户的。
据悉，BadVR旨在用空间计算提高大众的洞察力，其第一步就是要提高数据的易用性，让更多人都能体验到。
未来计划
与空间计算一样，《SeeSignal》看起来同样距离C端市场有段距离，它到底可以用在什么地方呢？对于未来的5G时代，《SeeSignal》可用来可视化网络的射频传播数据，帮助规划5G布局，还能帮助识别放置微蜂窝网络的最佳地点。
此外，还可以使用BadVR额外的信息层可视化来对大型WiFi网络流量进行可视化和监控，也可以帮助在新建筑中安装网络。
关于未来，BadVR计划空间计算与其他数据环境相结合，继续构建完全交互、完全沉浸的数据分析平台。同时，还计划建立行业合作，未来可能会继续公开《SeeSignal》中数据环境的设计。
（END）
推荐阅读
—— 青亭网