台湾医生打败MIT、微软!独辟蹊径打造超短距AR 成扩增实境明日之星
你、我都曾使用过显微镜,但这台特别不一样。结合罕见的近距离扩增实境技术,台大Scope+团队开拓出一块未来应用的新天地。
前一秒在手上还是标本,下一秒的镜头里,蝴蝶的翅膀却开始翩翩飞舞,然而将眼睛移开镜头,蝴蝶却像什么都没有发生般,静静地躺在显微镜底下。
在台湾大学德田馆五○五实验室里,一台外表看似3D打印机,上头却装了个Oculus Rift显示器,还放了两个工业级相机,好像小学生胡乱搭凑的古怪机器──Scope+,就是让蝴蝶瞬间重生的秘密。
在Oculus、宏达电、索尼掀起的虚拟现实(VR)热潮如野火般烧向全球时,微软HoloLens开始出货的消息,则是再次带起市场对扩增实境(AR)的关注。事实上,扩增实境的开发难度要比虚拟现实高得多,商机却也更大。而就在台湾的台大校园内,一个扩增实境界的明日之星Scope+,已经在学术界崭露头角。
医生爱写程序 跨界读资工
Scope+,是这台古怪机器的名字,也是开发这台机器的团队名称。去年三月成军,Scope+先是在SIGGRAPH(计算器图形学顶级年度会议)的AR/VR竞赛入围全球前十强,后来又在人机互动与用户接口设计领域最顶尖的国际会议UIST上,获得UIST Best Demo 2015。这座冠军,意味的是Scope+击败了包括迪斯尼研究中心、微软研究院、韩国科学技术院、日本产业综合研究所等十多个国际顶尖研究机构。
「最强的是麻省理工学院(MIT)多媒体实验室。」
Scope+项目负责人黄宇轩说:「能打败他们是我们意想不到的!」
今年三十六岁的黄宇轩是Scope+的发起者,更是团队中的灵魂人物,而有趣的是,他目前除了是台大资工博士候选人,同时还是一位眼科执业医师。
其实早在小学三年级,黄宇轩就已经展现出对信息的兴趣,开始写程序,而在就读长庚医学系大五那年,他和同学组队参加全国Java程序设计竞赛,和无线通信软件竞赛,更一举以医疗应用「掌心华陀」,和实境在线游戏「幻境迷城」,接连拿下亚军和冠军。
「那个年代,连『新创』是什么都不知道。」黄宇轩说,当时还没想到要把得奖的作品进一步朝商业化发展下去,「如果是现在的氛围,当时可能就去创业了。」他说。
不过他和信息的缘分没有因此中断。进入眼科实习后,他发现这是一个相当高科技的科别,科里至少有十三台以上不同类型的检查仪器。但他也发现,不是所有仪器都能够把数据送到PACS(医疗影像传输系统)。「这不解决,我们眼科会有很大瓶颈,速度没办法快。」有信息底子的他,开始在台大协助眼科专用PACS系统的建置。
过程中他也发现,医疗领域在大众想象中是一项高科技,实际应用上,却与最先进的科技有一段距离。而当中最大的问题,来自沟通落差。「信息人不懂医师的需求,医师却也不知道怎么帮助信息人员做得更好。」发现自己有能力作为两方桥梁的他,对相关医疗信息系统工作的投入也愈来愈多。
「但做得愈多,(发现)有很多基础的东西,是我们这种半途出家者缺乏的。」他说:「所以我才会想说,既然这样,眼科(实习)结束后,再来进修,真正做一些高深的研究。」
而Scope+这个案子的原型,正是来自他当初就读硕士班所提的研究计划,一个可以帮助医师进行术前训练的辅助工具。
协助术前训练 开发新工具
他解释,在进行白内障手术的过程中,最关键也最困难的一个步骤,是要用一个非常细的镊子,在水晶体表面撕出一个完美的圆圈。在过去,他们能够依靠的只有医师的经验与手感,而他想要改变这样的情形。
有趣的是,在研发过程中,他发现这项技术的应用,其实不只能用在手术练习,而是比他所预想的还要更广得多。
想象几个常见的情景,「解剖课上,当你切开一只老鼠,想要找出心脏、血管、神经时,旁边一定得摆着一本书,让你不时能抬头对照图谱。可能老师还得不停地逐桌去亲自引导学生。」
又或者,「进行电子零件组装时,旁边也需要一份电路图,才能找出如何放置正确的电阻,和正确的脚位。」简单来说,不论是生物、化学、电子,还是教育用途,这些使用显微镜工作的专业人士,总是得不断重复这样的动作:抬头翻书、低头看显微镜,接着再抬头看书。
而Scope+可以做到的,就是把原本只存在纸本上的信息,直接加到显微镜画面里,并且可以同步连网,让显微镜不再只是独立的一个工具。更进一步,甚至还能发展成专业引导工具,就像在进行手术练习时,医师不再需要将视线移开显微镜,「(藉由扩增实境的实时反馈)我随时可以知道对或不对。」黄宇轩说。
黄宇轩的指导教授认为,这项技术之所以能在UIST脱颖而出,最重要的是,「他们进入很微小的世界,是很近距离的。」他说,不同于目前市面上看到的扩增实境和虚拟现实主流应用,多是在电影、电玩这类大规模、远距离的画面,「Scope+开创的是一个很新奇的眼光,所以特别引人注意。」他认为,台湾要和既有的产业巨擘比拚娱乐市场很困难,但Scope+找到了新的切入点。
短距离扩增实境 超越前人
事实上,这也是黄宇轩相当引以为傲的部分,「过去在这么短的距离做出AR是没办法的。」他说:「我们自己设计、自己制作显微镜核心模块,才能让你在正确的视觉,看到真实世界的画面,这是目前AR、VR都还无法做到的事情。」
他还记得,一开始启动这个计划时,几乎找不到相关数据,「就算找到也没办法直接用。」他说,以相机这个关键零组件为例,他们需要的是提供机器视觉使用的工业等级产品,而他能做的,就是一个一个打电话给光学自动化检测公会会员,找出最合适的产品。
而且,要找出适合的零件难,要将软硬件整合成系统更难。特别是他们在设计上,希望可以做到如同医师实际执刀时,不须使用双手,只要利用脚踏板就能进行显微镜方向和焦距控制的使用情境,「我们花很久时间才让它动起来,超乎想象的久。」黄宇轩说。
第一个加入Scope+的台大信息网络与多媒体研究所硕二生游子杰记得,当时为了赶上参赛截止时间,几乎每天都忙到凌晨三、四点才离开,然后隔天一早又回到实验室继续赶工。而这样的努力,最终让他们获得国际学术界的肯定。
几次在国际会议做展示时,黄宇轩和他的团队总是不免会被问及一个问题:「这个产品什么时候要卖?」他说:「他们都觉得这东西好像已经很完整,快要上市了。」但黄宇轩直言,这毕竟是一个学术研究计划,不是以商业为目的开发的项目。
然而他也不否认,计划开始的目的,就是希望Scope+最终能够在市场上实际应用,只是他也强调,在此之前,「每一个部分都还要做到更好一点。」而开往下一代产品的引擎,已经启动。
点击查看往期精彩内容: