D&I实验室系列 | 智能大数据可视化实验室 iDVX Lab

Original D&I 同济大学设计创意学院 2022-08-28

收录于合集 #D&I实验室系列 8个

智能大数据可视化实验室 (Intelligent Big Data Visualization Lab, 即 iDVX Lab) 是同济大学内一个独特的跨学科研究型实验室，由曹楠、石洋、陈晴三位教授共同领导。实验室位于同济大学设计创意学院，并横跨 “软件学院” 及同济大学 “上海自主智能无人系统科学中心” 招生。是国内唯一一个同时招收文科（设计艺术类，颁发设计艺术学学位）及工科（计算机及信息科学类，颁发设计工学学位）学生 的以智能交互式可视化设计与技术为研究核心的实验室。在这里，科学、技术与艺术的相互交融，迸发出不一样的火花。

* 什么是可视化？

可视化是信息传达设计的一个重要分支，通过对数据进行交互的可视表达增强对数据快速高效的认知与分析。可视化的延伸包括：数字孪生系统、VR/AR/MR 数字呈现系统、数据信息大屏、信息传达设施等，其应用更是遍及智慧城市、智能医疗、5G物联网等诸多方面。从设计学的角度而言，可视化是 交互设计、信息传达设计、与 数据科学 的交叉学科；从计算机的角度而言，可视化是 人机交互、数据挖掘、计算机图形学、及 机器学习 的交叉学科。

一、科学研究与自主创新

IDVX 实验室秉承着 “立足科研、自主创新” 的办学与科研理念，以创造“务实有用科研成果” 为目标，以数据可视化为技术手段，围绕着 “智能可视化设计”、以及 “智能人机交互” 两个国际前沿领域及方向，针对用户需求及真实应用场景，运用人工智能技术及大数据分析手段，在不同领域打造出了一系列以设计思维为导向的信息化系统原型。这些成果的背后，是实验室扎实的科研积累及大力度的科研投入。近些年来，实验室先后主持国家级纵向课题 5 项（包括4项国家自然科学基金），获得各类其他省市级纵向及配套科研经费过千万，在人机交互顶级国际会议 ACM CHI，可视化顶级国际会议 IEEE VIS，顶级期刊 IEEE TVCG，及其他领域内重要国际会议及期刊上发表相关论文 100 余篇（其中包括了 42 篇 CCF A 类论文），并获得 2 项最佳论文奖及 4 项最佳论文提名奖，其他各类奖项10余项。实验室申请专利 40 余项，并获得专利授权 24 项，这些研究成果为下一代智能交互设计与技术及智能信息传达设计初步奠定了理论基础与根基。iDVX 实验室中到底有哪些有趣的研究方向呢？

iDVX 实验室所获部分奖项

可视化叙事内容生成（视觉信息传达设计）

随着对可视化技术需求的不断增加，如何利用智能技术更快更好的设计创作可视化图表，生成千人千面的可视化展现形式，成为国际研究的前沿热点。在该研究方向上，iDVX实验室构建了一系列可视化设计空间用于以结构化的形式表达数据中的内涵、传达信息中的情感、实现可视化作品中视觉可见的逻辑表达能力，并在此基础上构建了一系列智能生成算法用于实现对数据的自动洞察及相关可视化图文的自动生成。Calliope 系统便是iDVX实验室在该方向上一个有趣的科研成果，这是一款能够根据用户上传的数据自动创建 “数据故事” 的智能在线系统。不同于自然语言生成技术，该系统提供了更加有趣强大的功能：他能够根据用户上传的结构化数据，自动分析数据内涵，一键生成与之相对应且图文并茂的 “数据故事”。

Calliope 自动数据故事生成系统

人机协同下的智能交互设计（交互设计）

人机协同设计，是人机交互领域的研究热点，实现人类设计师与人工智能设计程序的无缝协作，把人类的设计灵感与机器的创作效率完美结合，实现人与机器共同完成同一幅设计作品，是诸多设计师与技术人员的终极目标。iDVX 实验室正在努力设计并打造一款人工智能驱动下的设计机器人，AI-Designer。通过一系列的训练与进化，AI-Designer 已经具备了设计线稿及广告招贴画的能力。在她的帮助下，实验室开发了两款智能设计工具，EmoG 智能故事版创作系统，及 VINCI 广告海报智能设计系统，全面实现了人在回路的设计过程。

EmoG 与人机协同下的故事版创作

EmoG是一个支持人物表情自动绘制的智能故事板系统，旨在为交互设计流程中故事版绘制这一重要环节提供智能化手段，使设计师可以更好地诠释人物角色的情感旅程并提高故事版的表现力。EmoG基于 AI-Sketcher 深度生成模型（AI-Designer 的前身）根据用户输入笔画的语义信息和顺序信息来生成人物角色的基本表情，该系统包括两部分：角色创建页面用于绘制角色的面部表情，系统根据用户绘制的笔画推荐并生成多种多样的人物角色设计草图；故事板创建页面则基于用户所选择的人物角色生成不同视角下的不同情绪，用户也可根据故事线在画布中绘制更多信息，如场景、对话框等。

EmoG 智能故事版系统

VINCI 与交互式平面海报自动生成

VINCI 是一个人工智能海报设计师，用户可以通过上传商品图片，VINCI 能够自动生成大量与输入商品相关的海报图片，同时也支持设计师与人工智能程序的协同在线编辑，是一款学术版的 “千人千面” 智能广告生成系统。

VINCI 智能海报生成系统

智能大数据可视分析

可视分析是一个交叉领域，结合了信息可视化、人机交互、及数据分析多个领域与方向，旨在利用可视化技术直观呈现数据分析结果，并通过人机交互实现用户反馈。在该领域上，iDVX 实验室提出了可视分析新范式，并针对不同的应用领域，如社交媒体信息安全、智慧医疗、智慧城市等方向上做出了一系列相关研究。例如，iDVX 实验室设计开发的 CarePre 系统，是一个集诊断及疗效预估为一体的智能临床辅助系统。通过分析病人的电子病历数据，系统能够帮助医生进行病情的判断并提前预估不同治疗方案的疗效。系统通过基于注意机制的深度神经网络在提供病情预测的同时对模型结果提供了合理的解释。系统的可视化界面设计对分析结果进行了直观地展示，帮助医生浏览电子病历、分析病人病情。

CarePre 智能临床辅助诊疗系统

二、教学与人才培养

本科生暑期实习计划

一年一度的本科生暑期实习计划是 iDVX 实验室为广大本科生提供的科研平台。截至目前，已有有33位来自世界各地的学生，曾参加了暑期实习，并在实验室的推荐下，先后收到包括哈佛、耶鲁、UIUC、CMU、UCSD、佐治亚理工等美国著名大学的硕士及博士录取通知书 , 不少同学自此走上了科研之路（查阅相关报道）。

研究生培养

自2016年成立以来，iDVX 实验室累计招收并培养了硕士研究生19人，这些学生不仅在国际顶级学术期刊上多次发表高水平论文、更先后有2人获得国家奖学金、8人次获得同济大学校级奖学金，4人次获得校级及市级优秀毕业生，李静文同学更是获得了同济大学“优秀学生干部标兵”、“优秀个人”、“先锋党员” 等众多荣誉称号。

实验室累培养了 7 名本科/硕士毕业于 华东师范大学、浙江大学、南京大学、同济大学、北京大学、帕森斯设计学院 及 多伦多大学的 优秀博士生，从事信息可视化、智能交互设计、信息传达设计等相关方向的研究（参考博士生论坛）。这些学生毕业后拿到美国Adobe 研究院、华为、蚂蚁金服、科大讯飞等国内外知名企业的录取通知，并有一人入选华为 “天才少年计划”，博士生毕业后的平均年薪更是超过了60万 RMB。

社区活动与可视化工坊

iDVX 实验室还主办了一系列有趣的线下设计工作坊活动，这些工作坊的主题包括数据视频创作、动态插画制作、数据叙事等。参与者既包括专业的设计师、可视化工程师，也包括许多没有相关背景的“设计小白”。通过这些工作坊，我们将科研中总结的设计理论知识带到了实践当中，帮助参与者学习、掌握可视化设计知识，并且快速地产出可视化作品。工作坊活动开展以来，我们收获了诸多来自往期学员的好评。我们也希望能逐步打造一个围绕数据信息传达设计的线下社群，让更多人受益于设计教育。

三、学术交流与访问

自2021年起，iDVX实验室与德国斯图加特大学可视化中心在国家自然科学基金及德国科学基金会的资助下将围绕针对复杂数据的智能可视分析展开为期5年的科研合作。在此期间将向德国输送访问学者2人次，及博士访问生4人次。

除此之外，在没有疫情的日子里，实验室的学生曾多次成功申请CSC奖学金，并在奖学金及实验室的资助下完成国际访问及双学位计划。博士生郭姝男同学更是在实验室的推荐下，入选位于美国硅谷的 Adobe 研究院研究举办的暑期实习计划，并于毕业后加入该部门工作。实验室也曾多次率队参加包括 ACM SIG-Graph Asia, IEEE VIS, IEEE PacificVis, EuroVis, AAAI, KDD, ACM CHI 在内的诸多国际会议及竞赛，实验室成员的足迹遍及美国、加拿大、德国、法国、英国、日本、韩国、泰国等世界各地。

国际会议及竞赛

实验室举办的 “铸视未来” 系列报告会及相关学术交流会也邀请到了包括 Don Norman, Arie Kaufman, Kwan-Liu Ma，Yifan Hu, Jimeng Sun, 祝建华，屈华民，徐迎庆，陈为，袁晓如，等设计学、可视化、及人机交互领域的学术大咖在内的诸多海内外嘉宾，共话智能设计及可视化的未来与前沿方向。

海内外嘉宾

四、合作伙伴

近年来，在学术界，实验室先后建立了与美国麻省理工大学媒体实验室、北卡罗来纳州立大学信息学院、佐治亚理工大学、UIUC、亚利桑那州立大学信息系统学院、匹兹堡大学信息学院、德国斯图加特大学以及香港科技大学在信息可视化与人机交互等领域开展了长期紧密合作关系; 在工业界，实验室先后与IBM、微软、Adobe、西门子、阿里巴巴、腾讯、华为等国内外大型互联网及IT企业建立合作关系。

合作伙伴（部分）

校企合作项目案例（部分）

五、媒体上的iDVX实验室

实验室在智能设计及数据可视化方面的工作先后被 AI科技评论、腾讯新闻、百度新闻、澎湃新闻、凤凰新闻频道、同济快讯等多家媒体报道。实验室发布的数据短视频曾经在东方财经（浦东频道）、香港NowTV、第一财经频道、海峡都市报、中国经济周刊等在线媒体频道累计浏览播放约 159.9万次。

六、师资团队

实验室拥有一支实力雄厚的师资及科研团队，现有三位从海外归国的老师参与博士及硕士研究生的指导工作。他们曾入选 “福布斯30岁以下精英榜”，上海市海外高层次人才引进计划，曾获得微软最有价值专家称号（Microsoft MVP)， IBM 杰出技术成就奖等多项具有国际影响力的科研奖项与称号，并在 IEEE VIS, EuroVis, IEEE PacificVis, ACM CHI, IUI 等可视化及人机交互领域的重要国际会议上担任程序委员会委员及会议主席等学术职务。

曹楠，同济大学教授，iDVX实验室主任，博士生导师。曹楠老师2012年毕业自香港科技大学。加入同济大学前，他曾担任美国 IBM T. J. Watson 研究院研究员，同时也是 IBM 全球图形及可视化学会的联合主席。曾获得IBM 杰出技术成就奖、微软最有价值专家，入选 AI 2000 可视化领域最具影响力学者提名榜。他的主要研究方向是智能设计、信息可视化、及可视分析。他曾多次担任 IEEE VIS，EuroVis, IEEE Pacific Vis 等国际重要可视化会议的程序委员会委员，以及 IEEE Pacific Vis 2021 会议论文联合主席，以及 China Vis 2018，2019 论文联合主席。他还是 SCI 期刊 Computer Science Review （2019-2020 IF : 7.07）在亚太地区的唯一编委。

石洋，同济大学副教授，福布斯2019年度30岁以下科技精英，硕士生导师。石洋老师2017年毕业于中南大学，获得计算机博士学位，她本科和硕士分别毕业于浙江大学和卡内基梅隆大学（Carnegie Mellon University），主要研究方向是人机交互及信息可视化。石洋老师曾将主持国家自然科学基金青年项目，上海市自然科学基金面上项目，同济大学优秀青年学者基金等诸多纵向基金项目，及多项与华为、平安科技等公司的校企合作横向课题。

陈晴，同济大学助理教授，上海海外高层次计划引进人才，硕士生导师。陈晴老师博士毕业于香港科技大学，曾任法国国家信息与自动化研究所博士后研究员，国际著名学术会议IEEE VIS学术委员会委员，曾任IEEE VIS分会主席。基于在线教育大数据的学习行为分析的研究曾获香港 ICT最佳创新奖银奖、亚太地区ICT Awards。陈晴老师曾主持国家自然科学基金青年项目，以及与蚂蚁金服的有关智能可视化设计的校企合作横向课题。

七、招生

现实验室面向相关专业学生招收 全日制硕士及博士研究生，硕士招生以 推免及统考 两种方式进行，博士招生将以 申请-审核制 方式进行。具体研究方向及招生要求如下：

1、研究方向：

可视信息传达设计：以图形图像的方式展现数据中的有用信息，并研究与信息相关的可视叙事方法及设计范式。设计并开发下一代智能化的传达设计工具。
人机协同下的智能交互设计：利用人工智能技术、以交互式可视化为载体，设计并实现人在回路的设计系统，以解决设计领域中的优化排版布局、风格选择、色彩搭配、图形绘制等相关技术问题。
大数据可视分析：以可视化为手段，通过可视化设计呈现，分析并展现数据中的潜在数据规律与模式，揭示数据内涵。

2、招生要求：

面向设计学及计算机相关专业：包括但不限于交互设计、媒体传达设计、计算机软件、数学、人工智能、自动控制、电子信息、人机交互、等专业及方向
热爱设计学、数据可视化及人工智能等相关技术领域，且具有一定技术或设计基础
热爱科研工作且具有较强的 Self-Motivation

3、报名方法

与实验室取得联系：将简历、本科及硕士成绩单及其他相关资料（例如，所发表的论文、专利、获奖证书等）发送至：idvx.lab@tongji.edu.cn。邮件标题请按照以下格式书写：[申请] - [毕业院校] - [专业] - 姓名。
电话面试与交流
登陆同济大学研究生招生网，在官网报名平台上提交报名申请。

4、相关信息