数据科学与工程学院成果发布介绍

编者按：9月26日，数据科学与工程学院成立仪式上发布了我们的研究成果：Gingko、CEDAR、Talent Network、GISP、EasyStudy，今天我们来逐一详细介绍一下。

Gingko：大数据实时注入和分析系统

数据处理的时效性直接影响了数据处理的价值，随着数据集规模的不断增大，数据处理的时间也在不断增长。针对大数据集，如何有效缩短数据处理的时延是一个挑战性的问题，同时也有来自应用系统的实际需求。开源大数据分析系统Gingko与既有系统相比，具有实时注入和实时查询的特点，可大幅减少数据处理的周期、提高数据处理的响应速度，进而有效提升面向大数据处理的实际价值。
Gingko采用内存计算架构，充分利用高速访问内存的特性，同时在数据处理逻辑的多个层面上通过并行化提高响应速度：充分利用分区并行、流水线并行、操作内并行和独立并行，高并发执行任务；利用LLVM技术编译代码，提高操作运行效率；采用弹性流水线技术，可以根据负载和资源，动态伸缩并行度，充分利用资源提高运行效率；运行时任务调度模块能够感知系统负载，调度合适的任务，高效实现任务之间的独立并行。
Gingko在具备实时查询处理的同时，支持数据源新数据的实时注入。区别于数据流系统，不仅支持对数据的在线处理，而且可将这些数据持久化存储。实时注入基于事务处理控制方式，设计并实现以下一系列功能：针对实时数据注入对应的追加型事务，采用面向元数据的集中式事务处理策略，实现事务性数据注入；非阻塞分布式数据注入框架，将传统的集中式单机数据注入转变为分布式数据注入，充分利用分布式系统的特点，避免单机的单点故障和性能瓶颈；数据注入过程中实现了读写分离和写写分离，有效提高并行处理效率。

CEDAR：面向关键任务应用的可伸缩事务处理系统

随着“互联网+”的发展和普及，在互联网企业向零售、订票、电信、交通运输物流、金融等传统领域延伸的同时，传统领域也藉由互联网实现反向O2O（线下到线上）。金融、电信等行业大量采用互联网化的促销手段，例如“抢票”和“秒杀”。这些销售行为，由于其接入用户量巨大，为后端的票务管理、订单管理、物流，进而支付等核心关键任务（mission-critical）信息系统造成了短时超高负载。从用户规模看，这样的应用是“互联网级”的；从应用特征看，它们是核心或关键任务应用；从负载特征看，它们所面临的是“现象级”（phenomenal）的，即极为显著的。近年的发展表明这种现象将越来越普遍。随之而来的问题是，一方面现有系统升级的“向上扩展”（scaling up）方式由于升级代价巨大、只升不降的特点，不适合于这些应用；另一方面，原有数据管理系统和事务处理系统的架构和实现技术并未能够充分利用多核CPU、大容量内存、固态存储、新型存储介质、高速网络等硬件，以及发展迅速的集群构建技术，无法有力支撑应用的新需要。我们自2013年开始面向金融、电信、零售和服务等行业的关键任务应用需要，研究支持可扩展事务处理的数据库系统架构与实现方法，在开源OceanBase 0.4.2的基础上，设计实现了支持高通量、高性能、可扩展事务处理的开源系统CEDAR，并在金融、零售服务、教育领域的多个系统中进行了应用验证。

Talent Network：基于设计思维的企业社交网络服务

随着互联网服务日益丰富，传统IT企业面临着技术提升、管理变革、服务转型等一系列的新挑战。如何提升员工能力、整合团队，不仅是人力资源管理的问题，也为大型企业IT部门的技术支持部门提出了新挑战。自2015年6月起，华东师范大学的研究团队与Infosys研究院一起，基于企业海量的内部项目技术文档、员工档案、会议和消息通讯等管理记录，构建了一个新型的企业社交网络服务Talent Network。这一系统不仅服务了企业超过16万员工，提供传统的用户档案浏览、社交关系构建、消息通讯等社交网络服务，还为每一个用户提供技术专家查找和引见、社交路径推荐等功能，为企业管理人员提供了团队建设建议、团队分析等功能。作为一个新型企业内部服务系统，Talent Network从企业转型的切身需要出发，从用户角度进行设计，通过简洁精美的界面，隐藏复杂的算法和分析模型，实现了技术研发与企业应用的完美结合。

GISP：研究生智慧服务平台

GISP：研究生智慧服务平台 是华东师范大学针对研究生管理而提供的智慧服务平台。该平台将招生、学籍、培养、学位等各子系统构建在统一信息平台上，实现数据的互通互享，依据具体业务逻辑和数据变动实现有效的统一操作与管理，实现数据的完整性和一致性；通过梳理各子系统的业务逻辑，进一步实现基于移动互联的个性化服务；通过重新设计用户交互模式，增加用户粘性，提升工作效果与效率；通过用户行为捕获，实现全方位的用户数据整合与分析，为学校管理提供强有力的数据平台，并通过大数据分析能力为研究生管理制度的不断完善与提升提供辅助决策能力。该平台满足移动互联网时代的需求，采用华师大具有自主知识产权的产品与开源系统，向全校师生及相关职能部门提供全新的信息服务模式，完善研究生的招生与培养质量，为华师大研究生培养水平的提升创造有利条件。

EasyStudy：在线一课一练教育平台

随着互联网的发展，在线教育逐渐发展成为一种新的教育方式。在线教育具有共享优质资源、碎片化时间学习、智能化服务等特点，近年来受到人们的青睐。“EasyStudy：在线一课一练教育平台”是中小学生的在线学习平台，提供了在线版的《一课一练》，一课一练是由华东师范大学出版社针对K12教育所出版的教辅图书，精编了覆盖小学一年级到高中三年级全部课程的优质习题，每道习题的设置都经过编写者的深思熟虑，编辑深加工，形成一个有序、有效的训练系统，在国内外产生了深远的影响，树立了华东师大出版社的品牌形象。EasyStudy通过高质量题库、自动阅卷、标准解答、统计报表、个性化试卷等功能，节约学生的有效学习时间、提高学习效率，并进一步解放家长，从而使得学习更加容易。该系统拥有海量存储、高性能计算、水平扩展、智能服务等特点，以足够应付高并发的访问，提供全新的智慧学习平台，国内全面上线预计在明年春节后。

长按二维码关注