上海科技进步一等奖！华东师大团队破解实时分析型海量数据内存管理系统技术
今日上午，上海市科学技术奖励大会举行。会上表彰了2017年度在上海科技创新中作出突出贡献的科技工作者。华东师大作为第一完成单位组织推荐的3项成果获得表彰。
其中，由华东师大数据科学与工程学院钱卫宁教授团队牵头，联合上海优刻得信息科技有限公司、国家安全生产监督管理总局通信信息中心、上海心河信息技术有限公司等几家单位共同完成的《基于云服务的实时分析型内存数据管理系统关键技术及应用》项目荣获科技进步一等奖。在奖励大会上，项目第一完成人钱卫宁教授作为获奖代表，走上主席台接受了市领导的颁奖。
左三为华东师大数据科学与工程学院钱卫宁教授
此外，由华东师大计算机科学与软件工程学院、生态与环境科学学院完成的项目也荣获表彰。
获2017年度上海市科技奖项目名单（第一完成单位）：
项目名称 | 获奖类别 | 获奖等级 | 校内单位 | 校内完成人 |
基于云服务的实时分析型内存数据管理系统关键技术及应用 | 科技进步奖 | 一等奖 | 数据科学与工程学院 | 钱卫宁、张蓉、周傲英、周敏奇 |
高效安全跨网数据交换关键技术研究与应用 | 技术发明奖 | 二等奖 | 计算机科学与软件工程学院 | 何道敬、刘虹 |
城市生活垃圾处理二次污染控制微生物技术应用 | 科技进步奖 | 三等奖 | 生态与环境科学学院 | 谢冰、苏应龙、崔玉雪、武冬、王晓媛 |
上海市科技进步一等奖
基于云服务的实时分析型内存数据管理系统关键技术及应用
互联网技术的飞速发展在促进新经济爆发式增长、传统行业转型变革的同时，也为各领域积累海量优质数据资源奠定了基础。对这些数据的实时分析处理，是充分发挥数据价值、提升企业竞争力、提升政府治理水平的关键，是金融欺诈检测、政府应急响应、数字营销和推荐等应用的关键技术问题。
另一方面，金融、电信、能源、制造、零售、数字媒体等应用领域核心信息系统“自主可控、安全可靠”已成为我国信息技术的主要发展战略。作为信息系统的基础系统软件，数据管理系统核心技术点多、系统集成度高，长期以来依赖于国外厂商的产品或技术。
应用需求的驱动和支撑硬件技术的发展，特别是众核处理器、大容量内存、高速网络等技术的普及，以及云计算平台的有力支撑，为数据的实时分析型处理问题的解决提供了新思路。项目以解决海量数据实时分析型查询处理问题为目标，系统研究了内存数据管理系统的系统架构和实现，实时数据注入方法，云计算平台优化和系统测试方法等核心技术，实现了核心技术创新和系统研发，以及新型应用的推广使用。项目创新点如下：
1. 研制了基于内存集群的分析型查询处理引擎，通过弹性流水线等技术，获得了优于主流开源软件系统的查询处理性能；
2. 提出并实现了强一致性实时数据注入方法，解决了业务系统与分析系统间的实时数据同步问题，实现了200毫秒内的数据同步；
3. 提出并实现了基于数据流监控的在线监测与运维方法，解决了云数据库服务的可靠性和可用性问题，系统的业务可用性达 99.99%，数据持久性达 99.9999%。
该项目发表论文
95 篇；申请知识产权 44 项。另外，该项目联合研发的系统已成功应用于超过 5 万家企业客户，管理、分析的数据量已超过
10PB，其业务包括多家银行和金融支付机构或企业的实时风控，互联网教育、在线广告、数字娱乐、网络通讯、科研和信息系统运维等领域的实时监控与推荐等。总之，该项目探索了一条核心信息系统摆脱国外IT企业垄断，自主研发、应用推广的道路，取得了显著的经济和社会价值。
来源 | 科技处
文 | 齐晴
图 | 洪道诚 吕安琪
编辑｜吴冬妮
更多阅读
（本文转自华东师范大学官方微信号ECNUers）