浙大这套算法让不懂编程的你也能秒变数据可视化高手
每年的双十一,天猫都会直播战绩,并把一些关键数据集中展示在一块巨大的LED屏幕上:跳动的数字、旋转的地球、飞来飞去的线条……现场犹如放映美国大片般充满炫酷科技感,这就是数据可视化技术。
不要觉得这项酷炫的技术与你遥不可及,数据可视化技术的发展已经可以帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,让数据变得可视、可感、可交互。
浙江大学计算机学院CAD&CG国家重点实验室教授、博士生导师陈为的《面向在线商业日志数据的可视分析新方法研究》,通过与阿里巴巴开展合作,可让分析者在短短几分钟内寻找数据规律、分析推理,从而了解产业发展趋势。该项目还得到了浙江省自然科学基金的大力支持。
在线交易记录、集群日志数据、用户购买偏好数据……互联网每天都在产生大量的商业日志数据。例如,如果用传统的管理办法很难及时准确地捕捉其中发生的变化及虚假交易信息。“比如双11当天的交易量非常大,欺诈的交易没有办法一笔笔人工去看,有些单笔交易是正常的,串连起来就会有问题。”陈为告诉记者。
因此,数据可视化技术成为当今大数据时代必不可少的技术。“将数据可视化,以图表或者其它更加直观的方式来帮助各行业人士理解数据,从而辅助决策。对于数据处理人员而言,可视化的方式则能帮助他们更快地消化数据,化数据为知识。”
陈为说,课题组与阿里相应部门合作,在日志数据的高维性、多类性、快速性、异构性的可视化基本方法,面向商业日志数据的异常分析算法和在线日志数据的可视化系统和组件库开发这三个方面取得了重要进展,同时针对用户属性和用户行为的关联分析,设计并提出了基于可视化的分类、关联规则挖掘等核心算法。
通过这一算法,某一个局部、某一个类别形成一张图片或是动画,数据分析师可以从各种角度去看,如果有异常会有亮点或是不规则形状的呈现,把数据转化成可视化符号,这不仅让分析师可以轻松地完成从数据到分析的过程,甚至非专业的业务人员也可以很快上手,自主分析获得可付诸行动的信息,大大节省了时间。
据统计,应用该套算法后,数据分析的精度从80%提高到了90%,而相同工作量所需要的人工则可以从10人减少至2人。该套系统还组建了一套功能丰富全面的可视化组件库,为开发人员提供了功能完整并且简单易用的组件集合,工程师不需要写复杂的代码,调用中间键就可以做可视化设计。
陈为告诉记者,如今阿里等电商企业采用数据可视化方法,除了及时发现异常的交易外,还能够更直观地理解和服务客户,成功定位忠诚度高的顾客,从而制定精准化营销策略。
对于数据可视化在未来的应用发展,陈为表示充满信心。他举例道,如应用到政府部门,政府能借助数据,在短时间内制定及时、高效、准确的治理手段和决策。不仅如此,数据可视化还可以帮助政府预测社会问题,发掘潜在需求,进行科学预测,制定相关应急预警方案和规划发展政策等,从而不断提升政府治理能力和服务效率,建设新型服务性政府。“数据可视化应用范围非常广泛,潜力无穷。”陈为说。
来源:科技金融时报(记者 陈路漫 通讯员 陈登 闻正顺)
编辑:王姝
校读:章晓建