大数据技术与应用——数“智”时代,无限未来
大数据广泛应用
大数据技术正在广泛应用于人们的日常生活和社会公共服务的各个领域。例如电商利用大数据实现精准营销,音乐软件利用大数据推荐你最喜欢的音乐,医疗系统利用大数据提前预警疾病,金融系统利用大数据降低信贷违约的风险,政府利用大数据技术规划公交路线等。
2014年世界杯期间,谷歌、百度、微软和高盛等公司都推出了比赛结果预测平台。百度预测结果最为亮眼,预测全程64场比赛,准确率为67%,进入淘汰赛后准确率为94%。
在百度对世界杯的预测中,一共考虑了团队实力、主场优势、最近表现、世界杯整体表现和博彩公司的赔率等五个因素,这些数据基本来源于互联网,随后再利用一个由搜索专家设计的机器学习模型来对这些数据进行汇总和分析,进而得出预测结果。
现在互联网公司取代章鱼保罗试水赛事预测也意味着未来的体育赛事会被大数据预测所掌控。
基于人们的搜索情况、购物行为预测大面积疫情爆发的可能性,最经典的“流感预测”便属于此类。
如果来自某个区域的“流感”、“板蓝根”搜索需求越来越多,自然可以推测该处有流感趋势。
2009年,Google通过分析5000万条美国人最频繁检索的词汇,将之前美国疾病中心在2003年到2008年间季节性流感传播时期的数据进行比较,并建立一个特定的数学模型。最终google成功预测了2009冬季流感的传播甚至可以具体到确定的地区。
每天,海量的交易和数据在阿里的平台上跑着,阿里通过对商户最近100天的数据分析,就能知道哪些商户可能存在资金问题,此时的阿里贷款平台就有可能出马,同潜在的贷款对象进行沟通。
农业大数据助力精准农业生产
预测农产品市场需求
我们经常会看到或听到农户农产品滞销,瓜果蔬菜贱卖或烂在地里的新闻,其实原因归咎于市场供需问题。同时,也会出现 “蒜你狠”“姜你军”“豆你玩”的供小于求的情况。其实如果能把农业生产和销售过程中的数据汇总起来,要想合理生产实现“供需平衡”并非难事。
比如说,今年河北某地雪梨产量高,在当地的市场需求量却很小。通过农业大数据平台发现山东某地雪梨的市场需求高,那么河北的果农就可以尽早联系山东地区的销货商,将雪梨售往山东地区。并且,果农可以提前通过大数据平台发布的消费者需求报告,进行市场分析,提前规划生产,降低生产风险,帮助果农在农事方面做出更明智的决策。
专业介绍
大数据技术与应用专业是教育部为落实构建《促进大数据发展行动纲要》而批准设立的新工科专业,我院该专业2018年已被率先评为“温州市数字经济特色专业”,开设新华三订单班和西普阳光订单班,建成高职称高学历的专任教师团队,开拓配套的精品系列教材和课程资源。
该专业将大数据收集、分析、整理、挖掘、处理、应用等前沿技术相结合,引入IT企业真实项目,按照实际软件项目的实施流程,完成大数据相关项目的立项、调研、设计、制作、成果提交。以市场为导向,突出职业教育特色,通过“教、学、做”一体化,强化对学生职业能力的培养。同时,依托安防行业和物联网企业,始终坚持走产教融合、与企业深度合作办学的特色发展之路。开展“2+1”人才订单培养,实现学习、实习、考证、就业无缝对接。
01主干课程
数据库管理与应用、Python语言程序设计、Linux基础、Hadoop应用基础、数据采集与清洗、大数据储存技术、网络爬虫技术与应用、云计算原理与实践、大数据可视化等。
02课程建设
该专业建设有浙江省高等学校在线开放课程共4门——《数据库管理与应用》、《大数据导论》、《C语言程序设计》和《Web前端开发》。
由周苏教授主持编撰的高等职业院校大数据技术与应用规划系列教材获浙江省新形态教材建设项目,《大数据导论》、《大数据可视化》、《大数据分析》、《Java程序设计》等已在中国铁道出版社出版。
就业方向
主要面向政府机构、企业、公司等从事大数据采集、大数据清洗、大数据分析、大数据可视化、大数据应用、大数据运维、大数据项目技术支持等工作。
04对应岗位
●企业数据库管理员:负责企业生产数据的管理,能够利用各种技术工具汇集企业周围的大量数据,并将数据清洗和规范化,将数据导入数据仓库中,成为一个可用的版本。
●大数据采集处理工程师:负责核心数据库的日常维护和管理,处理各种数据库故障,定期对数据库进行健康检查并提交数据运行报告,并负责海量数据的数据清洗、整理以及质量检测工作等。
●大数据运维工程师:负责大数据平台的自动化部署、运维、监控、告警处理等工作,维护好集群的正常运行, 能够针对Hadoop生态系统的批量部署场景进行运维调优,完善运维工具,提高数据平台品质。
●大数据分析工程师:运用算法来解决分析问题,并且从事数据挖掘工作,能够让数据道出真相,为公司项目提供数据支持、数据决策分析、支持公司战略决策的数据分析。
●大数据应用开发工程师:掌握多线程及高性能程序设计编码及性能调优,负责相关大数据应用模块设计,代码实现、单元测试、代码修改和维护等工作。
●大数据测试工程师:根据产品规范制定的测试计划,完成对产品的集成测试与系统测试,对大数据产品的功能、性能及其它方面的测试工作。
●大数据实施工程师:负责大数据平台项目实施工作,包括项目业务分析、集群部署、软件测试、性能优化等工作。
05校企合作
本专业与大数据行业国内领先企业新华三集团、北京西普阳光教育科技股份有限公司等开展合作,联合培养人才。
06实践实训
建有大数据实训室(西普双创中心)与大数据竞赛基地。
学生获奖
在“联想杯”全国高校大数据能力提升竞赛荣获6个“个人优秀能力奖”,2个团体“优胜奖”。
08师资力量
本专业师资力量雄厚,有专业教师12人,多名教师有企业工作经历和海外访学留学经历。教师专业素养出色,持续保持大数据领域学习,定期参与专业培训。本专业还有10多名企业兼职教师参与教学和实践指导。
就业前景
目前全国的大数据人才只有46万,未来3-5年内大数据人才的缺口将高达150万之多,大数据行业将面临全球性的人才荒。
十二五末我国大数据市场规模接近100亿元,十三五末有望达到611.6亿美元。
学生参与典型企业大数据信息系统项目实训,提升实践动手能力;通过毕业设计,参与企业的真实项目,积累项目实践经验;借助顶岗实习,提前解决就业,最终实现高质量就业!
▼更多专业介绍▼