中国移动集团级在岗十佳成果推介 | 基于python的网大学习专区记录自动统计工具

  //  

中国移动集团公司持续开展集团级在岗技术革新十佳优秀成果的评选，并在每年科技创新工作会期间表彰颁奖。为促进优秀创新成果在全集团范围内推广应用，增强获奖科技人员的荣誉感和使命感，将对2022年「集团级在岗十佳成果」进行系列宣传报道，敬请持续关注！

欢迎前往中国移动科技创新奖励平台进一步了解在岗技术革新奖励政策、历年在岗技术革新获奖成果，查看更多奖项获奖情况等。（请在公司内网访问：http://award.hq.cmcc）

本期，为大家介绍来自江苏公司的获奖成果《基于python的网大学习专区记录自动统计工具》，关于成果的创新灵感从何而来？如何克服研发过程中遇到的困难？成果的推广前景如何？一起来看看成果团队是怎么说的吧！

Q1

恭喜获得集团级在岗十佳成果荣誉，请问是在什么背景下有了创新这项成果的动机和灵感呢？

集团公司新动能5G云培训开展后，在统计学员课程进度时江苏发现需要手工整理大量数据，费时费力还容易出错。同时兄弟省份也存在类似需求。在集团公司指导下，江苏管理员与新动能学员一起利用业余时间，整理手工统计的要素，结合网大系统数据特征，通过小工具的开发自动化实现代替了手工操作，且高效准确。

Q2

这项成果的关键技术和创新点是什么？有效解决了哪些痛点问题？

本项成果基于python语言开发，不改变网大现有运行流程，无需同步上线，程序打包为exe文件，即点即用，独立使用，直接分发，无需联网，操作界面简单易上手。程序使用使用pandas库高效处理百万数据库，实现数据统计、匹配、异常过滤、关联匹配、按照专区灵活输出表头。

该项成果可以有效的解决下列痛点：

（1）不同专区需要跟踪不同课程的进度，但网大展示为固定模版，管理员手工整理费时费力。江苏自行开发的程序可根据读入使用者指定的学员列表、专区指定课程，完成个性化数据匹配和进度完成统计，按专区自动按每个专区角色输出不同的课程列表作为表头的专区学员进度表，免去了需要制作几十个模版进行数据统计核对的麻烦。

（2）省侧的员工编号与网大员工编号有时候存在新老工号更换的情况，人工需要核对，花费大量时间，而且匹配易错存在遗漏，统计准确度有待提高。本程序同时读入新老工号，双信息自动匹配，匹配上其中之一即可，无需人工核对，可准确完成数据统计和展示，准确度100%，处理效率提升99%。

（3）学习记录查看受网大访问时段拥挤或系统维护等情况影响，访问不便。使用本成果，可分批多次从网大导出数据，程序将自动读取指定学习记录文件夹下所有文件，进行汇总排重，仅需增量更新即可，降低了数据交互量，且只要保存了基础数据可随时进行统计查看。

Q3

成果研发过程中都遇到过哪些方面的困难，是如何战胜的？

（1）学员信息，由于通常都是各管理员收集整理的，格式容易出现不一致，比如员工编号可能是字符型和数值型混用，又或者是包含了不可见字符等，对匹配造成一定困难。因此程序开发时首先对数据进行了数据标准化和数据清洗，统一转换类型，去除常见不可用字符，去除空值和重复记录，对异常数据进行提示并丢弃等，从而保证了后续匹配的准确性。

（2）学员信息、专区课程都是可能随时变化的且使用者都有自己的习惯，因此研发时仅规定关键字段必须为固定名称，其他字段可由使用者自行使用，不参与统计，每次使用时可根据最新的学员列表和专区课程范围进行统计，无需使用者重新调整信息表格，大为提升的程序可用性。

（3）数据多维度展示时，表格字段按照使用者指定的专区课程列表进行排列，并进行进度统计，类似竖表转横表，最初程序按条进行数据匹配，百万级数据量时效率较低，后通过改用pandas库透视功能，批量数据，数据处理，时长降至1分钟左右，程序的处理效率明显提升。

Q4

当前成果的应用情况和成效如何？跟大家分享一下吧

目前成果已在全国多个省进行使用，使用灵活方便快捷准确，得到其他省公司的一致认可。

Q5

您对成果后续的推广转化有哪些想法或期待吗？

希望成果能持续提供自动化能力，如果使用者有新的需求和想法，可以联系我们持续优化。

团队名称

新动能先锋

团队成员

凌浩、熊亦兰、徐朋朋

团队心得

3人小团队一起通过技术创新，通过自开发能力解决实际问题，成果能得到认可非常有成就感，以后仍将切实不断内化提升自研发能力，解决公司职能管理实际问题，满足生产经营信息化需求，这是公司数智化转型的方向，也是打造科技创新型公司的必由之路。千万技术创新的小水滴，无数在岗技术革新的微浪花，必将汇聚成公司数智化升级的惊涛骇浪，铸就力量大厦的宏伟愿景！

凌   浩

13901584286

[e-mail]

熊亦兰

13901585989

[e-mail]

---

往期回顾

欢迎各单位转发宣传和引入优秀获奖成果，下期我们将推介来自浙江公司成果《同轨迹车载用户欺诈号码智能识别模型》，敬请期待！