冀翠萍 马亮：如何评价移动政务服务质量？——基于省级政务客户端用户评论的探索性研究
摘要：移动政务服务是电子政务的重要发展方向,手机应用商店中记录了用户对于政务客户端的评分评论数据,这些是用户使用体验的主观感知和真实反馈,可以进行挖掘分析进而用于质量评价。
当前学术界对政务客户端用户评论的研究还很缺乏,本研究以省级政务客户端为例,采集iOS平台和Android平台的用户评论数据,构建了信息来源质量评价模型,从渗透性、活跃度、客观性、极端性、有用性和可持续性六个维度进行测评。研究发现,用户评论是评测移动政务服务质量的有益补充,可从中获取功能需求、错误反馈、优化建议等用户反馈。各手机平台用户评论信息质量差异较大,iOS平台在各维度的表现最好,其评分评论数据可用于绩效评价,而部分Android平台的用户评论数据可用作借鉴参考。
关键词：移动政务;政务客户端;用户评论;
评分;信息来源质量;
作者简介：
冀翠萍（1984—），女，山东省委党校公共管理教研部副教授
马亮（1984—），男，中国人民大学公共管理学院教授、博士生导师（通讯作者）。;
基金：国家社科基金青年项目
“新媒体时代党员领导干部媒介素养提升路径研究”（18CDJ006）;
1
引言
移动政务是电子政务和数字政府的前沿领域， 各地正如火如荼地建设实践，形成了政务微博、政务微信、政务小程序和政务客户端（App）等构成的 移动政务服务体系，有效解决了政务服务的最后一公里，政务服务效率和质量得到显著提升。[1](p99-111) 特别是政务 App 作为一种独立运行的移动端应用 程序，面向公众和企业办事需求提供多对象、多流程的复杂业务功能，成为政府提供政务服务的主渠道和主阵地。[2](p31-38) 因此，对政务App发展绩效进行研究有重要意义。
移动政务是政务服务创新的重要手段，是沟通公众与政府的重要桥梁，是影响公众政府信任和公众满意度的重要载体，如果移动政务服务绩效欠佳 ，就会显著负向影响用户的使用意愿和体验。[3](p198-207) 当前，各政务App绩效表现怎样，又如何去评价和测量发展绩效？现有研究认为技术质量、 服务质量、安全性能等是衡量电子政务服务质量与满意度的重要指标，[4](p60-64) 提出可通过政务App的系统兼容度、稳定度、便捷度、流畅度等过程化指标进行衡量。[3](p198-207) 但是，当前的研究实践较多采用问卷调查、访谈等方式获取数据，问卷和访谈属于小样本研究，样本范围受到抽样条件等限制，并且都是封闭式的、高度结构化的设计，其指向性、主观性较强，调研过程易受到外部因素的干扰，数据的客观真实性难以得到有效保证。尽管有部分研究实践采用了体验团、体验官等形式，[3](p198-207) 然而，政务 App 要面向海量用户群，他们的手机型号、操作系统、使用环境、网络速度、年龄差异、数字素养等均不一致，仅靠数量较少的体验团、体验官难以完整、 准确、全面获得真实评测结果。
政务服务的对象是公众和企业，政务服务绩效的优劣也应该由公众和企业来评价。2019年国务院政府工作报告提出建立政务服务“好差评”制度， 就是要采集和归集公众和企业对各类政务服务的真实评价信息，[5](p51-58) 然而在实际推行中却遭遇数据收集困难的尴尬。[6](p14-22) 移动互联网的发展创新 了收集公众真实意见的方法，比如，用户评论就是评价移动服务质量的重要数据，但是对其开发和利用得还较少。[7](p71-85) 政务App在手机应用商店上架推广，用户可对应用商店中的政务 App 发表评论， 这些评论数据内容丰富、更新及时、易于获取，并且只有那些留下深刻印象的应用才会促使用户有动力去发表评论，因此这些评论数据能够真实表达用户最为关心的内容。[8](p43-53)
当前，31个省、直辖市和自治区以及新疆生产建设兵团均推出了基于App的移动政务服务，积累了大量用户评论数据。这些数据是从用户体验出发对政务App服务效能的检视，可以测量政务App 服务质量，可以用于完善移动政务的绩效评估。本 研究采集各省级政务App的用户评论数据，分析这些数据在不同手机平台上的表现，以此探求将用户评论数据引入政务App绩效评估的可行性。
2
文献回顾
（一）关于政务App绩效测评的研究。
近年来我国政务 App 发展迅速，应用数量、服务模式不断增长创新，但却并没有相应提升公众的使用率和参与度，某些时候对政务App服务质量的评价甚至有所下降。[1](p99-111) 研究发现，政务App存在更新维护不及时、运行不顺畅等技术问题，[9](p83-91) 这类基础问题的存在，导致用户对政务 App 无感， 难以形成“用户黏性”，无法发挥出其作为政务服务 提供和政民互动渠道的价值和作用，[10](p76-81) 这可能 与政府较多关注政务 App 的建设而忽视后期维护和完善有关。[11](p74-84) 政务App建设发展特别需要发 挥绩效评价的“指挥棒”作用，引导各级政府部门重视建设和发展中的薄弱环节和关键问题，对症下药地进行整改。[1](p99-111)
学界已经关注到政务 App 绩效问题的研究。首先，研究关注到政务 App 绩效评价体系的构建。朱春奎等对电子政务研究的梳理总结发现，电子政务服务质量与满意度的评价主要包含信息质量、服 务质量、组织表现、技术质量、安全性能、满意度六 个方面。[4](p60-64) 徐绪堪等构建了政务App服务效能 的评价指标体系，还组建了评估团队，对样本 App 进行了参与式体验和评价。[3](p198-207) 其次，研究关注到要从用户感知出发评估政务 App 发展绩效。Hung指出，移动政务带有强制性使用色彩，感知有用性和感知易用性可以显著影响用户的满意 度。[12](p33-44) 王法硕等研究发现系统质量是显著影响 政务App用户满意度的重要因素，政务App系统能 否正常访问、运行是否稳定、设计与功能是否合理 直接决定了用户的使用意愿。[13](p65-74) 最后，学界和业界积极探索政务 App 绩效评估的实践。复旦大学数字与移动治理实验室构建“掌上好办”指标体 系，从可得性、有用性、易用性、满意度、安全度五个方面，对省级移动政务 App 发展情况进行评测，同 时关注到技术和用户的重要作用，设立“技术性体 验”和“用户体验评价”指标并占有一定权重。[14]
综上所述，研究已经关注到政务App服务质量的重要性，以及用户感知的重要作用。但是，已有研究多是从政务服务供给侧出发，站在政务App的外部对可获得的功能模块进行评测，考察政务App 有什么 ，比如有哪些信息、服务、渠道和方式。[7](p71-85) 但是，政务 App 服务的对象是公众和企业，公众和企业自有对政务服务的主观感知和评测，也就是用户的使用效果，这是从需求侧出发对政务App服务质量的真实评价，如果用户侧评价指标缺失将导致评估的完整性和全面性受到挑战。既有研究发现，公众与政府的“合供”可以很好地帮助政府提升服务质量，对于电子政务发展具有显著推动作用。[15](p68-89) 政务App发展有赖于用户提供的反馈，用户的积极参与对于提升其质量和绩效至关重要。
实际上，大数据时代的到来，为政府更好感知公众、与公众互动提供了可能。美国联邦政府实施了一项数字分析计划（DAP），对政府提供的移动政务建立数据跟踪，实时获取政务App下载量、平台商店用户评论等，并以此作为移动政务绩效评估和服务优化改进的支点。[16](p97-107) 公众的政务服务使用行为、使用频率、在线评论等反映了公众的问题、 需求、态度和意愿，这些海量数据可以帮助政府发现公共服务中存在的问题，决定如何提供更好的公共服务，[17](p1011–1026) 实现“以评促建”“以评促改”，发挥绩效评估的积极作用。
（二）关于用户评论数据的应用研究。
私营部门较早注意到用户评论对商品或服务发展的重要作用，认为用户的体验和使用反馈是商品优化改进的支点，用户的吐槽和意见建议是App迭代更新的重要指南，因此私营部门会将各个渠道的用户评论视为“富矿”。有研究对携程酒店、豆瓣影评、美团等用户评论数据和评论行为进行挖掘，为商家精准营销提供决策依据。[18](p99-104)[19](p99-104)[20](p85-93)
现有研究还关注公共服务中用户评论数据的应用。Herbst等利用Yelp中美国40个城市消费者的评论数据，使用自然语言处理技术分析评论中的情感和心理状态，探讨群体收入、环境安全、环境质量、孩子与老师之间的互动等影响父母选择托育机 构的因素。[21](p288-306) 张文亮爬取了39所省级公共图 书馆在大众点评App上的评分和用户评论，揭示用户评论的倾向性，分析公共图书馆评价要素之间的关系。[22](p51-60) 第三方应用市场上的评论数据也开始得到重视和利用。[23](p53-61) 范建军以移动知识付费平台“得到”为例，对用户在App Store上的评论和评分进行分析，发现用户最为关注的是内容和功能，也较为接受付费内容的价格。[24](p67-70) 张莉曼等以学术知识类App“丁香园”的用户评论为样本，进行主题识别分析和语义关联分析，为App运营者完善平台功能提供借鉴。[25](p155-162)
与私营部门广泛使用用户评论的现状相比，公共部门却少有效仿。仅有网络舆情、网络问政的应用相对充分些，分析网民评论中的情感极性、[26](p37-42) 评论主题语义网络，[27](p77-90) 帮助政府部门理解网民观点、情感的变化，为舆情处置提供参考。令人欣慰的是，已经有研究者开始关注到政务服务中的用户评论数据。比如，刘桂琴获取武汉市政务公开数据网上的用户评论数据，分析定位用户痛点、用户关注以及政府工作中存在的问题。[28](p18-23) 公众的在线评论资源丰富也很有见地，提供了关于公共服务的各方面意见建议，是传统统计调查方法难以代表和覆盖的，基于对在线评论数据的有效挖掘，可以聚合公众意见，将公众反馈有效纳入公共服务的改革范畴。[29](p1011–1026）
3
理论框架
（一）对用户评论信息来源进行再评估。
利用应用商店中各政务App的评分评论数据， 可以观测各地区移动政务服务质量。但是，各手机平台面向用户群不同、使用习惯有差异，加上用户生产内容过程中传统意义上的“把关人”缺失，用户评论质量参差不齐，各手机平台上的用户评论是否都值得花力气去挖掘？如果这些数据价值密度低，无法有效反映用户意愿和需求，那就很难为政务App 运维者提供有用可信的反馈信息。[30](p55-63) 因此，本研究需要去衡量和评价承载用户评论的信息来源 （手机平台）质量，最终筛选出较高质量的平台，从而对高质量平台上的用户评论数据进行挖掘分析。
于文轩和马亮建构了一个对第三方评估进行 再评估的分析框架，认为可以从独立性、相关性、效度、信度、易懂性、功能性等六个方面对第三方评估进行评估，[31](p144-171) 并对中国两个大型公共服务绩效测评项目进行比较。本研究中各手机平台形成的用户评论可看作是对政务App的第三方评估，当前 就需要对这些手机平台进行再评估，因此本研究可借鉴其分析框架。
信度和效度是评价绩效的两个重要标准。信度指可靠性，即不同测量者使用不同测量方法测量的结果应该具有很高的一致性。如果测量的信度不高，那就说明测量的结果是不可靠的、不稳定的， 被评价对象就会接收到差别较大的“绩效信号”，他们在彷徨犹豫中不知道该选择和相信谁，测量的效用就会大打折扣，甚至会影响被评价对象对于评价主体的印象和态度。效度是评测程序、指标、方法等是否科学，能在多大程度上客观地反映现实，可以通过观测评价原数据是否公开、统计技术是否科学、样本量是否充足等，获得对效度的度量。
（二）信息来源质量评价模型。
基于信度和效度的度量标准，我们构建本研究的评价模型（如图 1）。我们认为手机平台上政务 App 的用户群越广泛、用户评论越积极、样本量越大、数据内容越丰富、用户评论越客观、用户评论可持续性越好，用户评论信息来源的质量就越高，就越适合用于移动政务服务绩效的评估。
渗透性。下载量是评判一个 App 运维质量的关键指标，高下载量也是信度与效度的重要保障。消费者在消费过程中会表现出马太效应，用户受到 应用程序下载量的影响，通常选择高下载量的应用程序使用。[32](p742-749) 因此，App运营者非常看重App下载量指标，也较多采用市场推广的手段提高下载 量。本研究以省份为行政区划的政务App，其用户群有较强的地域性，省份与省份之间、省份与各直辖市之间的人口基数差异较大，因此不能单纯考察用户下载量这一绝对值指标，应该体现出不同人口基数下的下载量差异，用渗透性表征更恰当，渗透性能够有效地测量政务 App 在本地用户群中的普及和流行程度。
活跃度。评论数量是用户就某一产品或服务发表的评论数的总量，是用户人数的直接体现，也是产品或服务信息量的间接体现。Duan等对电影的在线评论研究发现，电影评论的数量和电影票房之间有相互影响关系。[33](p233-242) Chen等发现评论数量能造成一种积极的观察学习效应，评论数量越多，越促使更多的用户有意愿去知晓和了解该 App。[34](p238-254) 评论数量显示了用户对该产品或服务的关注程度，可以作为其影响力的重要指标。[35](p162-171) 对于政务App来说，评论数量同前述的下载量一样，还要与地区实际相结合，考察政务App 的影响力实际就是考察有多少用户积极进行评论， 即用户的活跃度。活跃度越高，代表用户越积极发表评论，越能为政务App绩效评测提供数据资源。
客观性。政务App绩效受地区经济发展水平、 互联网普及程度、地方数字治理能力等影响，在客观上是不均衡的，《省级政府和重点城市一体化政 务服务能力（政务服务“好差评”）调查评估报告 （2021）》《2021年省级移动政务服务能力调查评估 报告》均显示当前省级政务发展绩效有“好”“中等” “差”，总体呈现倒U形的正态分布。Sussman 等认为，信息的客观属性是体现信息质量的重要指 标。[36](p47-65) 因此，我们预测不同手机平台上的各个省级政务App评价也应该服从正态分布，意味着测量指标能够真实有效地度量出每个样本的绩效。
极端性。对Yelp旅游类产品的研究发现，用户更喜欢极端评价，极端评价能够表达评论者观点的鲜明方向，比中立评价更能影响后续用户的选择。[37](p67-83) 对亚马逊网站手机产品的研究发现，极端评价对评论有用性有积极的正向影响。[38](p16-27) 我们认为，对政务App使用无感的用户一般不参与评 价，而那些对政务App使用感触较深（糟糕或愉快） 的用户会参与评价，通过极端评价反映用户态度， 极端评价的评论中往往会深入对问题、需求和痛点的描述。因此，极端性的评论有更多的特征点可以给后续用户或者App运营者参考，更能有效地体现评论的价值。
有用性。由于网络的开放性，用户发布在线评论的成本很低，导致部分虚假、无效信息充斥于在线评论，甚至部分评论数量多、噪音大，无益于其他用户的决策和运营者服务的改善，反而增加评论的无序性，降低评论的可信性。因此，评价用户的评论文本是否有用，是否真正表达用户体验，开发运营者能否从评论文本中提炼出优化完善的建议点， 这是观测用户评论效度的重要手段，也是测量信息来源质量的重要指标。
可持续性。应用商店在提供服务的同时，负有网络生态治理的平台主体责任，因此应用商店设置删除评论的功能，对产生的攻击性言论、反党反社会言论等进行必要的清理。但是，部分应用商店将这种功能进行市场化运作，受利益等因素的驱动，将删除用户评分评论的权力泛化、扩大化，这就影响评分数、评论内容等数据的抓取和分析，也影响用户对该平台的认可度。因此，将用户评论在平台上的存活情况视为评论利用的可持续性，这是应用商店信度的重要保证，是测量信息来源质量的重要指标。
4
研究方法
（一）数据采集与处理。
随着各地政府加快推进移动政务服务的集约化建设，省级移动政务客户端日益取代市县乡和职能部门单独开发的App，而成为地方移动政务的主入口。因此，我们对省级移动政务服务App进行研究，来考察用户评论数据如何用于“好差评”制度 实施。
数据采集面向App Store和Android平台（华为、 小米、VIVO、OPPO），获取应用商店中31个省（自治区、直辖市）和新疆生产建设兵团（不含港澳台）开发和运营的移动政务App中的相关数据，政务App以国家政务服务平台中的地方移动政务和各省份政务服务官网提供的链接为准（如表 1），采集 App 评分、用户评分数、用户评论数据、App下载量、App 评分等级分布等数据，数据采集截至2021年8月7 日。因样本数据类型较多、数据更新频率高，所以在采集期内样本数据会略有波动，但是不影响本文 的主要研究发现。七麦数据平台汇聚了移动客户端的各类用户评论数据，为本研究提供了主要数据 来源。
在本研究中，我们主要关注如下数据。
App评分。App评分是用户群体对该应用的综合定量评价，可以体现用户对 App 的认可程度，同时也是应用商店对 App 进行推广排名的参考指标。[39](p193-200) App评分取值1~5之间，是连续数值型变量。
用户评分数。用户对政务 App 的星级评定会计入用户评分数。评分数过少，App评分就缺乏客观性和精准性。因此，本研究剔除少于20个用户评 分数的App评分，用户评分数以次为计量单位。
App下载量。App下载量是用户下载该App的实际次数，用户每下载一次，App 下载量数据增长一个，下载量数据以万次为计量单位。
用户评论数据。用户自主发表的对 App 应用的评论。评论数据由中文字符、英文字符、标点符号与表情符号等组成，鉴于直接抓取的用户评论数据噪音较大，本研究需要对用户评论数据进行清洗，剔除广告评论、无效评论、纯表情符号、开发者 回复。特别说明的是，iOS平台提供了开发者与用户的互动渠道，以便开发者对用户提出的问题和建议进行反馈，也就是“开发者回复”，这部分数据不属于用户产生数据，无益于本研究的分析，因此剔除开发者回复评论数据。用户评论数据是非结构化文本数据，对评论数据的采集处理，同时可以获得用户评论数。
评分等级分布。应用商店通常设定1星到5星 五个评定等级，用户评分时选择不同星级，应用商店根据各用户评分星级生成App总体评分，通过对各应用商店的数据计量发现，App总体评分值=（5* 5星评分数+4*4星评分数+3*3星评分数+2*2星评 分数+1*1星评分数）/当前总评分数，该测量办法既体现了不同星级的权重，也充分考虑星级间的差异性，评分等级分布显示了五个评定等级各自的评分数据。需说明的是，小米应用商店设定“差评”和 “好评”两个等级，无法获取本研究的研究特征，因此，我们未采集和分析小米应用商店。
其他数据。本研究涉及的地区人口数据来源于国家统计局网站，以各地区 2020 年末常住人口 （万人/单位）为来源数据；省级电子政务发展水平数据来源于中央党校（国家行政学院）电子政务中心发布的《省级政府和重点城市一体化政务服务能 力（政务服务“好差评”）调查评估报告（2021）》中的省级政府调查评估总体指数。这些数据均为政府统计数据或政府委托的权威调查报告，具有较强的可靠性和稳定性。
（二）测量指标量化。
本研究中用 i 代表手机平台的编号，用 j 代表 样本 App 的编号，五个手机平台各自都有对样本 App的评分，用 Si,j 表示每个App在一个手机平台上的评分，下载量用 Di,j 表示，评分数用 SDi,j 表示，评论数用 RDi,j 表示，地区人口总数用 Totalj 表示。
渗透性（Penetration）。手机平台在本地区用户中的普及和占有情况，取值为：政务 App 下载量与本地区人口总数的比值 ，具体数值化是 Pi,j = Di,j /Totalj 。渗透性越高，代表该平台辐射和覆盖的用户面越大，对用户的影响也就越大。渗透性 计量单位为百分比。
活跃度（Activity）。手机平台用户参与政务 App 评价的情况，取值为：政务 App 评分数与政务 App下载量的比值，具体数值化是 Ai,j = SDi,j /Di,j ，指的是已经下载App的用户群中有多少用户参与App 使用的反馈评价。活跃度计量单位为万人。
客观性（Objectivity）。手机平台各政务App评分分布情况，用评分数据是否服从正态分布来表征，客观性的考察以Shapiro-Wilk检验结果 SWi,j 为依据，SWi,j >0.05，说明评分数据服从正态分布，否则不服从正态分布。
极端性（Polarization）。政务App评分内部极端评分的占比情况。5 个评定等级中，1 星为极差，5 星为极好，统计每个App评分中的1星、5星评分的总数为极端评分数 SEi,j ，看极端评分数在总体评分数中的占比情况，具体数值化 Pi,j = SEi,j /SDi,j 。极端性计量单位为百分比。
有用性（Usefulness）。评论文本有多种度量指标，包括评论发表时间、评论字符串长度、评论文本语义特征、评论情感特征等。Mudambi等尝试过用评论字数来衡量评论质量，结果发现，评论的篇幅越长，涉及商品的介绍便越多，消费者也会获得更多的有用信息，正向影响评论有效性和购买决策。[40](p185-200) 还有学者对评论文本长度与评论有用性的关系进行了深入研究，证明评论的文本长度与评论有用性呈显著的正相关关系。[41](p598-612) Huang 等学者发现，文本长度对评论有用性的影响有一个临界值（144 词），阈值内为正向影响，超过这一阈值，其影响就会显著减弱或几乎不存在。[42](p17-27) 本研究对每个手机平台上的政务 App 评论文本进行 文本长度的计量，并取均值为 Li,j ，当 Li,j < 144 时， Li,j 越大说明评论文本的有用性越强。有用性以词为计量单位。
可持续性（Sustainability）。用户评分数不同于评论数，是因为用户在评分时可以选择既评分也评论，也可选择只评分不评论，所以 App 的评分数通常意义上要大于或者等于评论数。如果出现评分数小于评论数的情况，通常就是应用商店删除用户评分导致的。因此本研究用评分数与评论数的差值就能显示是否存在删除评分的情况，用差值在评分数中的占比就能显示删除评分的程度，也就是用户评分评论的存活程度，具体数值化是 SSi,j = (SDi,j - RDi,j)/SDi,j 。可持续性以百分比为计量单位。
5
研究发现
（一）政务App评分的可用性分析。
各手机平台对政务 App 的评价情况与官方的评估报告之间是怎样的关系，这是能否将政务App 评分纳入政务服务“好差评”的重要因素。要兼顾各个手机平台的评分贡献，得到每个样本App的总评分 Scorej ，本研究认为下载量是用户需求和认可的表现，在计算总评分时需要充分考虑下载量所占的比重，并将其作为评分值的系数。下载量 Di,j 与地区总人口数 Totalj 比值为加权系数 Wi,j ，样本App 在应用商店中的总体评分就可以通过以下公式获得：Scorej =∑i = 1 5 Si,j *Wi,j 。
《省级政府和重点城市一体化政务服务能力 （政务服务“好差评”）调查评估报告2021》中关于省级政府调查评估的总体指数是连续数值型变量，将 样本评分 Scorej 与省级政府调查评估的总体指数进行相关性分析，发现两者在1%水平上显著，相关系数为 0.708，表现为强相关。也就是说公众对政务 App 的总体评价与权威调查报告的趋势基本一致。因此，公众的评价可以用于衡量政务App发展的绩效，对移动政务“好差评”评价有可用性。
（二）信息来源质量的评价分析。
依据前述的信息来源质量评价模型，我们对样本数据进行六个方面的分析。
1、渗透率分析。
样本缺失 iOS 版本、Android 版本、小米数据、 VIVO数据等，会带来样本个数的变化，因此样本的个案数量不一致。描述性统计分析（如表2）显示， 华为平台渗透率均值58.75%，是所有手机平台中最高的；iOS平台渗透率均值5.79%，是所有手机平台中最低的。
数据显示有多个地区的渗透率大于 100%，这可能有几个方面原因：一是用户存在反复下载的情况。有调查显示，用户人均安装App数量约40个。政务App具有低频特点，公众需要办理政务事项的时候下载并使用，使用完毕后为了减轻手机运行负担又进行卸载，直到下一次有需求时再次下载安装。所以，这会造成同一个用户多次下载，而高下载量也从侧面反映了公众的需求以及政务服务能够满足公众需求的能力。二是地区外用户因为跨省办理、跨地区办理等原因，也需要安装本行政区 域外的政务 App。本研究中的渗透率将本行政区域内的常住人口界定为测量基数，但是随着人口的频繁流动，跨地区跨区域办理需求旺盛，政务 App 的便捷性可以满足这种需求。跨地区用户也会带来一定的下载量，说明本地区有比较高的移动政务服务能力。三是开发运营者组织的测试、研究者的测试等也会带来一定下载量，导致渗透率的提高。
2、活跃度分析。
前述已说明，当评分数 SDi,j < 20 时，评分数、评分值两项都将设置为缺失项。实际情况是有多个地区如黑龙江、陕西、青海等地的评分数都是个位数，所以描述性统计里的个案数较低。从各平台的活跃度来看（如表 2），iOS 平台的活跃度均值为 16.19，也即每万次下载量中有16.19个评分数，明显高于其他四个平台，说明其用户较愿意表达自己的态度和观点。华为平台的活跃度最低，均值为 0.09，且标准差较小，也即各政务App在华为平台的用户参与度和活跃度不足。相较于其他三个平台， VIVO 平台的活跃度有一定优势，体现出其用户比 较愿意参与政务App的评分评价。
需要说明的是，我们发现华为应用商店存在明显的删除评论现象，每日的评分数据波动较大。对被删除的评论进行数据抓取发现，历史评论数并不低，说明华为平台的用户参与也很积极活跃。至于应用商店删除评论的原因，则有待未来探查。
3、客观性分析。
因样本量小于2000，采用Shapiro-Wilk检验数据分布的正态性。结果显示（如表2），iOS平台（p= 0.156）、华为平台（p=0.110）、小米平台（p=0.168）评分均服从正态分布，而 VIVO 平台和 OPPO 平台评 \分不服从正态分布。从各平台的均值上看，iOS平台、华为平台、VIVO平台均值相当。
对五组数据进行方差分析发现，仅有小米平台 与OPPO平台（p=0.011）在5%的水平上存在显著差异。从描述性分析中可以看到，小米平台的评分均值为3.35分，显著高于其他平台。OPPO 平台均值则显著低于其他平台。其他平台间不存在显著组间差异。
此外，研究发现“随申办”“爱山东”“粤商通”在小米平台上收获了满分5.0分的赞誉，但同时三个省份的政务 App 在其他平台的评分趋势却不甚相同。尤其是“爱山东”在其他四个平台的评分分别为2.7分、1.9分、2.9分和2.7分，其标准差达1.16，与小米平台的评分显著不同。因此，本研究希望探求小米平台为什么给予满分的评价，是否存在其他因素。
对三个政务 App 小米平台上的评论文本做内容分析，将评论文本清洗后输入ROST CM6，通过社会网络分析提取高频词，通过情感分析生成情感极性和得分（如表3）。结果发现，三个政务App评价内容均跨越了多个版本，“随申办”的372个评论数就跨越了24个版本，评论数相对均衡；但“爱山东” 仅 2.3.7 版本就有 1986 条评论，而且时间段相对集中，出现一定程度的失衡。三个政务App情感得分均为正面积极，高频词多聚焦于“实用”“体验”“功能”等，缺乏对每个政务App特征点的具体描述，评论的丰富性和有用性略显不足。
4、极端性分析。
五个平台均存在极端评分情况（如表2），极端占比均高于80%，并且标准差较小，说明各个政务 App在极端评分上的表现趋同；VIVO平台和OPPO 平台的极端评分占比为92%和93%，说明用户在给政务App打分时很少选择中立评分，一般选择极端 评分来表达自己的态度。其中，“全省事”在华为、 VIVO、OPPO 平台上的评分量不太充足，却全部都给予“极好”和“极差”评分，未见中立评分。用户都希望通过极端评分来表达态度，希望引起App开发运营者的关注和反馈。
5、有用性分析。
五个平台的有用性存在显著区别（如表2），iOS 平台文本长度均值为35.28词，高于其他四个平台， 最大的文本长度为92.34词低于阈值144词。阈值范围内文本长度越长，文本的有用性就越高，说明 iOS平台评论的有用性最好。华为平台文本长度适中，标准差较小，说明文本长度分布比较均衡。VI⁃ VO平台的评论文本长度最短，仅有15个左右的词，很难表达有特征性的观点和看法，说明其评论的有 用性较差。
6、可持续性分析。
五个平台的可持续性存在显著差异（如表2）， iOS 平台可持续性最好，仅有一个为负值，其余全为正值，均值为 0.51，说明评分数与评论数之间的差距较小，较少存在删除评分情况，标准差为 0.3， 说明整体比较均匀，iOS应用商店中用户的评分和评论数据存活性好，可持续利用状态好。华为平台的可持续性最差，仅有一个样本是评分数与评论数持平，其他均是评分数少于评论数，最高的达到-40.81。查看原始数据发现，该政务App当前仅有26个评分数，但历史数据中有1087个评论数，均值也为负值，这说明华为平台存在普遍的删除评分情况，用户评分评论被大量删除会带来数据的不稳定，也带来信息来源的不可靠。此外，小米平台、 OPPO平台也存在不同程度的删除评分情况，而VI⁃ VO 平台的情况则要好一些，均值为正值且标准差较小。查看原始数据发现，VIVO 平台仅有一个政 务App的存活占比为负值，其他均为正值。
综上所述（如表 4），我们认为在这 5 个主流平台中，“好差评”制度应主要使用iOS平台的评分和评论数据，可以参考运用部分 Android 平台的评论数据。
6
结论与讨论
（一）结果讨论。
手机应用商店中积累了大量的用户评分评论数据，用户评论大量指向了政务 App 运维问题，是移动政务服务供给能力、技术服务能力的重要表现，可以进行数据挖掘分析，用于完善移动政务绩效评估体系。但是，目前这方面的研究还比较稀缺。本研究以5个主流手机平台上的32个省级政务App为研究对象，收集和分析不同平台用户的评分评论情况。
首先，研究发现用户评论是衡量政务App服务 质量的有益补充。研究发现，只有对政务App使用有比较深刻感悟的用户才参与政务App评价，通过打分来表达自己使用的（不）满意；更进一步，公众是在自主空间内根据自己的切身感受给出的分值， 没有外界因素的干扰，打分更具真实性和客观性。用户评论也不是简单的褒奖或发泄，特别是一些看似负面的评论信息，实际是将用户的需求和痛点展现出来。
有研究发现，用户评论强烈的负面消极情绪会降低评论的有效性，而中等程度的负面消极情绪则可以提高评论的有用性。[43](p79-86) 部分负面情绪的评论文本包含使用体验、功能需求、错误反馈和优化建议等信息，而部分语气温和的评论则缺少具体的评价特征点，具体的问题和优势指向都不明确。也就是说，适度表达情感极性的用户评论更有助于运营者发现问题。政务服务的开发运营者应该包容这种情绪的存在，积极挖掘和吸纳用户建设性的意见建议。
其次，研究发现用户评论的信息来源质量表现出一定差异（如表4）。本文构建了政务App用户评论信息来源质量评价模型，在渗透性、活跃度、客观性、极端性、有用性和可持续性六个维度进行了数据比较分析。结果显示，iOS平台的活跃性表现极好，在客观性、极端性、有用性、可持续性上表现最 好，但是其渗透性还比较低，用户群的覆盖面还不 足。这表明iOS平台上的评分评论数据有用、管用且易用，但是iOS平台的用户群代表性略显不足。
华为平台在渗透性、客观性、极端性上表现较好，在有用性上表现适中，但是华为平台的活跃性与可持续性不足（与应用商店删除评分评论有 关）。这表明其评分评论数据客观、有用，需要达到一定规模才能发挥作用。但是，其对评分评论的管 控机制又限制了其长效发展。
小米平台的总体评分偏高，因其只有“好评”和 “差评”的打分机制使得其客观性减弱，也使得最低分和最高分并存。总体来看，小米平台在渗透性、 可持续性方面表现还不足，活跃性、客观性、有用性 表现中规中矩。
VIVO和OPPO平台在极端性方面表现突出，表明用户群希望通过极端表达引发关注。但是，二者在渗透性、活跃性、客观性、有用性等方面表现较差，说明评分和评论数据很难说明真实问题。最后，VIVO平台相较于OPPO平台在可持续性方面表 现较好。
我们认为，不同手机平台的表现可能与用户群有关。Bertrand 的研究发现，iPhone 是最常见的财富象征，“拥有一部 iPhone”给了研究者 68.1%的概率可以正确地推断其拥有者属于“高收入”群 体。[44] 然而，国内第三方数据服务平台Mob Data发 布的《2018 年第三季度中国智能手机市场调研报 告》显示，一部分iPhone用户的月收入低于3000元；华为手机的用户群收入较高，以中老年用户为主；小米手机用户群主要是中产阶层和年轻群体，OP⁃ PO和VIVO的用户画像偏重更为年轻群体。[45]
iPhone 群体受到手机开放生态和应用习惯的影响，更愿意发表自己的观点。但是，受价格、经济贸易等多重因素的影响，iPhone在用户普及率和渗透性方面很难有大的提升；华为手机用户由于年龄、工作以及应用习惯等影响，较多默默接受和使 用，而不善于去发表自己的意见建议。小米、VI⁃ VO、OPPO 等年轻群体相对活跃，但是表达的客观性和有用性还有待提高。因此，从政务App服务质量评价的角度来看，iOS平台的评分数据更具客观性，可以考虑引入，或者引入政务 App 总评分作为评价服务情况的一个侧面；从用户评论挖掘的角度 来看，在对政务APP进行评价时应重点挖掘iOS平台和华为平台的用户评论，同时兼顾考察其他平台上的用户反馈。
最后，研究发现政务App可得性问题是影响用户评论的重要因素。用户要使用App，首先要顺畅便捷地登录到App中，但是研究发现大量用户评论指向了登录问题，特别是在 1 星评论中“注册”“认 证”“登录”等成为高频词，而评论原内容显示“注册 不上”“认证通不过”“人脸识别没用”等是反馈较多的问题。
政务App可得性是首先应该得到保证，也是较容易得到保证的。但是，总体来说省级政务App可得性做得还不够，这可能涉及运营者的测试范围、 测试机型、测试网络等局限。规模以上的用户群提供了天然的测试环境，用户在政务App评论中提出 的这些诉求是App改进和完善的方向。但是，部分 App并没有很好吸纳用户反馈，即使经过了长时间的迭代更新，问题依然没有彻底解决。
从组织角度出发，政务App可得性还有一个推广问题，而这是公共部门不太擅长的事情。1星评论中大量出现“推广”“强制”等高频词，说明App管理运营与公众间存在认知偏差，强制使用的做法拉开了公众与政府间的距离。公众认为好的政务 App不需要推广，这也赋予了政务App“不好用”的刻板印象。但是，App运营者重视用户评论就容易得到用户的肯定。“云上贵州多彩宝”对iOS平台上的负面评论（1星）进行了“开发者回复”，开发者回 复会发送到用户的邮箱。这种一对一的跟踪回复， 是把用户的感受和评价摆在至关重要的位置，也必然提升用户对于政务App的好感和满意度。
（二）研究不足和未来方向。
本文还存在一些不足，未来研究需要予以深化和发展。首先，我们构建了用户评论信息来源质量的评价维度，这些维度仅是从能够抓取到的用户评分、评价、下载量角度，是否就能够全面刻画App用户评论的质量，能否用于 App 服务绩效的评价，甚至辅助“好差评”制度的实践，还需要深入研究和探 讨。其次，我们对采集到的政务App评价数据进行了初步的描述性统计，但是还缺乏深度利用。比如，利用一段时间的用户评论数据去探求用户评论与软件版本升级之间有没有关系，或者对用户评论数据进行挖掘，分析满意和不满意背后的因素，发 现究竟哪些因素真正能提升政务 App 绩效，等等。最后，我们构建了政务 App 总评分的计算方法，目前是将用户渗透率作为系数，与政务App评分加权而得。本研究发现，五个平台的可靠性是有区别的，仅仅用渗透率作为加权系数是否科学，是不是可以考虑适当提高iOS和华为平台的权重，适当低其他平台的权重，这些问题都需要在未来进一步探索。
参考文献：
[1]马亮.数字政府建设：文献述评与研究展望 [J].党政研究，2021,（3）.
[2]费军，贾慧真.智慧政府视角下政务APP 提 供公共服务平台路径选择[J].电子政务，2015，（9）.
[3]徐绪堪，华士祯“. 互联网+政务服务”背景下 的政务APP评价——基于直觉模糊层次分析法[J]. 情报杂志，2020，（3）.
[4]朱春奎，李文娟.电子政务服务质量与满意 度研究进展与展望[J]. 湘潭大学学报（哲学社会科 学版），2019，（1）.
[5]彭云，马亮“. 放管服”改革视域下的政务服 务“好差评”制度——中国省级政府的比较研究[J]. 行政论坛，2020，（6）.
[6]马亮. 大数据时代的政府绩效管理[J]. 理论 探索，2020，（6）.
[7]马亮.中国数字政府建设的理论框架、研究 议题与未来展望[J].中共天津市委党校学报，2021， （2）.
[8]程罡，高辉，等.基于真实用户评论信息构建 移动学习资源的评价模型[J]. 现代远距离教育， 2014，（1）.
[9]陈则谦，刘坤.地方政府政务APP 的可用性 调查与分析——以河北省为例[J].电子政务，2017， （3）.
[10]高荣. 服务型政府建设背景下我国移动政 务发展探究[J].天津行政学院学报，2016，（2）.
[11]郑跃平，王海贤.移动政务的现状、问题及 对策[J].公共管理与政策评论，2019，（2）.
[12]Hung S Y，Chang C M，etc.User Acceptance of Mobile E-Government Services：An Empirical Study [J].Government Information Quarterly，2013，（1）.
[13]王法硕，丁海恩.移动政务公众持续使用意 愿研究——以政务服务 APP 为例[J]. 电子政务， 2019，（12）.
[14]复旦大学数字与移动治理实验室. 移动政 务哪家强？中国“掌上好办”指数首次发布[EB/OL]. http://www.dmg.fudan.edu.cn/?p=8956. [15]Ma L，Wu X.Citizen engagement and co-pro⁃ duction of e- government services in China[J].Journal of Chinese Governance，2020，（1）.
[16]易兰丽，黄梅银，等.美国移动政务建设及 其对我国的启示[J].电子政务，2019，（30）. [17]Kowalski R，Esteve M，etc.Improving Public Services by Mining Citizen Feedback：An Application of Natural Language Processing[J].Public Administra⁃ tion，2020，（4）.
[18]单晓红，张晓月，等.基于在线评论的用户 画像研究——以携程酒店为例[J]. 情报理论与实 践，2018，（4）.
[19]姜霖，张麒麟.基于评论情感分析的个性化 推荐策略研究——以豆瓣影评为例[J].情报理论与 实践，2017，（8）.
[20]郭顺利，张向先，等.面向用户信息需求的 移动O2O在线评论有用性排序模型研究——以美 团为例[J].图书情报工作，2015，（23）.
[21]Herbst C M，Desouza K C，etc.What do par⁃ ents value in a child care provider? Evidence from Yelp consumer reviews[J].Early Childhood Research Quarterly，2020，（51）.
[22]张文亮，付枭男，等.我国省级公共图书馆 评价研究——以大众点评网数据为例[J].图书情报 工作，2019，（5）.
[23]Gavilan D，Avello M，etc.The influence of on⁃ line ratings and reviews on hotel booking consideration [J].Tourism Management，2018，（66）.
[24]范建军. 移动知识付费平台评论分析—— 以“得到”App为例[J].图书馆学研究，2018，（5）.
[25]张莉曼，张向先，等.面向评论语义关系的 学术 APP 服务需求聚合研究[J]. 情报理论与实践， 2020，（1）.
[26]王英，龚花萍.基于情感维度的大数据网络 舆情情感倾向性分析研究——以“南昌大学自主保 洁”微博舆情事件为例[J].情报科学，2017，（4）.
[27]文宏. 网络群体性事件中舆情导向与政府 回应的逻辑互动——基于“雪乡”事件大数据的情 感分析[J].政治学研究，2019，（1）.
[28]刘桂琴. 政府数据开放平台用户评论情感 差异分析[J].数字图书馆论坛，2019，（2）.
[29]Kowalski R，Esteve M，etc.Improving Public Services by Mining Citizen Feedback:An Application of Natural Language Processing[J].Public Administra⁃ tion，2020，（98）.
[30]马亮，于文轩.第三方公共服务绩效评价的 评价：一项比较案例研究[J]. 南京社会科学，2013， （5）.
[31]Yu W X，Ma L.External Government Perfor⁃ mance Evaluation in China：Evaluating the Evaluations[J]. Public Performance&Management Review，2015，（1）.
[32]沈甜，陈曦.社交化APP中网络可见性的影 响研究[J].管理学报，2018，（5）.
[33]Duan W，Gu B，etc.The dynamics of online word- of- mouth and product sales—An empirical in⁃ vestigation of the movie industry[J].Journal of Retailing， 2008，（2）.
[34]Chen Y，Wang Q，etc.Online social interactions：a natural experiment on word of mouth versus observa⁃ tional learning[J].Journal of Marketing Research，2011， （2）.
[35]陶晓波，张欣瑞，等.在线评论、感知有用性 与新产品扩散的关系研究[J]. 中国软科学，2017， （7）.
[36]Sussman S W，Sidgal W S.Informational Influ⁃ ence in Organizations：An Integrated Approach to Knowledge Adoption[J].Information Systems Research， 2003，（1）.
[37]Park S，Nicolau J L.Asymmetric effects of online consumer reviews[J].Annals of Tourism Research，2015， （50）.
[38]吴江，刘弯弯.什么样的评论更容易获得有 用性投票——以亚马逊网站研究为例[J].现代图书 情报技术，2017，（9）.
[39]任卓异，姜凌，等.移动互联网时代APP 可 发现性影响因素的实证研究[J]. 科技管理研究， 2017，（17）.
[40]Mudambi S M，Schuff D.What Makes a Helpful Online Review? A Study of Customer Reviews on Amazon. com[J].MIS Quarterly，2010，（10）.
[41]Pan Y，Zhang J Q.Born U.A Study of the Helpfulness of User- Generated Product Reviews[J]. Journal of Retailing，2011，（4）.
[42]Huang A H，Chen K，etc.A study of factors that contribute to online review helpfulness[J].Computers in Human Behavior，2015，（2）.
[43]蔡淑琴，秦志勇，等.面向负面在线评论的 情感强度对有用性的影响研究[J].管理评论，2017， （2）.
[44]Bertrand M，Kamenica E.Coming Apart？Cul⁃ tural Distances in the United States over Time[EB/OL].https://www.nber.org/papers/w24771.
[45]MobData 数据服务平台.2018 年 Q3 中国智 能 手 机 市 场 报 告 [EB/OL].http://www.199it.com/ar⁃ chives/795765.html
文章（载于《湖北社会科学》2021年第11期）
时间：2022年1月13日
扫码关注更多2022.01.13