上海市第一中级人民法院课题组|智慧法院建设评价体系之实证分析与完善建议
载《中国应用法学》2018年第2期
(1)注重系统性建设。从规划引领、基础设施、综合保障、网络化应用、阳光化应用、智能化应用、示范性创新等多方面构建了智慧法院建设的整体系统，可以从信息技术、软硬件设施、政策环境、信息化人才储备、信息化几大类应用情况等相互协调的整体视角来评价智慧法院的建设状况。
(2)注重个性与共性相结合。引入信息化创新示范等个性指标，并配以5 分的分值，充分体现了最高人民法院鼓励各地依托地方优势在建设过程中有所创新和突破，从而避免建设模式化、缺乏特色。
(3)注重办案及审判辅助类应用。一级指标中，应用成效类的3 项指标分值均在20分以上，且分值总和达70分，其中分值最高的为网络化应用成效指数(30分)。二级指标中，网上办案(13分)、审判智能辅助(11分)两项指标分值均超过10分。三级指标中，除了2项附加指标分值为5分、2项指标(信息化宣传报道、文书辅助)分值为3分外，其他指标均在1-2分之间。
2.实测前梳理阶段发现的问题
最高人民法院发布《评价体系(征求意见版)》并面向全国征求意见之时，恰逢上海市第一中级人民法院正在积极推进其承担的最高人民法院2016年度司法研究重大课题《建设智慧型法院问题研究》。实践是检验真理的唯一标准，课题组遂决定以《评价体系(征求意见版)》为标准，选取5家有代表性的法院为样本进行对标检测，以便就该体系的科学性、合理性、可操作性以及完善建议等向最高人民法院作出客观反馈。检测之前，课题组首先对评价指标得分计算规则进行了初步分析和梳理，发现小部分指标在实际计算得分时存在一些问题。
(1)数据测量的准确性。主要包括两种情况：一是历史案件数据的处理。如果按照最高人民法院的计算规则，分母为案件总数的话，那得出的系数必然接近0。故实际检测时以2017年上半年案件数据为分母，得出的系数才相对真实；二是实际使用量实在太小，导致法院之间无法区分层次。
涉及13项三级指标：案件电子卷宗汇聚率、庭审录音录像率、电子签章率、审判流程信息公开率、裁判文书公开率、网上立案率、网上缴费率、网上证据交换率、网上开庭率、电子送达率、12368 热线服务率、视频接访率和破产重整案件信息公开率。其中，视频接访率和破产重整案件信息公开率就属于第二种情况。
(2)计算范围的科学性。仅涉及三级指标中的庭审公开率。传统意义上，允许公众现场旁听属于庭审公开范畴。但本次计算规则中，此种情况被排除在外。故照此计算5家样本法院的庭审公开率都将接近为0。
(3)数据统计的操作性。主要是难以确定参考值，或是实际数据难以统计。涉及5项三级指标：法院专网平均带宽、四级网站使用率、集中汇聚数据质量、政务网站更新率和微博微信关注度。
(4)评价对象的完备性。有些指标仅确定了当地高院的考核规则，却对中、基层法院没有确定具体要求。涉及2项三级指标：大数据专题分析数、质效型运维体系完备度。
对此，课题组在实际对标检测时对上述4方面问题的系数计算规则进行了相应调整(详见正文后附表1)。
二、样本法院对标检测结果简述 当前，我国法院信息化建设过程中，不平衡、不充分的矛盾较为突出，地区之间、系统之间、层级之间、人员之间的不平衡现象普遍存在。因此，在样本法院的选择上，课题组认为应考虑“一纵一横”两个维度，通过对不同地域的高、中、基三级法院进行对标检测，以便更准确地展现智慧法院建设的真实情况。其中，“一纵”的样本是从S市的三级法院中选取，即S市高级人民法院(以下简称S市高院)、S市一中院和S市X区人民法院(系S市一中院辖区基层法院，以下简称S市X区法院)三家。“一横”的样本则是选取东部、中部和西部的三家中级法院，即S市一中院、 G省Z市中级人民法院(以下简称G省Z市中院)和X省R市中级人民法院(以下简称X省R市中院)。 课题组在对5家样本法院的具体指标得分进行详细比较的基础上，再对定量计算出的每项指标得分进行“优、中、劣”的定级分类，并对各项指标进行标注。其中，“优”是既完成任务且效果又较好的情形，通常其指标得分是或接近满分。“中”是指虽完成任务但效果待改善的情形，通常其指标得分为满分的一半。“劣”则是指未完成任务，通常其指标得分是0或接近0。(一)同一地域三级法院智慧法院建设情况特点
总体来说，如附表2所示，S市三级法院指标的共性优势有39项，共性劣势13项，差异指标12项(详见正文后附表2)。
在共性优势方面，S市法院信息化建设领导力强，人才配备充足，运维和安全保障措施到位。基础建设方面的网络接入、科技法庭和音视频建设都已完成，实现全面覆盖。诉讼服务特别是12368接入方面，遥遥领先全国其他法院，实现司法公开100%覆盖。执行指挥、查控、曝光和拍卖按照最高人民法院要求实现全上网。案件信息资源质量、汇聚和利用情况都走在全国前列。智能辅助办案方面，涉及维度广，注重应用推广和成效。宣传方面，新闻报道、网站、微博微信等数量和活跃度基本满意。共性劣势方面，S市法院专有云、开放云、移动专网有待S市政府计划统一规划后再行建设。受制于S市公安、检察院和监狱局是涉密网，而S市法院属于非涉密网的关系，S市法院与政法部门协同办案能力较弱。诉讼服务应用建设较全面但是使用情况仍有待改善。
在差异方面，S市高、中院较基层法院规划和宣传报道较好。案件量较大的中基层法院在电子签章、电子送达、网上立案、庭审语音转录方面较高院好，而信访量较大的中高院的视频接访使用率较高。大数据分析方面，人才、技术较好的高、中院开展程度较基层法院较好，但S市法院均未建成移动办案系统。
(二)不同地域同级法院智慧法院建设情况特点
总体来说，如附表3所示，S市、G省Z市、X省R市三地的中级法院共性优势有15项，共性劣势8项，差异指标41项(详见正文后附表3)。
在共性优势方面，三地均对智慧法院建设工作非常重视，领导规划力强，运维与保障工作落实到位。三地网站使用率、执行业务网上办理率都较好，且实现案件电子卷宗和庭审录音录像全覆盖。司法公开方面的裁判文书公开和执行信息公开基本符合最高人民法院要求，达到较好水平。共性劣势方面，三地中院在与政法部门协同办案方面均存在困难，均未实现移动办案。虽然建设诸多诉讼服务应用，但实际效果都有待提高。
在差异方面，表现出来的问题主要有：(1)东部地区的S市一中院，信息化建设早、基础好、内容全面，因此在优势指标方面总体数量占优，特别在应用类的数据管理、审判执行智能辅助应用、大数据分析服务以及综合保障方面占绝对优势。同时S市一中院的信息化人员是超额配置，人才积淀优势明显。但是技术的不断进步、软件和硬件产品的更新加快，会使得已建成的信息系统贬值速度加快、实际效果弱化，因此信息化起步早的法院虽然具有先发优势，但也可能因此影响信息化的后续发展。同时受S市市政府信息化建设统一规划和协调等因素的影响，相较后发地区的G省Z市中院，反而在网络支撑方面(专有云、开放云、移动云)方面暂时落后。(2)中部地区的G省Z市中院，信息化建设起步相对较晚，但是近年来投入较大。在G省政府的支持下，Z市建设了云计算中心因此，G省Z市中院在基础设施建设方面占绝对优势。但其在深度应用特别是审判执行智能辅助方面相对薄弱，和S市差距明显。同时G省Z市中院未足额配置信息化人员。(3)西部地区的X省R市中院，信息化建设基础薄弱、发展晚。建设费用投入相较中、东部地区较少，因此在各个方面都明显落后于S市和G省的步伐。同时X省R市中院的信息化人员明显不足。
(三)纵向和横向法院分析结果汇总
1.总体情况：同一地域的三级法院信息化整体水平接近，同质化明显。而不同地域的法院信息化水平差异明显，即便总体得分相近，优劣指标也不尽相同(见表1)。
2. 存在一些共性优势。例如：(1)领导均高度重视智慧法院建设，大多数都编制了信息化发展具体规划。(2)最高人民法院长效推进的工作都做得较好，比如庭审录音录像和卷宗电子化。(3)最高人民法院在全国范围统一推广的系统(例如执行相关系统)，普遍使用率高、效果好。
3.同时存在一些共性劣势。例如：样板法院与其他政法部门协同办案水平不高，且诉讼服务的实际效果(特别是网上立案率、网上缴费率、网上证据交换率、网上开庭率和电子送达率)普遍不理想。
三、当前智慧法院建设评价体系存在的问题 通过前述实际对标检测，课题组对于《评价体系(征求意见版)》有了更为深入的认识和理解。最终的检测结果表明《评价体系(征求意见版)》有着较高的科学性、合理性和可操作性，同时也存在可以继续提高、完善的空间。结合实测经验，课题组再次对《评价体系(征求意见版)》进行了深度梳理，并提炼问题、提出建议，供最高人民法院今后调整充实评价体系时予以参考。(一)主要问题之一：指标设计不够规范
1.指标评价范围不太统一
64项三级指标的评价对象未能全部适用所有法院。35项的评价对象为所有法院，其余29项的评价对象仅为最高人民法院、地方高院。评价最高人民法院、地方高院的指标总分100分，而评价中基层法院的指标总分仅58分，对各级法院不能以同等的基准进行衡量。
2.指标定义标准不尽合理
64项三级指标中，功能性指标(39项)明显多于效果性指标(25项)，前者分值(66分)明显高于后者(34 分)。在指标设置时应当是考虑了很多应用系统还处于初建阶段尚未广泛使用。对标检测过程中，课题组发现对于同类指标，指标定义标准不同。主要存在以下具体问题：
(1)部分指标值未对功能进行细化。在功能性指标中，大部分指标的定义思路是按照系统应具备的主要功能涵盖程度予以计算。如“网上办公”指标，其定义为“是否具备公文起草、审批、查阅等公文管理能力”，取值只有0或1，并未将各个功能予以细化定义。这可能会助长评价过程中打分的随意性。
(2)部分指标值无区分度。如前文所述，一些指标数据几乎一致，如一些比例型指标在计算时存在分母过大导致指标值过小接近0的情形，这样的指标对不同评价对象区分度不高，导致法院之间无法区分层次，如视频接访率、破产重整率等。
(3)部分指标以参考值形式定义略显模糊。有10项三级指标在指标定义中引入了不确定的“参考值”，课题组在对这类指标进行评分的过程中因参考值的不确定无法计算出指标值。
(4)部分指标趋向不一致不具可加性。64项三级指标中，既有正向指标也有逆向指标。其中，正向指标是指标值越大评价越好，相应地，逆向指标是指标值越小评价越好。由于两类指标数值趋势相同具有相反的评价效果，故不具有直接可加性。指标体系中重大信息安全事件指标(指标定义见图2)即为逆向指标，所发生的信息安全事件越严重指标值越大。
(5)部分指标计算不同量纲直接累加不合理。存在不同量纲值直接累加的情形，如科技法庭覆盖度指标，其指标定义为“(法院科技法庭数量/ 法院法庭数量+ 是否实现科技法庭与办案系统对接)/2”，合成该指标的前后两项数值量纲不同，应不能直接相加。
3.指标数据采集存有困难
指标数据是否能容易、及时且科学的采集，是选用评价指标很重要的因素，如果评价指标的数据不准确、不可信，那么评价方法再科学也难以达到客观、准确评价的效果。从指标数据收集方式看，64项三级指标中只有12项可以通过最高人民法院直接采集，其余52项均需通过调研表的形式向各地法院采集(见表2)。
4.主观评价指标完全缺失 建设智慧法院就是为了更好地服务审判执行、服务人民群众、服务司法管理。但如前所述，当前的评价体系主要考察的是功能性指标，效果性指标分值占比相对较低，且在效果性指标中缺少对应用主体主观评价(即用户满意度)的关注，这与智慧法院建设的发展目标不一致。功能性指标评价的是系统从无到有，效果性指标评价的是系统从有到用，主观评价指标评价的是系统从用到好用。在智慧法院不同建设阶段侧重点不同，缺少主观评价使评价体系不够完备。[1]
(二)主要问题之二：权重设置不尽合理
当前评价体系中的权重通过分值予以体现。从64项三级指标的分值分配情况看，除了2项附加指标分值为5分、2项指标(“信息化宣传报道”和“文书辅助”)分值为3分外，其他指标均在1-2分之间，指标之间权重差异较大，即便在同一二级指标下的不同指标间，指标间权重分配差异也较大。[2]
如以分值较大的二级指标“审判智能辅助”为例(见表 3)，该二级指标分值为11分，下设7项三级指标分值从1分到3分不等，比较其中“电子卷宗材料智能复用”与“庭审语音识别转录”两项指标，前者是基于对电子卷宗涉及案件信息要素的提取，后者是基于庭审语音识别转录，不管是在技术实现难度上还是对审判辅助工作的意义上都不至于是两倍的差异。此外，对于逆向指标“重大信息安全事件”的分值为负数也较不易理解，因为在指标体系中权重代表的是重要性程度，不存在为负数的情形。
(三)主要问题之三：评价方法不太明晰
当前的评价指标体系对指标的设计及权重的分配做了较为详细的规划，但涉及评价方法较为概括和模糊。评价方法是评价工作真正落地不可或缺的保障，评价方法主要包括对指标无量纲化处理[3]及指标合成[4]两部分，不同类别的指标体系及指标形态对评价方法的选择均有较大影响，只有在获取到指标数据并予以分析的基础上才能探索、研究出较为科学、合理的评价方法。[5]
从现有指标体系相关文件中，涉及评价计算方法概括为各指标得分乘以分值之和，其中分值可理解为权重，指标得分可理解为对指标无量纲化后的值。其中指标得分根据指标特点分为3种计算类型：功能有无型、应用效果型和比较型。功能有无型主要针对功能性指标，对指标所描述的功能是否已实现及实现的阶段或程度来定义指标的数据，实际上是对定性指标的量化过程。应用效果型主要针对一些效果型指标，是对某项应用具体应用效果的指标定义，该类指标在案件质量评估体系中较为多见。前两类均未涉及对指标数据的无量纲化处理。比较型指标是将指标值与参考值的比例，可视为对指标的无量纲化处理方式。故三类指标中仅比较型指标体现了无量纲化过程，同时前文所述不同指标类型数据不可加、中基层法院分值较低造成数据不可比等问题，对无量纲化方法的选择及综合评价办法的选取均有影响。
在对标检测前，课题组已发现一些指标在准确性、科学性、操作性和完备性等四个方面存在一些问题，使得指标值无法计算或者能够计算但在各个评价对象之间无法区分，从而使法院之间的指标数据缺乏可比性。有效的指标应具有可科学采集和指向性双重特点，所以在指标的筛选阶段应该对无效指标进行修正和排除。一是对于无法及时、准确采集的指标，在指标筛选阶段应该予以排除，否则难将评价结果准确量化[6]；二是对于存在各法院之间指标值没有差异的指标，如庭审录音录像率、电子签章率、裁判文书公开率等，在指标采集后发现各家法院的值在百分比的形式区分不大，可进一步将单位扩大至千分位，若仍然区分不大且指标所体现的是刚刚推行的系统效果，可将该效果性指标转化为功能性指标，否则可先将该指标暂予排除，待其能体现各法院差异化时再将其纳入指标体系中；三是对于指标定义模糊，会产生理解歧义的指标应进一步细化明确，保证不同的数据采集者对同一指标的理解相同，使各家法院在采集数据时能够标准统一，以确保能“公平”对待每一项指标[7]；四是对于对比型指标(在指标值计算方法中涉及有参考值的指标，如专网平均带宽、四级网站使用率、集中汇聚数据质量、政务网站更新率等)，在指标定义中将参考值去除，而在评价过程中统一对所有指标进行无量纲化处理，否则在数据采集过程中参考值并不能确定，这样指标值就无法确定，不具有可操作性；五是如指标适用范围仅限最高人民法院、地方高院的指标(如大数据专项分析数、质效型运维体系完备度等)，对于中、基层法院在这些指标的取值规则应予以明确，课题组认为不应取为0，如果中、基层法院在该项指标有值则取自己的值，若没有值可取所在区域对应高院的值，以确保中、基层法院在评价中的满分值均能达到100分，以便于后续评价分析中对各法院进行横向与纵向比较，更好地了解和把握不同城市智慧法院建设的实际水平和变化趋势；六是对于指标体系中存在的逆向指标，可以通过取相反数等将逆向指标转化为正向指标的形式，保证指标体系中指标的同向性。[8]
(二)适度增加主观评价，兼顾不同主体体验感受
智慧法院建设是系统工程，建设目的是为了更好地服务群众诉讼、法官办案和司法管理，不是仅靠几个简单统计数据就能够解释和反映的，还需要考虑到用户主体的心理和主观感受。[9]主观指标作为一种效益的特殊衡量指标，在设立过程中应注意与客观指标数量相平衡。[10]主观指标能反映出当事人、司法管理人员、法官等主体对于智慧法院建设成果的体验与评价，但可能会因为个人标准不同而产生偏差，不一定能准确地反映智慧法院建设的效果。而客观指标虽然更加准确且易于获得，但不能反映出智慧法院的受益者对于智慧法院建设的满意程度。
因此，对于一个科学的评价指标体系来说，主观指标与客观指标的设立应当配套，建立以客观评价为主、主观评价为辅的评价体系。以智慧城市的指标体系设置为例，许多国家或地区的指标体系均将公民体验等主观指标纳入评价中。智慧城市主观指标的评价方式一般分为两种。一种如我国台湾地区、欧盟，它们的智慧城市指标体系将主观指标进行量化直接纳入综合评价体系中。另一种如上海浦东新区的智慧城市评价，是将主观指标单独作为一个类别，将所有主观指标归入一个领域进行专项调研评价。[11]通过引入主观评价，一方面可以对智慧法院建设成效的外在体现进行综合分析，直观体现智慧法院建设的效果；另一方面有助于正确把握智慧法院的建设“瓶颈”，为进一步提升智慧法院的建设水平提供支持。
(三)建立动态评价体系，客观反映建设阶段特征
智慧法院建设是持续发展、复杂的系统过程，在评价智慧法院时要强调指标的动态化特征[12]，指标的内容应随着信息技术的发展和智慧法院建设进程的变化而调整，指标的权重也应根据该项指标在整个指标体系中的影响力进行再分配。[13]因各地法院起跑线及信息基础不尽相同，在设计指标体系过程中，针对功能与效果的评价分配应更加科学。主要针对功能的评价将无法体现智慧法院建设进展快的法院优势，主要针对效果的评价则可能忽略信息化基础薄弱地域法院的进步程度及其表现出的潜力。针对智慧法院建设这种多地域、多指标、多因素的综合评价，根据智慧法院的进程合理分配主观性指标与客观性指标、功能性指标与效果性指标的权重将十分重要。[14]
(四)合理确定权重系数，构建评价方法合成模型
智慧法院建设评价指标体系的评价方法是典型的多指标综合评价法[15]，即将反映不同评价侧面的不同量纲的多个指标转化成无量纲的相对评价值，并通过适当的合成方法合成综合评价值得出整体评价分值的过程。在评价指标已经确定的情况下，接下来重要的就是确定各层级指标权重、单项评价值(即指标的无量纲化函数)及合成模型。因该部分专业性较强，建议咨询专业人员，在对已有权重构成方法、指标无量纲化函数、合成模型等进行比较和分析基础上，筛选确定相关算法，从而整合形成符合智慧法院建设特点和规律的评价指标合成模型。指标权重构成方面，通过研究发现，智慧城市的权重构成可能因为有专门的评价机构支持，大多选用层次分析法，而案件质量评价体系的权重构成采用专家群组构权法与直接构权法结合。那么，对于智慧法院建设评价指标体系的权重分配建议采取折中的方法，对于指标数较少的一级、二级指标的权重建议采用专家群组构权法与直接构权法相结合的方式，三级指标则由于指标数量较多，建议采取层次分析法。指标无量纲化函数选择方面，因为智慧法院建设过程中各项指标变化的不确定性，而且实践中我们也没有绝对的标准判断“哪一个无量纲化函数更加精确”，只能大致判断适合的函数“类型”是递增还是递减，是上凸、下凸还是S型，是急宕还是平缓。因此，在选择无量纲化函数上，在追求精确的同时，更加需要的是实用性和可操作性，即在把握好无量纲化函数的方向、凹凸性、大致变动速度的前提下，使其数学形式简明化。合成模型方面，可参考大多数智慧城市的评价体系，采用算术平均法。在指标的合成中，先由三级指标合成二级指标，再由二级指标合成一级指标，最终获得总评价分值。综上可知，多指标综合评价方法是把多个描述“智慧法院”建设不同方面的指标通过指标定义、采集等方式予以筛选、量化，然后转换为无量纲的相对评价值，并综合评价值得出整体评价的方法系统。该系统任何一个环节的任何一个指标、权数、计算方法不准确、不科学都会导致评价结论的“失真”。
(五)完善相关配套机制，保障评价体系落实到位
评价指标的采集需要有一套配套机制予以保障，这涉及采集主体、评价周期、激励约束机制等方面。[16]首先，采集主体方面，建议减少各地法院自报等收集方式不中立的指标，可以参考智慧城市评价中通过企业、各部委、第三方机构等收集数据的模式[17]，在智慧法院建设评价指标数据的收集中可以适当增加通过最高人民法院各部门等条线收集的方式，如网上立案指标，先通过立案庭条线收集，由最高人民法院立案庭初步予以审核后再转到信息中心，以保障评价的公正性和公平性；评价周期方面，建议根据智慧法院建设的进程，以年度为周期进行评价；激励约束机制方面，建议能够和各法院信息化评优评奖工作直接挂钩，最好能将指标评价体系分解到各相关业务条线。从目前的指标体系来看，绝大部分指标并非能从最高人民法院现有的平台系统中直接获取，而需要从各地法院各自应用系统或者通过人工调研的方式获得相关数据，同时，涉及用户感知的主观性指标的评价涉及社会学、统计学原理，可能需要专业的调研团队予以支持。
结语 创设智慧法院建设指标体系，开展建设情况评价工作，有助于总结、评价、分析智慧法院建设的阶段性建设成效。通过“梳理明确实际状况，弘扬先进典型经验，寻找发现不平衡、不充分发展的矛盾症结所在，及时调整充实五年发展规划，为智慧法院建设的深化完善提供科学合理、针对性强的顶层设计指导”。[18]因此，各级法院应当高度重视智慧法院建设评价工作，积极为智慧法院建设指标体系的完善出谋划策。2017年12月，最高人民法院在充分调研论证、广泛征求意见的基础上，正式发布了《智慧法院建设评价指标体系(2017年版)》，共包括7项一级指标、21项二级指标、68 项三级指标。目前在最高人民法院的领导下，全国性的智慧法院建设评价工作正在迅速推进。我们相信，以更多的实测与反馈为基础，智慧法院建设评价体系将会更加地科学完善。各级法院可以以评价活动的开展为契机，看清自身差距与不足，并通过审判流程、管理流程、办公流程等全方位的流程再造，切实提升智慧法院网络化、阳光化、智能化的水平，不断提高运用信息化手段服务审判执行、服务人民群众、服务司法管理、服务廉洁司法的能力。
附表1:《评价体系 (征求意见版) 》指标得分计算规则调整
附表1:《评价体系 (征求意见版) 》指标得分计算规则调整
附表1:《评价体系 (征求意见版) 》指标得分计算规则调整
附表2:S市三级法院纵向条线优劣指标
附表3:S市、G省Z市、X省R市三地中院横向区域优劣指标
附表3:S市、G省Z市、X省R市三地中院横向区域优劣指标
作者单位课题组成员：陈立斌(组长)，时任上海市第一中级人民法院院长；汤黎明，上海市第一中级人民法院副院长；刘力，上海市第一中级人民法院副院长；胡光宇，上海市第一中级人民法院院长助理、智库研究、国情研究专家；曹红星，上海市高级人民法院信息管理处处长、上海市高级人民法院发展研究中心副主任；刘言浩，上海市第一中级人民法院研究室主任；张能，上海市第一中级人民法院审判管理办公室副主任；金辉，上海市第一中级人民法院办公室副主任；陆文奕，上海市第一中级人民法院研究室副科长；宋轶群，上海市第一中级人民法院审判管理办公室副科长；朱奇，上海市第一中级人民法院办公室信息管理中心副科长；丁莎莎，上海市第一中级人民法院研究室法官助理；郭磊，上海市第一中级人民法院研究室法官助理；王贺，上海市第一中级人民法院审判管理办公室法官助理。
·END·
《中国应用法学》欢迎关注