查看原文
其他

易评估:浅谈如何推动评估落地生根与开花结果

远望智库 易评估 战略前沿技术 2022-04-11


远望智库:与智者同行,为创新加速

专家库 | 人才库 | 企业库 | 项目库 | 投资机构库 | 招商信息库 | 前沿特攻队招募


浅谈如何推动评估落地生根与开花结果

远望智库净评估中心主任、首席专家 易评估

评估如何落地生根与开花结果问题,讲的是评估从理论到实践、从思想到行动怎么办的问题。随着各类评估的概念、原理和方法日益为人们所接受,评估究竟如何在具体领域及层次上落地生根的问题,也愈益受到关注。尤其最近两年的一些评估理论研习活动中,总有一些参与者问及评估应从哪里做起、如何着手的问题,希望就此展开一些讨论。可以说,找不到突破口与着力点,是目前评估领域面临的一个比较普遍和十分突出的问题。根据一些领导和朋友的要求,仅将近日座谈中个人一些粗浅的说法整理如下,不当之处请批评指正。

评估好比诊断,中医的“望、闻、问、切”家喻户晓、妇孺皆知,人们对于这种诊断早已司空见惯,甚至能够手到擒来。然而,一旦赋予“评估”之名,许多朋友就有些茫然不知所措了。其实,评估并不神秘,按照《评估百科全书》的解释,评估是古老的方法,它始终是人们实际生活中使用的最通用的讲理的形式。人们都是讲理的,肯定运用过这种形式。

评估在不同领域及层次上面临的情况有所不同,不能一概而论。在一篇小小的文稿里,也不可能把各种情形都说到。即使有限的几个,说清楚也有很大的难度。特别是个人评估的理论与实践都非常有限、知识结构单一及经验教训不足,虽然私下不时地恶补,奈何欠帐确实太多,在许多问题上还止步于想当然的阶段,仅能概略瞄准或“大概齐”,或许根本说不到点子上。

想起前些年比较流行的“六何”和“七何”分析法,似有所悟。所谓“六何”,印象比较深的就是紧紧围绕何人、何事、何时、何地、如何、为何这六个方面,来展开和回答战略战役想定作业问题。而“七何”就是“5W2H”,就是以五个以W开头的英语单词和两个以H开头的英语单词进行设问,发现解决问题的线索,进而寻找创新发明新思路的方法。“5W”即:Who(何人)、What(何事)、When(何时)、Where(何地)、Why(为何)。“2H”即:How to do(如何)、How much(多少)。其实,评估何尝不是这样,评估是面向问题的研究分析,也应当准备和回答一些基本的问题。我注意到,台湾地区学者廖宏祥先生,在台湾综合研究院“净评估与国家安全”研讨会上的一篇论文《净评估的方法与应用》中,就一连提出了50个类似问题。

反过来说,如果有谁连一些最起码的基础问题也说不清楚,那么他就搞不了评估,他的评估也就不可能落地生根,勉强搞下去的评估肯定是胡扯。

    进入新的时代,评估无时不有、无处不在。通常情况下,从评估实施者、评估组织和领导者、评估委托者和其他相关者的角度看,推动或促进评估落地生根,大致需要回答和解决以下问题,或以这些问题为抓手准备和展开工作。

    一、为谁评?或者说评估的委托人是谁?  

俗话说的好,“做事不由东,累死也无功”。评估委托人是谁?评估成果报送给谁?这是个十分重要的问题。评估之前需要搞清楚是谁授权与要求去评估的?不是谁让评估就可以去评估的,也不是谁让你评估某个对象他就接受或任由你去评估的。这里还涉及到评估的合法性问题。

不同的委托人基于不同的目的,其关注点往往有所不同,不同领域和层次的委托人往往有其相应的“个性化”要求。打个比方,一些领导和朋友经常好问:你有评估指标吗?就军民融合而言,你的评估指标是什么?其实,我就特别不愿回答这样上“不沾天下不占地”“十三不靠”的问题。因为你不知道为谁去评,站在什么层次评估,你不可能说无论为谁评都有指标或都没有指标。稍有常识的人都知道,党中央和国务院,军委、战区与军兵种,省、市、自治区,经济特区、开发区,特定企业……层次不同、领域不同,关注点与中心议题当然有所不同,怎么可能用一样的指标去度量呢?

实际工作中,还真的有一些评估机构或专家,把一些非常复杂的问题过于简单化,确实拿出自己的一些指标来,甚至有的还做了评估案例、搞出“榜单”来。我们当然不能一概而论,简单地说它对或是不对,毕竟也是“一家之言”嘛!但是,谁让你去评的?你是为谁去评的?无论如何都是必须面对和清楚的问题。否则,你那个评估就只能是自娱自乐,见不得外人的。

    二、为何评?或者说为什么一定要评估呢? 

在前面讲到的“六何”和“七何”中,都有提到目的为何,说明这是个重要问题。为什么一定要评估?评估的目的究竟是什么?不搞这个评估到底行不行?评估是针对内外环境变化还是分析工作进展、是支持工作决策还是支持战略决策?类似问题在评估之前需要搞清楚,甚至在评估过程中也不能忘却。

评估不是盲目的,不能为评估而评估,评估必须有明确的评估目的。而评估目的的不同,可能导致评估的主题、项目、内容、指标及权重和相关评估行为等众多方面的不同。

我注意到,美国国防部指令《净评估办公室主任》在赋予净评估术语定义时,就特别补充道“目的是辨识与确认需要高层防务官员注意的问题和机遇。”这与一般“属性+种差”的定义法显然不同,或者说它在这里把“目的”作为“种差”的重要部分了。

    三、谁去评?或者执行者是谁?

同样的评估任务,不同的评估者去执行,评估的方式方法、过程及结果可能会有所不同。不仅如此,评估者的身份、评估者与委托者及被评估者的关系等也很重要。究竟是以上评下还是以下评上,到底是自我评估还是第三方评估,抑或是多种主体混合评估,对于评估的方式方法、进程及结果关系重大。

当然,评估执行者团队结构与人员素质怎样,更是直接关系到评估的方式方法、进程及结果。尤其要考虑到评估者的资质问题,避免“病急乱投医”。到底是专业团队还是业余团队,理论素养和实践经验如何?是否培训?信誉怎样?有无不良记录?有无需要回避的事项?等等,需要事先厘清,不能干起来再说或者干了再说。否则,就容易造成“夹生饭”,甚至“砸锅”。

四、评估谁?或者说评估对象是谁?

实际工作中,“评估谁”也是个重要问题。尤其是临时组成的非专业团队中一些新手,往往分不清评估主体与评估客体,以为人都是主体,物才是客体,更不能很好地把握被评估对象及其内部关系构成。

被评估对象是谁?是全体评估还是抽取部分样本?需要抽取什么样本?他(它)们是谁?抽取多少合理?“大—小—大”是怎样的关系,事先应有就规划计划好。

人们常说的“一把钥匙开一把锁”,在这里也是适用的。不同的评估对象各有其特点,如果硬是要用一种模式来评估,很可能类似于“把一个圆形的钉子打进一个方孔”或“把一个方形的钉子打进一个圆孔”之中。也就是说,在评估之前,要针对被评估对象的特点预先做好准备,在作出评估结论时,也要充分考虑到被评估对象的一些特殊性。

五、评什么?或者说针对什么开展评估?

这个问题可能是上一个问题的延伸,也可能是独立的问题。评估的主题或中心议题是什么?到底是评估某个(某些)领域、单位还是工程项目?是评估内外环境、工作效率还是功能作用(效能)、成本代价、风险?抑或兼而有之?针对其什么时间点或时间段的状态或趋势来进行评估?类似这些问题事先要有清醒的认识或清晰化的表达,不能“走着瞧”走到哪算哪、搞出个啥算个啥。

究竟要通过哪些项目及重点内容来反映评估主题或中心议题,必须廓清领域范畴,必须聚焦重点问题,必须有明确的针对性。很难想像漫无目的、逮着啥评啥,能有好的结果。

事先划定边界很重要。对于一些重要事项要明确哪些必须评估,有时还须强调哪些不能触碰和评估。这是因为,一方面,评估资源有限,不能无原则无限制地扩大范围。另一方面,评估是一种权利,而权利都是有边界的,评估不能逾越事先确定的边界,否则就违规了,次生一些麻烦,导致终止评估活动、调整执行者,甚至引起一些不良后果,事与愿违。当然,评估规划计划也不是一成不变的,评估过程中遇到意料之外的事情,也可根据授权或要求有些扩展和收缩。

六、依何评?就是依据什么来进行评估?  

依据什么、遵循什么来进行评估,它直接关系到评估的可行性、可靠性与信任度等问题。如果这个遵循和依据的可靠性存疑或公信度不怎么样,尤其是事先不能取得评估委托者、被评者及相关方面是认可与信任,那么无论你的评估行动为多么认真扎实,其结果都将被认为是“不靠谱儿”的。

前面提到评估始终是人们实际生活中使用的最通用的讲理的形式,如果事先没有在遵循和依据上取得某种程度的一致,那就是不讲理了,结果只能让人口服而心不服,或者心口都不服。

评估的逻辑框架及指标体系是否科学合理、相对公正、比较透明特别重要。美国兰德公司一些评估报告之所以影响比较大,除了“话语权”原因外,其逻辑框架的科学合理、相对公正、比较透明也是一个重要原因,甚至是主要原因。最近,有大学排行榜饱受争议,我以为主要是评估的逻辑框架及指标体系没有得到更大范围的认可。试想,如果人们认为你的尺子不标准、度量方式方法失当,你拿着它去行事的话,怎么可能得到令人信服的结果呢?

七、何时评?就是什么时间实施评估? 

什么时间实施评估,也是非常重要问题。谁都知道,世界是运动的,评估的主体和客体相关方面的情况也是不断变化的。不同时间进行的评估,其执行的过程和结果也是有所差别的。

评估必须有比较明确的时间限定,不能象应酬语中常讲的“过年来玩儿哈”这样的活络话儿。如果时间的不确定性太大,就不好执行、不好落地。因为如此,在执行中就可能会导致工作安排过于随便,临时动意、仓促上阵。或一拖再拖,甚至由于时过境迁、需求变化,活动任务最终被“拖黄了”。

我注意到,从1997年开始到2014年终止的的美国历次“四年防务评估”,就明确要求总统上任后多少天内必须完成。不仅如此,《美国法典》还明文规定国防部长、参联会主席、战略司令部司令年度净评估的时限和内容要求。

八、何地评?以及在何种条件下评?

评估也是要讲依托条件的,不是在任何地方、任何条件下都能进行的。特定的评估需要在特定场合及相应条件下进行。在何地评估以及在何种条件下评估,这也是评估委托者、执行者或其他相关方比较关注的问题。事先必须说清楚,以便计划和准备,保障评估活动的顺利进行。

事实上,线上评与线下评,现场评与场外评,或者多种场合综合运用,对于评估的组织领导、实施过程和结果都会产生不同的影响。比如,一些演习活动就是线上评与线下评相结合、现场评与场外评相结合的。

抗日战争时期,毛主席是在延安窑洞里写下《中国革命战争的战略问题》和《论持久战》的,相对而言,前者主要是第二次国内革命战争的事后评估,后者主要是对抗日战争的事前评估。二者当时都是在我党、我军最高决策机关所在地——延安进行的。毛主席作为我党我军最高领导人,也是亲历者、评估者,掌握了所有渠道来源的情报信息,现场评和场外评都是存在的。

美国国家层级的净评估从一开始都是在五角大楼内进行的,并由美国总统通过国家安全委员会主导(最终交由国防部主导),主要原因是相关评估资源大都集中在五角大楼,评估的相关输入和输出在控管上都比较方便和有利。

我也注意到,在地面进行一些太空活动的评估,往往要建立相应的模拟环境和条件来进行。虽然这些模拟的环境和条件不是真实的,但它接近真实,没有这样的环境和条件评估就难以进行。

九、如何评?主要是采取怎样的评估程序与方法?

方法是解决问题桥和船。毫无疑问,评估的方法论(理论原理)和具体程序与方法对于评估过程及结果至关重要。无论是评估委托者或是评估执行者,抑或其它相关方,对此都是非常关注的。评估正式开始前,应当划分时间阶段、界定问题领域、确认重要环节,并预备各种解决方案,选择相应的程序与方法。

事实上,一些评估活动进展不顺甚至中途难产,主要是由于事先对方法论及具体程序与方法等重视还不够,相关工作过于粗糙,或者根本没有预先设计与计划安排。

我注意到,早在1947年7月美国国会通过的《国家安全法案》,就于要求制定明确的《国家安全战略》的同时,要求建立相应的“竞争性评估程序”,后来聚焦到净评估上,其相关程序与方法众多,针对不同议题的具体程序与方法更是各有不同,比较到位。及至1974年,美国国防部还比较规范和十分明确地提出了技术净评估的方法论——技术下标法和技术下法,前者细分为十四个步骤,而后者也有十三个步骤,相关工作非常细腻。

十、以啥评?或者借助什么手段来评?

据传曾在民间企业服务的美国国防部长伦斯斐说过:有见识的执行长在接管一家有问题的公司时,应像作战一样,先掂掂自己的斤两。同样,搞评估也要掂掂自己的斤两:拥有什么资源?准备拿什么来评?事实上,任何一家评估机构或个人,无论多么强大,也不是所有项目都能评得了的。

在这里,所谓“一把钥匙开一把锁”,就是不同层次和领域面向不同的问题,需要借助不同的手段支撑。不同的评估委托者与执行者能够调动和运用的资源毕竟是有限的,相关资源总体上要满足评估的需要,具体匹配上也要恰当。

凡事预则立不预则废,开始评估前,委托方与评估方都应衡量一下,是否具备评估所需要的手段资源,如果不具备或不完全具备,可有解决的可靠途径?绝不能指望“车到山前必有路”。

十一、评出啥?评估的成果形式为何、以及怎么应用?

评估要有用有效,必须事先考虑清楚通过评估过程输出什么产品?也就是说,必须弄清评估的成果形式是怎样的?这是评估人员聚焦发力的目标,也是确保评估任务得以高效完成的重要前提。

不仅如此,在事先的评估设计与实际评估过程中,还要充分考虑评估的各种用途——主要用途、可能用途,主要给谁用、可能给谁用,进而努力保证评估成果管用、好用。虽然理论上讲,这些不是评估本身应该担当的责任,但在实际工作上,若不如此,评估就不能算作成功,就会被否定而弃之不用,评估就失去了价值意义。

十二、咋保评?就是如何保障评估的顺利进行?

在评估机制尚不健全完善、评估体系不够科学有效的情况下,保障评估的顺利进行难度很大。实际工作中,一些评估不能善始善终,除了事先计划和准备不周或者情况突变之外,评估机制与体系或其要件缺失是个重要原因。

在评估开始前,既要充分考虑可以获得的或可能获得的、促进评估目标实现的因素是什么?也要充分考虑阻止或者有可能阻止评估目标实现的因素是什么?不仅如此,还要制定相应的必要的制度措施,搞好人力、物力、财力、数据、模型、时间、场地和保密等保障。

在这里,《评估协议》的拟定和执行特别重要,一些机构在评估展开前好说好商量,在评估实施过程中就推三阻四,没那么痛快了。特别是事先答应的条件不能及时提供,不配合调研、不提供文献资料,“有病避医”不反映真实情况事时有发生。

十三、咋验评?或者如何回溯和验证评估的恰当性?

评估好比聪明的警官,单有警官还不行,还得有管警官的警官。同样,有评估,还得有对于评估的评估。就是说,评估不能搞“暗箱操作”,在运作上应该是可以回溯和经得验证的。

在事先的设计上就应该蕴藏或孕育评估的可回溯和可验证的这种特性,预定好相应的路径和指标,而不是事后再再去想方设法,另搞一套。

十四、咋续评?就是如何保证评估的可持续发展?

评估可以是“一锤子买卖”,但不总是。尤其一些常态化、例行性的评估而言,往往要求迭代发展、持续评估。对此,不能每次都从零开始。换句话讲,每次评估任务的完成应为后续开展的此类评估奠定某些基础和条件。

美国的一些评估做起来似乎容易一些,方方面面的原因众多,但是评估积累和沉淀比较厚实应该是其重要原因之一。我注意到,美、台一些评估报告就明确讲到后续评估问题。例如,在美台2003年净评估研讨会提出的“八个步骤”中,最后一步就是“后续执行机制问题”。

虽然推动和促进评估落地生根与开花结果面临的问题和需要做的工作还有很多,绝不仅仅是上述这些,但是,回答和解决了上述这些问题,并做好了相关的工作,评估的落地生根与开花结果问题基本上就不成什么问题了。

 

易评估相关文章

一网打尽系列文章,请公号内回复以下关键词查看:
创新发展习近平 | 创新中国 | 创新创业 | 科技体制改革 | 科技创新政策 | 协同创新 | 科研管理 | 成果转化 | 新科技革命 | 基础研究 | 产学研 | 供给侧
热点专题军民融合 | 民参军 | 工业4.0 | 商业航天 | 智库 | 国家重点研发计划 | 基金 | 装备采办 | 博士 | 摩尔定律 | 诺贝尔奖 | 国家实验室 | 国防工业 | 十三五 创新教育 军工百强 试验鉴定 | 影响因子 | 双一流 | 净评估 | 大学排名
预见未来预见2016 |预见2020  | 预见2025预见2030  | 预见2035 预见2045  | 预见2050
前沿科技颠覆性技术 | 生物 仿生 | 脑科学 | 精准医学 | 基因 |  基因编辑 虚拟现实 | 增强现实 | 纳米 | 人工智能 | 机器人 | 3D打印 | 4D打印 太赫兹 | 云计算 | 物联网 互联网+ 大数据 | 石墨烯 | 能源 | 电池 | 量子 | 超材料 | 超级计算机 | 卫星 | 北斗 | 智能制造 不依赖GPS导航 | 通信 5G | MIT技术评论 | 航空发动机 | 可穿戴 氮化镓 | 隐身 | 半导体 | 脑机接口 | 传感器
先进武器中国武器 | 无人机 | 轰炸机 预警机 | 运输机 | 直升机 战斗机 | 六代机 网络武器 | 激光武器 | 电磁炮 | 高超声速武器 反无人机 | 防空反导 潜航器
未来战争未来战争 | 抵消战略 | 水下战 | 网络空间战 | 分布式杀伤 | 无人机蜂群 | 太空战 反卫星
领先国家美国 | 俄罗斯 | 英国 | 德国 | 法国 | 日本 以色列 | 印度
前沿机构战略能力办公室 | DARPA 快响小组 | Gartner | 硅谷 | 谷歌 | 华为 阿里 | 俄先期研究基金会 | 军工百强
前沿人物钱学森 | 马斯克 | 凯文凯利 | 任正非 | 马云 | 奥巴马 | 特朗普
专家专栏黄志澄 | 许得君 | 施一公 | 王喜文 | 贺飞 | 李萍 | 刘锋 | 王煜全 易本胜 李德毅 | 游光荣 | 刘亚威 | 赵文银 | 廖孟豪 | 谭铁牛 | 于川信 | 邬贺铨
全文收录2018文章全收录 | 2017文章全收录 | 2016文章全收录 | 2015文章全收录 | 2014文章全收录
其他主题系列陆续整理中,敬请期待…… 


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存