自由微信 | FreeWeChat

美国制造创新机构运行效果的评价

2016-10-27 信息与电子前沿

本文转载自微信公众号：NNMI尼米

美国国家制造创新网络（NNMI）已经包含9家制造创新机构，自NNMI计划启动伊始，国家先进制造项目办公室（AMNPO）就在研究评价机构运行效果的标准。2013年AMNPO发布了评价标准草案，2015年结合各方修改意见出台了更宏观、更通用的标准指导手册，并将关键内容纳入了2016年的《国家制造创新网络计划战略规划》，指导各制造创新机构在统一的原则和框架下根据各自特点制定评价自身运行效果的标准。

一评价目的

评价标准的制定要围绕三大目的：1、衡量对机构原始利益方和潜在成员的增值作用与效用；
2、评估机构对出资联邦部门的使命和目标的支撑程度；
3、参照“复兴美国制造与创新”（RAMI）法案以及白宫发布的先进制造政策报告要求，评价对满足国家目标的贡献。

二评价标准

根据NNMI计划的主旨，制造创新机构的目标应该是提升竞争力、转化先进技术、发展劳动力、实现可持续的商业模式。因此，机构运行效果的评价标准分为四大类——对美国创新生态系统的影响、技术增进（开发、转移、商业化等）、先进制造劳动力发展、财务可持续性。

AMNPO为每个分类提供了2个顶层的详细标准，来源于标准草案中“影响、工业价值、教育和劳动力发展、项目组合、财务、网络贡献”这6个原分类下的详细标准，是最基本的核心评价内容。
表1 标准分类与顶层详细标准

除了定量衡量，以“有价值事实”或“成功案例”的形式定性评价也对说明机构的运行效果与成就很有用，可包括：
1、在美国基础创新（制造成熟等级MRL 4-7级）的规模化上促进非联邦投资；2、区域生态系统的发展；
3、供应链的参与；
4、美国劳动力发展的增强。

三评价方法

评价工作可以采用多种公认的方法和手段，包括：管理数据分析、机构申请者的原始调查数据采集、链接并匹配到外部数据源、详细的案例研究、全面深入的成本效益分析等。AMNPO推荐了一些：

表2 各种评价手段概览

对于机构来说，评价依赖面对的技术挑战、服务的行业以及机构在自身运行寿命周期中的成熟度。随着时间的推进，评价标准和方法会有所变化，在不同的时段可能需要不同的手段来执行评价。根据机构的不同发展阶段，实施运行效果评价时一般分为短、中、长三个时段：
短期——联邦资金拨付前直到机构开始有研发成果。衡量准则可包括成员数量统计、合作的措施、研究与开发活动以及成果产出，如出版物、专利、原型软硬件和工艺开发成果。
中期——联邦资金完成拨付直到后联邦资金时期的开始。衡量准则可包括新产品、专利许可活动、额外资金、战略联盟发展以及企业成长。
长期——联邦资金完成拨付至少3年后。衡量准则可包括投资回报、行业间扩散，以及对更广泛制造行业的影响。

图1 不同时段的不同评价手段示意

这里不是强调不同时段之间的精确过渡，而是突出特定标准在各个机构灵活使用的重要性，以及机构承担收集和维护数据责任的重要性，特别是合作组织的数据、项目/活动的数据和关键人员的数据。不同联邦部门牵头的机构可能会采用不同的手段，但在任何手段对一家机构适用可执行评价时，评价将与这些管理数据的质量紧密关联。

四评价计划

如前所述，一个机构评价计划最初和最高优先级的事项是建立一个数据基础条件，尽可能采集最高质量的数据。这些需要高质量和最新的管理数据包括合作组织、机构项目/活动以及关键人员这三方面。

这些基础数据应可回答一个机构活动的基本问题：谁、何时、何地、做什么、有多少。必要的基础数据要求将广泛支持各机构的潜在评价标准，以获得最大的灵活性并且支持未来的评价。机构需要计划并建立一个良好的数据基础条件以进行有效和高效的数据收集、存储和维护。
任何机构的评价计划应该紧密围绕以下原则制定：
1、建立或利用现有数据基础条件，以便针对NNMI计划/制造创新机构的使命和目的的满足程度，管理判定它所需的信息；
2、面向能够最好地提供严密和可重复分析的领域，专注其数据收集；
3、利用对已有制造创新机构以及对其它类似计划和相关跨部门组织（如“科学政策之科学”跨部门工作组）所做评估工作的经验教训；
4、提供一个来自对NNMI计划运行效果的分析结果的可信的衡量准则，涉及范围足够支持面向机构未来的设计和活动的过程改进分析；
5、利用伙伴关系提升数据质量，比如将NNMI计划的数据链接到相应的外部数据源，面向机构评价建立一个“实践社区”。