刘亚威 ¦ 美国制造创新机构运行效果的评价
美国国家制造创新网络（NNMI）已经包含9家制造创新机构，自NNMI计划启动伊始，国家先进制造项目办公室（AMNPO）就在研究评价机构运行效果的标准。2013年AMNPO发布了评价标准草案，2015年结合各方修改意见出台了更宏观、更通用的标准指导手册，并将关键内容纳入了2016年的《国家制造创新网络计划战略规划》，指导各制造创新机构在统一的原则和框架下根据各自特点制定评价自身运行效果的标准。
一、评价目的
评价标准的制定要围绕三大目的：1，衡量对机构原始利益方和潜在成员的增值作用与效用；2，评估机构对出资联邦部门的使命和目标的支撑程度；3，参照“复兴美国制造与创新”（RAMI）法案以及白宫发布的先进制造政策报告要求，评价对满足国家目标的贡献。
二、评价标准
根据NNMI计划的主旨，制造创新机构的目标应该是提升竞争力、转化先进技术、发展劳动力、实现可持续的商业模式。因此，机构运行效果的评价标准分为四大类——对美国创新生态系统的影响、技术增进（开发、转移、商业化等）、先进制造劳动力发展、财务可持续性。
AMNPO为每个分类提供了2个顶层的详细标准，来源于标准草案中“影响、工业价值、教育和劳动力发展、项目组合、财务、网络贡献”这6个原分类下的详细标准，是最基本的核心评价内容。
表1 标准分类与顶层详细标准
标准分类 | 详细标准 | 涉及的RAMI法案中规定的活动 |
对美国创新生态系统的影响 | 1，与机构签署成员协议的合作组织数量 2，成员的多样性 | 在大型制造企业之外，服务于并争取中小制造企业的参与，包括女性和少数族裔拥有的制造企业。 |
技术增进（开发、转移、商业化等） | 1，研发和验证项目的数量和价值 2，满足关键技术目标的项目比例 | 包括概念论证开发与原型制造在内的研究、开发和验证项目，目的是解决上市竞争前的工业问题，在现有技术、工艺、产品和材料研发中应用新技术和新改进，减少其商业化的成本、时间和风险，使经济和国家安全受益。面向供应链集成和向供应链引入新技术，开发创新方法和实践。 |
先进制造劳动力发展 | 1，STEM活动 2，教员/教练的参与 | 开发并执行教育、培训和劳动力招募课程、教材与项目。（STEM指科学、技术、工程和数学） |
财务可持续性 | 1，非合作协议（CA）方面的财务收入 2，现金流比例（非CA收入比非项目支出） | 实现一个稳定和可持续的商业模式，无需长期的联邦资金，包括变得可自维持、可在机构启动5-7年后完全独立于NNMI联邦资金运营的计划。（非CA收入一般指联邦资金之外的收入，包括会费等） |
除了定量衡量，以“有价值事实”或“成功案例”的形式定性评价也对说明机构的运行效果与成就很有用，可包括：1，在美国基础创新（制造成熟等级MRL 4-7级）的规模化上促进非联邦投资；2，区域生态系统的发展；3，供应链的参与；4，美国劳动力发展的增强。
三、评价方法
评价工作可以采用多种公认的方法和手段，包括：管理数据分析、机构申请者的原始调查数据采集、链接并匹配到外部数据源、详细的案例研究、全面深入的成本效益分析等。AMNPO推荐了一些：
表2 各种评价手段概览
手段 | 简述 | 使用样例 |
基础理论的分析/概念建模 | 为增强对一个计划、项目或现象的理解，研究基本概念并开发模型。 | 对可能发生溢出效应的路径进行概念描述。 |
调查 | 对各方使用统一问题以便统计分析，包括活动、计划、关系、成绩、价值等。 | 找出有多少家企业将新开发的技术许可给了别人。 |
案例研究-说明 | 深入研究一个计划或项目、技术或设施，描述和解释权益（股权）的成长如何且为何会发生。 | 详述某家合资企业是如何形成的，参与人如何分担研究任务，为何合作能够成功或不成功。 |
案例研究-经济估计 | 为说明性的案例研究增加经济影响的量化内容，如通过效益成本分析。 | 估计一个项目的效益是否超越了成本，超越了多少。 |
计量经济学和统计分析 | 使用统计、数学经济学和计量经济学，分析经济和社会现象间的函数关系，预言经济效应。 | 确定国有资金如何影响私有的研究资金。 |
社会计量和社会网络分析 | 通过直接观察、调研和辅助数据库的统计分析，确认并研究关系结构，增进对社会组织行为和相关经济结果的理解。 | 学习项目应如何安排，以增进成果知识的扩散。 |
文献计量－数目 | 跟踪研究产出的数量。 | 得出一个项目每花一美元研究而生成的出版物。 |
文献计量－引用 | 评价他人引用出版物或专利的频率，记录是谁在引用。 | 学习一个项目的出版物和专利的扩散程度与样式。 |
文献计量－内容分析 | 使用诸如联合文字分析、数据库断层分析和文本数据挖掘这样的技术，辅以可视化技术，从文本中提取内容信息。 | 确认一个项目的贡献以及贡献的时段，以评价一项技术。 |
历史跟踪 | 从研究向后跟踪到未来的结果，或从结果向前追溯到初期起作用的发展。 | 确认一个国有研究项目与后续显著效益之间的清晰联系。 |
专家判断 | 使用有根据的判断来进行评价。 | 假设一项新技术最有可能的首次使用情况。 |
对于机构来说，评价依赖面对的技术挑战、服务的行业以及机构在自身运行寿命周期中的成熟度。随着时间的推进，评价标准和方法会有所变化，在不同的时段可能需要不同的手段来执行评价。根据机构的不同发展阶段，实施运行效果评价时一般分为短、中、长三个时段：
短期——联邦资金拨付前直到机构开始有研发成果。衡量准则可包括成员数量统计、合作的措施、研究与开发活动以及成果产出，如出版物、专利、原型软硬件和工艺开发成果。
中期——联邦资金完成拨付直到后联邦资金时期的开始。衡量准则可包括新产品、专利许可活动、额外资金、战略联盟发展以及企业成长。
长期——联邦资金完成拨付至少3年后。衡量准则可包括投资回报、行业间扩散，以及对更广泛制造行业的影响。
不同时段的不同评价手段示意
这里不是强调不同时段之间的精确过渡，而是突出特定标准在各个机构灵活使用的重要性，以及机构承担收集和维护数据责任的重要性，特别是合作组织的数据、项目/活动的数据和关键人员的数据。不同联邦部门牵头的机构可能会采用不同的手段，但在任何手段对一家机构适用可执行评价时，评价将与这些管理数据的质量紧密关联。
四、评价计划
如前所述，一个机构评价计划最初和最高优先级的事项是建立一个数据基础条件，尽可能采集最高质量的数据。这些需要高质量和最新的管理数据包括合作组织、机构项目/活动以及关键人员这三方面。
这些基础数据应可回答一个机构活动的基本问题：谁、何时、何地、做什么、有多少。必要的基础数据要求将广泛支持各机构的潜在评价标准，以获得最大的灵活性并且支持未来的评价。机构需要计划并建立一个良好的数据基础条件以进行有效和高效的数据收集、存储和维护。
任何机构的评价计划应该紧密围绕以下原则制定：
1，建立或利用现有数据基础条件，以便针对NNMI计划/制造创新机构的使命和目的的满足程度，管理判定它所需的信息；
2，面向能够最好地提供严密和可重复分析的领域，专注其数据收集；
3，利用对已有制造创新机构以及对其它类似计划和相关跨部门组织（如“科学政策之科学”跨部门工作组）所做评估工作的经验教训；
4，提供一个来自对NNMI计划运行效果的分析结果的可信的衡量准则，涉及范围足够支持面向机构未来的设计和活动的过程改进分析；
5，利用伙伴关系提升数据质量，比如将NNMI计划的数据链接到相应的外部数据源，面向机构评价建立一个“实践社区”。
刘亚威先生此前已为《空天防务观察》提供32篇专栏文章，如下表所示：
序号 | 篇名 | 发表日期 （2015-2016） |
1 | 2015年2月16日 | |
2 | 2月23日 | |
3 | 2月25日 | |
4 | 2月27日 | |
5 | 3月11日 | |
6 | 4月8日 | |
7 | 4月22日 | |
8 | 5月27日 | |
9 | 6月1日 | |
10 | 8月17日 | |
11 | 8月24日 | |
12 | 9月28日 | |
13 | 10月9日 | |
14 | 10月14日 | |
15 | 11月23日 | |
16 | 12月18日、21日和23日 | |
17 | 2016年1月8日、15日 | |
18 | 2月15日 | |
19 | 2月22日 | |
20 | 3月4日 | |
21 | 4月1日 | |
22 | 4月6日 | |
23 | 4月8日 | |
24 | 5月11日 | |
25 | 5月17日 | |
26 | 5月23日 | |
27 | 5月30日 | |
28 | 6月6日 | |
29 | 6月29日 | |
30 | 7月5日、7月7日 | |
31 | 7月11日、7月13日 | |
32 | 9月8日 |
以上文章引起了广泛关注和较大反响，有兴趣的读者可点击上表中“篇名”列的原文链接阅读。
（中航工业发展研究中心 刘亚威）
关注本公众号有以下三种方式：
1、点击本文顶部蓝色“空天防务观察”字样，点击“关注”；
2、在微信的“通讯录”-“公众号”中，点击右上角的“＋”号，输入“AerospaceWatch”查到到本公众号之后点击，再点击“关注”；
3、长按下面的图片，选择“识别图中二维码”，关注本号：
感谢您的关注！