【热点话题】中美科技评价指标的区别
一大早看到武夷山博主的一篇博文 - 就《国家创新指数报告2014》答王大元博主（见附文），陈安博主留言三条，对搞这一类指标给予尖锐批评，武老师给予了回复，具体内容和其他评论，见“”（见附文），以及陈安的另一篇博文– （见附文）。
武夷山老师认为指标研究并非中国特色，全世界很多人都在做，譬如美国的科技统计指标就很多。那么顺着武老师的思路，我在这里讨论两个问题。第一个问题是，美国各种科技评价指标的确很多，事实上大部分指标都是美国教授们研究出来的，但这些大大小小、新的旧的指标在实际工作评价中从不被重用，这是为什么呢？其中的道理很简单，西方的科技评价从来都是由学术界同行来做的，也就是说是教授评价教授，而不是行政人员或领导来评价教授！指标体系设计得再好，教授不重视，没有用！而教授之所以不会重视各种指标，是因为他们再怎么愚蠢也不会看几个数字（而不用脑子）就对一个同行的工作做出评价！但是领导要搞指标，教授不认，会出现什么结果呢？那就是领导卷铺盖走人！你见过万恶的资本主义社会哪个当领导的用一套指标把教授折腾得鸡犬不宁的？你看到过他们政府机构出的指标被用来决定某一个或一批教授的上岗或下岗？或者研究机构的上马或下马？
从更高的一个层面看，在西方，国家科技和教育的评价和监督主体是社会而不是政府。老百姓不懂指标，你一个公立大学说自己的各种指标很漂亮，国际排名一流，但本州的寒门子弟上不了学，优秀学生都跑到外州或外国的大学去读书，那么身为纳税人的本州老百姓不会放过你，学校面临的结果是领导会被要求下岗，州里会大幅削减学校的经费，甚至关停一些部门，直到有迹象表明你开始走上正轨，开始为百姓子弟提供高质量的教育和职业培训。
而不拿地方政府拨款的私立大学更是如此，因为他们的生存基本上就是靠学费和民间捐赠，靠的是社会支持。你只有教育做得好，才会有人掏学费来读书，毕业生中的成功人士才会掏钱捐赠给母校；你只有科技做得好，你发明了新的医疗技术为病人解除疾苦，就可能会有来自于病人和社会的捐赠。学校是社会的，社会不看指标，看实效！
那么，第二个问题就是，为什么我们国家那么重视各种评价指标呢？答案已经在第一个问题里。我同意武老师的说法，指标本身没有那么可怕，但这里想补充说明的一点是，由于我们是政府部门自上而下地在搞评估和监督，所以政府部门的指标体系对行业发展的指导作用是相当大的！陈安的“万恶之源”的说法并不是一种危言耸听，这方面的危害极其深远！而我们各个单位的行政部门完全用各种指标来指导科技和教育评估，恰恰反映了我们整个系统缺乏科学精神、缺少工作积淀、没有自信、没有自我的一种文化实质！
(来源：科学网，作者：贾伟)
------------------------------------------------------
就《国家创新指数报告2014》答王大元博主
武夷山
刚才看到王大元博主的文章“向武夷山先生请教：本人对《国家创新指数报告2014》的评论”（http://blog.sciencenet.cn/blog-642008-904560.html），现简要回答王先生几个问题。
问：你们中国科学技术发展战略研究院发布《国家创新指数报告2014》中的创新指数的英文是否是“Innovation Index”。
答:是。
问：如果是， 武夷山先生是否能简要的解释一下你们中国科学技术发展战略研究院的这个报告中关于“Innovation Index”的定义是什么， 怎样计算出来的？
答：用五个一级指标、30个二级指标（其中20个定量指标，10个定性指标）来测度。对于任何指标，以最大的指标值为100分，其余数值折算成相应得分。一级指标、二级指标之间都是等权的。
问：在你的博文中说“《报告》同时发布了“国家创新指数”，世界40个主要国家中，中国国家创新指数得分为68.4，位列第19位”，为何康奈尔大学2014年的“全球创新指数”中说中国的创新指数得分只有46.57， 世界排名29位（见截图）？难道 中国科学技术发展战略研究院的统计方法与国外不同或者不接轨？
答：不存在接轨问题，因为学者们在用什么方式来测度国家创新能力问题上并没有共识。康奈尔大学的全球创新指数基于81个指标，归属于以下7个大类：
1. 制度：政治环境、规制环境与商业环境；
2. 人力资本与科研：教育、高等教育与研发；
3. 基础设施：信息与通信技术，一般基础设施，生态可持续性；
4. 市场成熟度：信用、投资、贸易与竞争；
5. 企业成熟度：知识工作者，创新联系，知识吸收；
6. 知识与技术产出：知识创造、知识影响力与知识扩散；
7. 创意产出：无形资产，创意产品与服务，线上创造力。
可见，他们的一级指标有7个，二级指标有81个，都比我们的指标数目多。但您若仔细考察各自的细分指标，肯定会看到很多共同的东西，如论文、专利、高技术产品出口之类。如果我没有记错，他们总共考察了129个国家，将中国排在第29位，即处于前25%的区段（比75%的国家强）；我们总共考察40个国家，中国排在19位，只处于前50%区段（只比半数的国家强）。看表面，19位比29位靠前，其实，他们的指数将中国评价得更棒。
问：这个国家创新指数有多大的指导意义？ 因为在康奈尔大学的排名榜上位列第一的是瑞士， 新加坡也要排名第7， 难道美英法俄日都不如瑞士和新加坡？ 难道这个创新指数能准确的说明一个国家是否强大？
答：问得好。我们之所以不采用他们的指数，原因之一就是在其榜单上小国家的名次太突出，不符合我们通常的主观判断。要作国别比较，就得采用同一把尺子，那么就不宜采用绝对数指标，例如，SCI论文总数，发明专利总数，采用绝对数指标对小国不公平。因此，康奈尔大学的指数和我们的指数都主要采用相对指标，如每万名研发人员的论文数，按研发经费平均的引文数，等等，但是，采用相对指标对大国又不公平，新加坡的排名可能比美国还靠前，说不过去。为解决这个问题，我们的做法是只考察40个国家，其研发经费总和占全世界总量的98%，其余国家就忽略了。即使这样的话，小国还是相对“占便宜”，但我们的榜单在这方面的问题比康奈尔大学的榜单要小。
创新指数想反映国家的创新能力，不是综合实力（那还得看军事实力、经济总量什么的）。比如芬兰国家不大，综合实力是排不上号的，但其创新能力确实很强，全世界的创新研究学者对芬兰的创新能力是没有异议的。
问（博主：其实不是问题）：本人请教了一位在中国专利局工作了17年的专利审查官（我的一位同学），他说“知识产权创造指数是一个奇怪的术语，我还是第一次见到，所以无法解释”。
答：我们的“创新环境”一级指标下，有一个二级指标是知识产权保护程度，没有“知识产权创造指数”的说法，您从哪里看来的这个说法？
最后，感谢您和其他博友对《国家创新指数报告2014》的关注！
-----------------------------------------------------------------
对陈安博主评论的简要答复
武夷山
上午写了“就《国家创新指数报告2014》答王大元博主”（http://blog.sciencenet.cn/blog-1557-904588.html），陈安博主发了3条评论，简要答复如下；
[1] 2015-7-11 11:20
理解整个回答的意思就是，我们想怎么排就怎么排，别人想怎么排是他们的事儿，嘿嘿
其实，排这些队真的毫无意义，更不值得宣扬，敬爱的武老师唉
博主回复(2015-7-11 15:31)：对一件事的理解总归是不一样的。2006年颁布的国家中长期科技规划提出要在2020年建成创新型国家，一年年过去，是否在趋近这个目标？总要用某种方式来监测一下，国家创新指数报告就是监测这个建设进程的手段之一。 大家可以建议一下，有没有更好的监测方式？
2] 2015-7-11 11:22
玩指标的所谓研究毫无学术价值，除了浪费大家的智力和时间之外，只有负作用，你们如果不做这些工作，对中国的科学发展还能稍微好一些
真的没办法，我还以为武老师对这一点很清楚呢，结果看您也跟张海霞一般打了鸡血般宣传，觉得真跟疯了似的
博主回复(2015-7-11 15:42)：全世界很多人都在做指标研究，并非中国特色。美国NSF有一个部门是专职做科技统计的，每两年还要出一本《科学与工程指标》。因为在人文社科领域，不知道研究对象该怎么测度，所以就只好用指标来“代替”一下，争取逐渐取得进步。
指标没有那么可怕。比如，学生总要考试的，平时作业完成情况算多大权重，期中考试占成绩多大权重，期末考试成绩算多大权重，等等，这就是指标评价，很正常的。
只要有指标评价，就会有异化，在分析问题时要看准了。比如，每年高考都有那么多人作弊，甚至是犯罪似的作弊，这当然是严重问题，但是，解决方案难道是取消高考吗？（相当于取消指标评价）
[3] 2015-7-11 11:25
此外，我们自己的研究所也在做这类大量的所谓不是学术的研究，说实话，和您倡导的这个东西一个味道，那就毫无学术价值，同时误导科学管理者，你们如果不操心这些排名了该多好啊
博主回复(2015-7-11 15:50)：我并没有倡导什么东西，我自己的科学计量学研究并不搞排名。不过我的看法是，争取让人搞出较好的排名，而不是取消排名。人类有对排名的需求，打不掉的，没有好的排名满足人的需求，就会有差的排名充斥市场。大学排行在全世界有那么多人搞，并且各有各的市场，骂也骂不倒。此外，什么财富500家，国际生物医学界的F 1000，英国从过去的RAE到现在的REF，等等，本质上都是排名。只要存在数据，排名自然产生。
-------------------------------------------------
“比”是万恶之源，是我国科学界无法实质创新的要害
对武夷山老师最近的很多博文都颇不感冒。
当然，他作为领导，对于下属用了大量科研经费做的创新能力比较报告肯定要有个支持（哪怕只是姿态）的态度，也可以理解。
但是，我还是难以相信武夷山老师会真心觉得这种“比”有什么社会价值，所谓的学术价值更是绝对等于0。
如果武夷山老师觉得这样的“比”确实很重要很有（学术）价值，我鄙视的就只能是武老师的智力而非博文了。
如果武老师知道这样的比并无什么价值但是还为了下属而宣扬，那么我们只能说武老师很想做一个“好”的科技官员。
其实，俺觉得，对于下属或者同事做的这类工作，如果我们不好意思去反对，那么，保持沉默最好。
————————————
中国的万恶之源就在于“比”，中国科学界少有（或根本没有）像样创新的源头也在于“比”，尤其是今天，在我们手头还没有哪怕一个硬货的前提下，各种“比”除了收获可笑，还能有其他值得说的东西吗？把清华大学排名世界第一的高校，又能如何？连清华的校长都不好意思提吧？那么，排到第27，又有何区别？
我老人家也做过科技评价的项目，所以深深理解里面所保藏的祸心。我可以这么说，作为各类排行榜的制作者，完全可以做到让谁做第一就能通过挑选指标、设计权重以最后达到这一目标。
哪怕我想让西藏做中国各省市区经济发展的第一名，也完全可以理直气壮地做到。
即便我没有一个事先让谁当第一的目标，那看似科学客观而排出来的榜也是只具备娱乐效果，而没有什么科学价值。
选指标本来就是个人（加几个背后的专家？）说了算，指标之间的关系谁能说得清楚是包含还是交叉还是完全独立的关系？如果连这个关系都说不准，又怎样去除指标之间相互咬合的部分？如果指标是完全独立的，那么，请严格证明给我看！
如果两个机构采用不同的指标、不同的权重来评价不同国家（地区）的同一个项目（比如创新能力），怎样对这两个机构的比较结果进行比较呢？
答案是根本无法比较！只能各说各话，所以美国人评他们的，我们评我们的，指标权重均不同，那就各自解释好了。
每个机构都会说自己的比较结果是符合实际的，那么亲爱的请告诉我，实际究竟是什么？你的实际和我的实际是一个吗？
——————————————
还记得武夷山老师曾经为一个“比”进行辩护的时候，说什么北欧的创新能力（或是什么其他鬼名字）在全世界高是大家公认的，这就奇怪了！我怎么就没认？我觉得美、英、法的创新能力比北欧要强得多，连俄罗斯的创新能力都比挪威、瑞典、芬兰、丹麦强。不信，让他们打一仗看看结果就明白了，其实不打我们也知道结果。
那么，为什么武老师竟然觉得是“公认”呢，为什么他辩护的这个结果又确有一定范围内的糊涂虫认可呢？无非这几个北欧小国从事R&D的人的比例特别高，我当时还特别举了例子来说明这一结果的荒谬性，那就是：一共就10个芬兰人，居然有5个在IT公司工作，而美国人一共有100个，29个在IT公司工作，于是，美国人里做R&D工作的比例比芬兰少多了，芬兰的创新能力比美国高。
大致逻辑就是这样的。
——————————————
中国的世界大学排行榜就有多个大学的教授们在认认真真地搞，每次出结果都被大家笑话一通，因为里面必然有特别可笑无法置信的结果，然后他们继续做明年的，丝毫不觉得不好意思，反正有国家的经费支持，奇怪的中国现象吧！
国内的大学排行榜除了教育部有985、211这种榜之外，还有各类武书连之类的榜。但是，如此比来比去，创新能力并没有因此上去，也许只是骗去了几个不了解大学真相的中学生们报考，最终只是在烂的里面比了下谁稍微不特别烂而已，在这样的“比”榜里面即便排名靠前，又有何价值和意义？
让科学家们自行追求品质吧，不要用官方或半官方的手段“强制”大家爬上“比”的战车，且不自信地挥舞起麻杆冒充强人，而更为糟糕的是，那座下的战车也一直都是小人国的战车，比来比去徒增笑料尔。
而那些从事“比”研究的团队和机构，你们能少出来公开丢人现眼吗？
（以上文章均来源于科学网）
请关注后【战略前沿技术】后，点击历史信息或回复201505查看。2015年1-4月精华文章，请分别回复201501、201502、201503、201504查看。
日期 标题 20150525
数学大师丘成桐：中国的科技至少要倒退20年
20150516
中国工程院院士增选有效候选人名单公布
20150516
真正的黑科技，你绝没见过的无人机应用
20150503
未来的战争：德国工业4.0与中国制造2025
20150508
科研经费管理新规：劳务费从15%变为上不封顶
20150525
北斗的复仇
20150517
2025年的世界：对未来十年的8个预言
20150523
大学之癌——有的教授他是官
20150529
华为是如何创新的？
20150509
发达国家发展工业机器人的主要做法和启示