甲方夸乙方骂，“安在新榜”咋回事？
友情提示：想看结论的请直接下划到最后一段
4月23日，“安在新榜”——《2021中国网络安全产品用户调查报告》正式发布。
报告一经发布，涉及排名的“中国市场网络安全大众点评百强榜”及“网络安全产品大众点评一览图”两个榜单便引发了激烈的争议。
作为安在新媒体力图打造的网络安全行业“大众点评”，报告中所有的数据提供均来自“诸子云（甲方网络安全专家联盟）”社群会员最纯粹、真实的使用感受，共计近2000份调查样品，覆盖了全国30个省市及自治区，50多个行业，上千家企业和政府/社会机构。
本质上，“安在新榜”反映的是“诸子云”社群中的上千家甲方单位，围绕产品类型覆盖面（广度）、用户部署量（热度），以及用户使用反馈（好评度）三个维度对安全厂商及其产品做出的综合评价，与厂商在资本市场的评价、经营收入等并无直接关系，仅仅只是在所调研范畴内网络安全用户的选择和评价。
因此，“安在新榜”并不是一份传统意义上的市场排名报告，更不是某些不明就里的读者口中“给钱就能上榜”“数据全由小编胡诌”的野鸡榜单。安在的出发点，只是希望通过这种“大众点评”的方式，让甲方自己来发表“用后感”，从而给业界尤其是甲方用户的同行们提供一些选品参考。
然即便我们已在文中进行了非常详尽的解释，但依然受限于多种原因，未能满足所有读者、厂商和甲方用户的喜好，这也导致大家对于“安在新榜”的评价褒贬不一。正所谓偏听则暗，兼听则明，我们特别向数十位甲方和厂商代表请教了宝贵建议，力求让“安在新榜”更加完善。
此次针对甲方代表的问卷涵盖了四个方面的内容，分别是：是否有参考意义，如何评价“安在新榜”，能给到自己哪些帮助，对报告的意见或建议。
在有效回收的157份问卷中，64名甲方代表认为“安在新榜”非常有参考意义，74人认为有一定的参考意义；认为意义不大以及毫无意义的甲方代表共有19人。
对于“安在新榜”的具体评价，存在的问题以及后续改进的建议，来自不同企业的数十位甲方代表也给出了自己的观点，这里仅选取部分进行呈现，与诸君一同思考和探讨。
某银行信息安全负责人
我觉得总体来说“安在新榜”相关数据还是比较客观，能给甲方提供很好的参考，能够给安全产品有一个详细全局了解，方便在有安全建设需求时能够及时找到相关解决方案。只是不知道纯线上填写的方式，数据的真实性会不会受到影响。
某证券信息安全负责人
因为“安在新榜”与不少诸子云会员的行业属性相同相近，对我在希望了解某一细分领域产品方案榜单时，有借鉴意义，不过对覆盖范围外的行业用户可能参考意义会有所下降。
某区块链金融企业信息安全负责人
安在新榜直接给各厂商明确的排名，是一种业内的首次尝试和创新，其他机构都只是列出领域领先厂商而已。不过甲方其实自己还是有很多消息渠道的，所以产品好不好大家也都知道，因此这份报告的参考意义也就见仁见智了。
同时，直接给出直接排名，必然取悦一部分厂商，也得罪一部分厂商啦。而且给了排名，但是真实对比的数据又要另外给钱购买，免不了被指责暗箱操作。但总的来说瑕不掩瑜。
某互联网企业信息安全负责人
“安在新榜”在帮我助选购产品的时候，可以提供一定的参考价值。如果能增加明确的度量维度和评价准则，可能会在权威性上有所提高。
某民营银行信息安全负责人
在我看来是一份很不错的第三方榜单，比较客观，对各个细分领域的厂商（产品）选择提供有益的参考。
某物流企业信息安全负责人
“安在新榜”将大部分的安全产品纳入了报告，给了需要的人员一个全貌。同时我建议可以纳入更多基于新趋势下安全问题的产品，并基于安全场景痛点，给出最佳技术组合建议。
某证券信息安全负责人
“安在新榜”对甲方在安全体系规划、方案制定、产品选择方面有参考价值。可以帮助我们了解当前安全市场的动态，产品应用情况，在安全规划和建设中参考。其独立的评价，是一份不错的产品遴选参考。
某省运营商信息安全负责人
“安在新榜”是一份 相对客观公正的来自甲方观点的报告，能够帮助一部分甲方用户了解各行业整体安全解决方案的选取。我建议增加对入围厂家的质量评价，并且受限于样本范围，可能会让某些行业的偏向性较强。
某农商行信息安全负责人
首先，“安在新榜”能够帮助自己了解市面上安全产品的流行程度以及大致评价，对以后的产品调研和选型有一定帮助。
不过我有两点疑惑：1、排名和印象有点差距，当然这也取决于个人对安全产品的了解程度。对本人而言，感觉阿里、腾讯、华为这些综合性厂商的安全产品在非云环境的应用是非常少的，因为他们在非云环境的输出产品就不多。另外就是360的产品排名据个人了解用的并不多，不知道是否是参与调查的用户混淆了360和奇安信的产品；2、今年好像没有单独针对金融行业的进行调研。
某省运营商信息安全负责人
因为有些大公司排在很前面，有些大公司又排在小公司后面，如果读者不清楚评选的逻辑和样本来源，其实是会认为排名不正常的。按照新榜的说法，是从“广度、热度、好评度”三个维度进行的评价，既然是大众点评，我觉得不能简单地汇总，而是把这三个维度拆分开来，分别进行排名。
某金服集团信息安全负责人
首先，通过告分析，我可以了解到目前比较热门的建设方向和同类企业关注的痛点问题；其次，可以为本企业的技术选型提供参考依据。但我希望后续可以按照行业来生成相应报告，因为不同行业对安全关注的点和投入的资源差别很大。
某企业信息安全负责人
这个新榜很好的反应了行业现状，不管是对甲方产品选型提供了较多的参考，对于乙方也可以指导产品发展的方向。至于问题 我觉得没什么问题，毕竟是行业趋势，可别样本很难影响趋势的，所以非常支持安在持续做下去，意义还是很大的。
某外企信息安全负责人
“安在新榜”的意义体现在这样几个方面：1、更快速地了解可以采用的解决方案和来源；2、大家对于各产品的使用情况和满意度，减少自己踩其他安全同仁踩过的坑，帮助现在工作和后续的规划：3、其他安全同仁和所在企业关注的重点方向，让自己有学习和发展的方向；4、大家的预算情况，好帮助大家换工作，预算多的行业收入相对高。
某物联网企业信息安全负责人
“安在新榜”能关注到甲方企业对于产品的使用情况，在各个细分领域的企业分布。可以完善的地方，我认为“安在新榜”应该考虑它所出具榜单的定位和科学性，对评价的体系及逻辑要做分析说明。
总结甲方上述观点，“样本空间不足”、“缺乏行业分析”这两点较为突出。其实，相比较去年的报告，今年的“安在新榜”已经在样本空间上扩大了两倍有余，后续一定还会持续扩展，这是个时间和积累的问题。至于行业分析，后续印制发行的完整版报告，会专门针对金融、通讯、互联网等重点行业进行了分析及结论。
乙方认为“安在新榜”不太合理
此次针对厂商代表的问卷涵盖了三个方面的内容，分别是：榜单是否合理，如何评价“安在新榜”，对报告的意见或建议。
然而与甲方用户高参与度高积极性形成鲜明对比的是，乙方厂商对于“安在新榜”后续的回访调查表现得较为冷淡——上榜的厂商觉得没什么想说的，未上榜的厂商几乎不想发表任何观点。
在仅收到反馈的40份有效样本中，认为“安在新榜”不太合理甚至是非常不合理的厂商共有20家，占比50%；15家厂商作出了比较合理的评价，而认为“安在新榜”很合理的厂商仅有5家。
针对为数不多的评价和建议反馈，我们总结出了以下几个观点：
观点1：零信任这个方向的不少，我看了下安在今天发的“大众点评”，确实没有太适合这个方向的产品品类。
观点2：报告还是不够客观，客户这里看到的只有4a公司。大厂有钱，就像广告业4a公司，很多的单子他们都是外包给外面真正做的好的小设计公司，其实本身他们在某一块领域并不是那么强。应该根据体量，分一下类，按照大中小。
观点3：建议报告里加入内存安全和工控类产品的分类。
观点4：反馈在上市企业里他们排名比较靠前，但是每个细分领域都没有涉及到他们的产品。
观点5：dlp和文档加密之前所有的百强、全景图都没遇上过华为和金山，感觉这个结果不太权威了，好多专业做安全的都没上。
从仅有的反馈情况来看，乙方认为“安在新榜”存在的问题
主要有这样几个方面：1.产品种类不全
2.排名和行业认知存在偏差，具体评判逻辑不清晰
3.不接受部分厂商过高/过低的名次
4.权威性和专业性有待加强
除了上述观点之外，也有很多厂商在安在公众号的评论留言区，以及安在乙方社群里表达了自己的看法。结合各个厂商的反馈情况，我们基本可以得出这样一个结论：站在乙方的角度来看，“安在新榜”不太合理，甚至难以理解。
为什么“安在新榜”口碑两极分化
根据调查反馈的结果，我们可以看到“安在新榜”在甲乙两方用户群体中的口碑几乎两极分化。
大部分甲方用户认为，“安在新榜”可以在实际工作中起到翻阅参考的作用，尽管样本范围有所限制，但针对采样范围以内的各个甲方行业来说，是可以在产品遴选时拿来按图索骥的。
而大部分乙方厂商则认为，“安在新榜”的评价标准、打分规则以及最终的排名情况，和业内常态化的认知模式相差很大，因为没有综合市场份额、企业规模、经营收入等维度，使得部分厂商的排名存在极大落差。
这个问题的答案其实很简单：因为“安在新榜”是一本给甲方的使用手册，而不是一份帮助乙方背书，让乙方用来加强企业影响力和资本青睐的报告。
也就是说，“安在新榜”的评价标准只有一个，那就是甲方觉得好不好用，跟乙方的市场份额、企业规模、资本评价、经营收入通通无关。
就像“大众点评”一样，五星级酒店的综合影响力肯定是傲视群雄的，但哪怕是再小的苍蝇馆子，只要有食客觉得好吃，愿意留下句赞美的话，那当然也有上榜的权利。而如果抛去环境、服务等因素单论口味，也不见得比五星级酒店差。
所以当这样一份榜单拿到食客面前的时候，他们自然是乐意的，因为对大部分人来说，好吃才是最重要的；商家看到这份榜单肯定是不高兴的，因为当口味相差无几的时候，好的环境和服务才是他们跃居前列的竞争力，而这一点现在却无法体现出来。
其实不难理解乙方的想法，毕竟作为一份完全由甲方主导，以“用后感”作为评价标准，又完全面向甲方的报告，的确和乙方之间产生了距离——没法参与过程、没法干预结果。
甲方的认同和乙方的不理解，其实就反映了当前网络安全产品和用户之间的割裂，这也是“安在新榜”存在的原因。
为什么要有“安在新榜”
我国的网络安全市场，本质上是由政策、技术、事件等几个因素导向的，因此乙方在展现安全产品的时候，基本需要围绕最新的政策，最前沿的技术，以及最热门的安全事件。
所以我们常说一款安全产品好不好，不仅要考虑它好不好用，还要看它是否新颖，是否能满足监管合规，是否在未来能有长足的发展潜力。对于厂商来说也是一样，产品好不好用只是一方面，还要综合它的企业规模、市场份额、经营收入以及资本口碑等。
因此，各大咨询机构在发布榜单和报告的时候，就基本遵循和综合考虑了这些因素，也就形成了一种已经在行业内长期固化的认知模式。而这些由权威机构出具的报告，其主要受众并非甲方用户，而是乙方厂商，目的是为了增强乙方的背书，在竞标和融资时作为加分项，吸引用户和资本的青睐。
所以这个过程是和甲方之间存在割裂的。这也是为什么每当权威机构发布报告的时候，乙方很乐意把这些报告转发到自己的朋友圈，或者是写进PPT里，而甲方用户却反响平平。
因为从头到尾，甲方都没发出过一点声音，没人问一问甲方对这些报告怎么看，也没人问一问那些名列前茅的安全厂商，他们的产品到底好不好用。
而对于厂商来说，甲方的需求往往并不是他们在进行产品研发时最care或是唯一care的因素，所以一份行业性质的报告，要远比一篇来自甲方视角的使用感受重要得多。
事实证明，甲乙双方对待“安在新榜”截然不同的态度，就佐证了这一点。
所以“安在新榜”的诞生，是为了让甲方真正站在自己的视角，向自己的同行，向其他行业安全负责人，向安全行业分享自己的使用感受，点评一下谁好用谁不好用。而正是因为这种单一的评价体系，才会明显区别于行业内的综合排名报告，才会出现许多所谓不合理，甚至难以理解的情况。
但这无非是评价的角度不同，本就没有对错之分。
当然，因为受限于样本范围，“安在新榜”的确在行业覆盖上存在明显的空白。它更像是一份专门面对传统行业，尤其是银行、证券为主的某几个特定行业甲方调查报告。
而因为政府、军队、工业等领域样本的缺少，使得以这些行业为主要业务的安全厂商并没能得到公平公正的展现，这也使得“安在新榜”的合理性和权威性大打折扣。
除此以外，作为一家业内影响力有限的媒体，尽管“安在新榜”已经发布了两年，并且在样本数量上实现了巨大的提升，但它依然还是一个很新鲜，并且尚在摸索的东西。它还需要经过非常严格的打磨和完善，无论是针对评价维度的细分还是采样范围的拓展，都还需要我们用很长的时间来实现。
所以我们会认真听取来自各方的建议和批评的声音，总结“安在新榜”当前在打分标准、评价维度、类别划分、展现形式等多方面的不足，覆盖更多的行业领域，积极改进。从而尽早地成为一份让甲方觉得满意，让乙方觉得合理的报告，真正成为中国网络安全的“大众点评”。
推荐阅读
齐心抗疫 与你同在