征文 | 金国峰：POC，不仅笑话与故事
☝戳链接了解本期征文详情
金国峰
某银行技术信息安全官
十多年金融行业信息科技及安全从业经验。写过COS，拜过机房，扛过项目，专注架构的老人家。
1.小序
同一主题下，总能诞生新的节奏和音符。本文只是讲讲故事，或许能有同感，或许有别于传统认知，看看就好。
2.我们终将浑然难分
这里不普及POC概念，大部分甲方视角。
必须要说，POC只是整个项目中极小的一个子过程。在实际操作上，作为有限样本量的小规模测试（试验），安全产品或服务的POC与其他科技类产品或服务的POC并无太大区别。在采购和招投标制度相对完善的企业，其流程基本是固化的；当然，一个精心设计，制定了良好的功能和规则案例（或用例，下同）、优良执行并获得预期结果的POC在整个项目过程中占据显著重要地位。
它有可能是项目交付的一部分，比如下表1；它极可能是采购或供应商选型的一部分，如表2；它很可能是内部斗争（或可行性分析）的一部分；它绝对是信息不对称造成的必然结果。但它终究只是一次验证的测试。就其目的而言，一是为了遴选优秀的最适合的产品，二是为了配合产品的进入；前者好理解，作为本文基础，后者满载血泪,不做扩展。对于是不是领导的突发奇想而拉一圈溜溜，这，反正我没碰到过。
再强调一次，POC在安全层面或是安全运维层面并不具特殊性，从业者应有清醒的认识。或许安全的重要性正逐年提升，重视程度不断改善，但不应过度强调其优先性，毕竟在一般的甲方整体科技预算中，其所占比例相当小。整体POC的设计应着重考虑业务和科技规划的需求。
表1
表2
3. 不是骑马游牧的民族
POC有非常强的目的性，不论目的如何，要挑战乙方的甲方的心是不变的。这就需要有较好的计划性。大体包括明确的测试目的、测试计划（时间、人员，测试环境申请，部署，测试过程及反馈，测试进度计划等）、甲乙方责任、定义参考、双方声明及最重要的测试案例等。以DLP为例，最简单计划可如表3。POC作为一个项目或项目过程，持续的状态监控是必不可少的的。安全从业者若一味从技术角度追求测试有效性，那势必带来很多额外的项目风险成本。最简单也需要有周报包括：项目状态（已完成活动，进行中活动，推迟的活动），下次汇报前需启动或完成活动，人员状态，问题状态（历史），项目风险(累积)等。安全不是自由的野马，必须在大框架下，有战略视角的考虑问题。
表3
测试案例很重要，也是最难确保基线质量的，这极大依赖于公司团队工作习惯、技能水平及时间限制等因素，往往并不能达到所谓无所不测其极的理想状态。较为常见的有以下几种来源：专家库或称德尔菲法、乙方收集交叉整合、网络或社交群收集、以往项目问题整合等。
在安全案例创建过程中，专家是值钱的，其不仅有助于科学设计，减少盲点，也在于能指导过程闭环。
在直接负责人及团队相关水平较高时，会有直接输出并根据企业现状个性化定制的情况，配合科学的验证结果计算，可以达到建模级别。这对乙方来说未必是幸事。因为往往乙方被如此多的甲方拉来测试，终归是整合了一个知识库的，甚至还有竟品调查的对比结果，此时或许很难派上用场，而且也存在合同签署前就提供了解决方案或思路的可能。
不过这只是较小比例，可效果上我个人认为最为合适。而事有两面，也不排除甲方完全不知，仅知道少量基本需求，使POC更多是过场。测试场景及案例最小应包含模块、子类、实现方法和最小预期，展现形式多样。简单案例示意如下：
表5 DLP 测试案例-示例1
表5 DLP 测试案例，示例2
表6 SOC,一级场景案例
除功能性（在非安全性产品或服务中可能是非功能需求）外，自然包括多语言支持、稳定性、可靠性、扩展性、兼容性等方向的并行测试案例要求，对于大厂，集成能力及二次开发能力或许权重更高。
4. 天下没有免费的午餐
网上流传各种甲乙方的POC对峙笑话，但讽刺或许真的切中要害。如果不是甲方真的没有预算，或者安全的话语能力真的很差，POC预算，总是有的。给，什么时候给，这得分情况。
1） 乙方强势，非你莫属。付费POC,这是爷。相关费用一般有：现场工程师人天、专家现场支持费用、在岸费用、离案费用等，当然或许有个中标后的折扣，这是赏赐。2） 势均力敌。一般中标后给，或充项目预算。3） 甲方强势且有钱。来就给补贴（罕见）、中标后给（作为阶段合同的一部分）、激励费用（达到某些特殊要求，如质量第一）等，总之，这个乙方没什么太勉强的。4） 甲方虚张声势。确实没预算，但说有，让先来测试，测完等通知。或者是典型的心理对峙。5） 做推广。这是乙方自己的市场选择。
但需要注意，越是强势，越是有行业地位的甲方，对乙方也更为苛刻，如果测试配合度、结果等严重不符，其可能在圈内产生蝴蝶效应，所以，这时候就不是钱不钱的问题。
扩展来说，甲方也需要注意在测试时关注乙方的支持能力反馈和预算合理性，这极可能影响后续投标时，产生低中标+高结算的问题，这一点往往在测试阶段被忽略。
双方为保护自己权益，一般会签署POC协议及保密协议。也是基于以上几种情况，可能包括：付款方式、职责权力、保密性、测试周期、常规及专业条款、软硬件授权说明及费用等。
POC不是单单为了验证一个产品和服务。其更深层的要求，是发现以往理解和设计中的问题。套用安全圈的说法，风险在设计阶段避免的成本最低。一个良好的POC测试（项目），会有助于甲方完成业务需求矩阵，查漏补缺；甚至在实际测试中，发现从人员流程到环境的各项不足。所以POC本身，也是对甲方是否适用该类产品或投产能力的验证测试。举个例子，作为潜在的SOC方案，可能测试了ELK、SPLUNK等不同类型不同厂家，队伍能从会议室一路占领到老板办公室。发现，内部开发和运维无法支撑ELK的自我运维，而Splunk代理商的维护费用也没想象那么高，操作也更为简单，考虑到无法批准的HC和还算富裕的预算，就还是给了Splunk唯一的机会。
测试过程中发现的问题或新增及删减的需求，都可以转为最终的业务需求矩阵，这样有助于后期与可能的研发矩阵、测试矩阵等关联。可用于需求满足度评价。这个在一些采购验收极为严格的企业尤其有用，有助于确立验收方法、内容和权限，并通过付款挑战，当然也包括立项时的财务挑战。
6. 生死不由天
POC测试的另一个重要环节是评分或者计分卡。评分项、评分人员、评分标准和权重，决定着一个产品是否最终入围。常见产生方法有：
1） 拍脑袋型。甲方组队，列出评分项，然后看情况按经验列权重和分值。
2） 标准型。有严格采购流程，其实安全能区别出来的就是专业和用户部分的分值主动性。大企业常见。
3） 科学型。来源于内部积累或业内某些方法论的计分卡及差距分析算法。如：Gap = Comparison Field Value - Baseline Field Value
评分模块，可以是功能、场景案例测试、POC准备情况、系统安装、基础架构、人员能力、客户化、系统集成、性能、知识产权、信息及安全、业务连续性、运维支持、定制化能力等。此外，根据供应商情况，可加入代理资质、同业资质、方案能力、项目组考核及风险评估（规模、口碑、合作情况）等。因为一些众所周知的原因，对于有跨境诉求的企业，针对产品本身的属性和出口管制要求也是关键指标。对于一些云安全产品，还有跨境的考量，此时数据流动的测试案例就必须覆盖。
运作较好的团队，在测试完成后，对可能产生的后续工作量和相关的ROI已经过了一遍。除此外包括但不限于完成以下评估：
1） 评估其当期与中远期的业务需求的满足度；平衡战略还是激进战略。2） 驱动力满足，如监管驱动、业务驱动、市场驱动等3） 成本压力。中长期拥有成本。4） 行业对标等。
或许有人会认为这是产品选型的工作，个人认为不要设太明显的分界，很多信息基本都可以在POC阶段获取到，需要从全局考量，除非内部分工极为明确。
风险是安全管理不可回避的主题。而POC的风险也需要从重考虑。如：
1） 市场风险。产品本身市场地位及可持续性。2） 技术进步带来的风险。如快速迭代的安全概念和与之呼应的产品，更新速度越来越快，采购不当可能面临被淘汰的技术风险。3） 围标。这个虽然是招投标会面临的问题，但往往在POC就已经出现。如找供应商做咨询，而其明显带有行业特征的文档使潜在竞争者放弃，而造成围标。这在输出测试案例的时候也必须注意。（主动要求的不考虑）4） 验收风险。测试的人和验收的不是同一等级或部门，没有给出明确验收标准，无法确保交付合格。这个标准就可以在POC过程中初步确立。5） 存量风险。根据安全预算的平衡极为重要，因为采购数量和品类过少或过多（如流量），造成其他预算不足。此时，POC中如何确认适用的量很关键（有时候POC结果太诱人，感觉可以覆盖其他需求，但实际不行）6） 其他。
注：本文为原创投稿，获1500元稿费，同时有机会角逐本期征文最终万元大奖。
三月主题：《数据安全面面观》
四月主题：《一个人的安全》
征文 | 周逸传：一个人的安全？我笑了征文 | 武鑫：一个人的安全，在变化中促成长征文 | 陈欣炜：一个人的安全，或许你要扛起整个公司征文 | 黄猛：一个人的安全？你不是一个人在战斗！征文 | 顾伟：一个信息安全从业者的自我修养安在征文，4月月奖是谁胜出？
五月主题：《网络安全“值钱”吗》
七月主题：《社工记》
征文 | 沈青：网络安全社会工程学起源与应用征文 | 陈欣炜：邮件钓鱼测试和合规性要求征文 | 顾伟：从社会工程学到信息安全文化模型的创建征文 | 赵锐：无所不在的社会工程学安在征文，7月月奖是谁胜出？
十月主题：《攻防演练实务》
征文 | 黄乐：网络安全的矛与盾——企业视角看攻防演练征文 | 顾伟：攻防之道，红蓝对抗征文 | 叶翔：在企业内部搞攻防比赛，很难吗？征文 | 赵锐 ：从漏扫到攻防演练，甲方如何选择安全测试？安在征文，10月月奖是谁胜出？
十一月主题：《不会做规划，怎么做安全》
征文 | 侯大鹏：利用5W1H方法，做企业信息安全规划征文 | 陈皓：年度安全规划–“我们不一样”征文 | 舒胤明：结构化分析，让5W2H贯穿信息安全规划全程
2020征文
六月主题：《红蓝对抗中的心理博弈》
征文 | 王振东：红蓝对抗中的心理博弈
九~十月主题：《POC轶事》
征文 | 杨博涵：浅谈全流量安全分析系统POC测试征文 | 黄乐：安全产品POC那些事
▼加入诸子云