DAOrayaki |Gitcoin Grant第 11 轮反欺诈评估和结果
DAOrayaki DAO研究奖金池:
资助地址: 0xCd7da526f5C943126fa9E6f63b7774fA89E88d71
投票进展:DAO Committee 3/7 通过
赏金总量:70 USDC
研究种类:Gitcoin, Gitcoin DAO Fraud Detection and Defense
原文作者:BlockScience
贡献者:Demo, DAOctor @DAOrayaki
原文:Gitcoin Grants Round 11 Anti-Fraud Evaluation & Results
DAOrayaki 是一个去中心化的研究者组织和去中心化媒体,通过 DAO的形式去中心化地资助世界各地的研究者进行研究、翻译、分析等工作。DAOrayaki 由早期的 DAO 组织 DAOONE 核心成员发起,得到了Dora Factory基础设施的支持。欢迎通过文末方式提交DAO的研究,瓜分10000USDC赏金池!了解去中心化自治组织(DAO),探讨最新治理话题,关注DAO的发展趋势,欢迎加入DAOrayaki社区!
自 Gitcoin 第 7 轮(Gitcoin Round 7)以来,BlockScience 团队一直在与 Gitcoin 团队和社区合作,研究攻击向量的二次方融资系统,并找出如何防御它们以维持 Gitcoin 作为以太坊公共产品生态系统的可信中立融资工具。本文是 Gitcoin 社区的更新,内容是 Gitcoin DAO 欺诈检测和防御工作组 (Fraud Detection and Defense working group,FDD))的工作结果,以及 Gitcoin Round 11 中 Sybil 检测机器学习管道的结果。
背景
Gitcoin生态系统在其以太坊公共产品的二次融资计划中经历了巨大的增长,其匹配资金在一年内翻了一番多——从第 7 轮的 45 万美元增加到第 11 轮的 96.5 万美元。游戏系统对潜在的女巫攻击者更具吸引力。
BlockScience、代币工程社区和 Gitcoin 管理员前几轮的工作旨在阻止 Gitcoin Grants 上的大规模对抗行为。这些团体继续探索如何攻击和防御二次方融资以提高女巫攻击(Sybil)和共谋检测的准确性,并保护 Gitcoin 赠款系统的完整性。
现在的工作
欺诈防御工具包中的一个关键工具是 Sybil 检测机器学习 (ML) 算法,该算法由 BlockScience 领导,并得到 Gitcoin 专门团队的投入。每一轮,团队都会调整算法,而人工评估员会审查结果并改进机器-人工反馈循环,以改进欺诈检测和适当的策略。人类提供的标志用作统计调查,允许 BlockScience 工程师估计有多少真正的 Sybil 用户,这告诉我们ML检测离实现与攻击者的平等还有多远。
在上一轮中,该算法的攻击性级别被调整为 20%,而在这一轮中,它被调高到 30%——这意味着更高的灵敏度,但可以在标记参数中捕获更多的误报,这些误报可能表明可能的女巫行为。
那么,Gitcoin Round 11 中捕获的数据告诉了我们什么?这篇博文探讨了该工作流程为 9 月 23 日结束的融资回合提供的结果。
第11轮的结果
整个 FDD 过程由人类评估(Human Evaluations)、ML 预测和 SME 启发式标志(用于生成标志的人工条件集)的共生组成,将 15,986 个总贡献者(5.3%)中的 853 个贡献者帐户标记为潜在的 Sybil。根据使用人类评估作为调查的统计考虑,实际女巫的最佳估计可能最接近 6.4%,范围在 3.6% 和 9.3% 之间。
该图显示了“概率密度”,即第 11 轮 Gitcoin Grants 中 Sybil 用户发生率的可能值。这是欺诈检测和防御工作组首次对其进行统计调查估计,介于 3.6% 和 9.3% 之间。
仅仅作为一个练习,如果我们把调查当作真正的Sybil发生率的代表,我们可以说FDD过程可能有效地捕捉了Gitcoin平台上大约83%的Sybil用户。不能排除我们抓到了所有的Sybil用户的可能性,而且我们抓到的Sybil用户少于57%的可能性也非常小。
看一下FDD流程、人机人管道(human-machine-human pipeline)和 Gitcoin Grants 的计算机辅助治理
除了调整算法,欺诈标志评估也是一个持续迭代的领域。确定被标记的贡献是否具有欺诈性并不是一门精确的科学。由于某些边缘情况尚不清楚,Gitcoin 管理员正在继续考虑不同的方式来处理这种情况,以将匹配的资金分配给这些贡献者。其中一个考虑因素是“欺诈税(Fraud Tax)”。
如果支付欺诈税(由Gitcoin补贴),它将确保没有赠款因Sybil攻击而在CLR匹配中出现净损失,然而这也意味着潜在的Sybil成功地使他们的预期赠款受益。在第九轮中,Gitcoin社区管家最终决定支付欺诈税,Gitcoin Holding的首席执行官Kevin Owocki在这份关于Gitcoin赠款第九轮的治理简报中对这个过程的细节和理由做了很好的解释。虽然Gitcoin管家之前已经决定从Gitcoin社区的多账户中支付欺诈税,但本轮的决定将再次需要管家们的评估和投票。虽然在前几轮中,这一政策决定可能是为了帮助支持陷入困境的补助金,但必须继续审查该政策,以确保其系统性激励措施与补助金生态系统的整体目标保持一致。
Gitcoin第11轮的欺诈税估计为5,787美元,约占配套资金总额965,000美元的0.6%。相比之下,Gitcoin第10轮的欺诈税为14,400美元,共占上一轮匹配资金总额的2.1%,第9轮的欺诈税为33,000美元,共占匹配资金总额的6.6%。这似乎是一个积极的趋势,可能表明欺诈正在被FDD工作组的努力所阻止,尽管有许多变量参与其中,所以很难对因果关系做出任何硬性的声明。
这张图表示,如果在CLR匹配计算中去掉虚假标记的捐款,各种赠款(蓝条)将失去(左侧)或获得(右侧)匹配资金的差异。这是计算 "欺诈税 "指标的基础。
虽然ML算法和FDD流程主要集中在贡献者账户上,但FDD工作流也监测赠款本身的欺诈和滥用。人工评估员审查拨款的提交、更新、投诉和欺诈提示,以监测Gitcoin平台的拨款。
除了贡献者账户和补助金审查,欺诈检测和防御工作流也在努力建立制裁和上诉程序,并支持该系统的其他政策制定。欺诈检测的其他方面的程序和先例正在稳步迭代,以保持Gitcoin Grants作为web3公共产品的公平和可信的中立资助平台。
第11轮中的FDD自动化改进
FDD工作组的功能和自动化服务的图示,以及它们与更大的Gitcoin DAO的相互关系。你可以在这个FDD映射帖子中查看更多细节。
FDD工作流继续关注这些流程的各个层面,不仅要提升准确性,还要提升响应时间。在这一轮中,BlockScience和FDD小组努力实现自动化,并增加他们在这一轮中运行算法的次数,并有人工反馈。其目的是对贡献者和提交赠款者的行为进行实时欺诈监控,以改善Gitcoin赠款生态系统的计算机辅助治理。该团队改进了FDD管道的微服务产品,以调用最新的数据,以更好地保护和更快地采取行动应对攻击,并计划继续迭代这些服务。
未来之路
BlockScience与Token Engineering和Gitcoin社区一起,在一年多的时间里一直致力于改善Grantts平台的欺诈检测。它同时也是Sybil战场的前线,也是四维资金等数字身份依赖系统中博弈和攻击的启蒙研究举措。技术工作的过程是持续的,以及贡献者和志愿者的无数个小时,支持了Sybil检测的巨大改进。
在第11轮中,FDD工作流团队能够测试更积极的算法调整,捕获更好的精度测量,并改善响应时间和数据调用——多么令人激动和有希望的结果!所有的工作都在保护Gitcoin Grants生态系统的可信中立性。
不过,随着争夺的比赛金额不断增加,在ML算法 "学习 "的同时,攻击者也在学习。我们计划对Sybil检测管道进行许多进一步的迭代和改进,并期待着Gitcoin第12轮的到来。
要想了解进展并参与FDD工作流,请加入Discord的反欺诈—Sybil频道的对话(the Anti-Fraud-Sybil channel in Discord,),或在论坛上了解工作流的情况:gov.gitcoin.co。