欺诈层出不穷，AI与大模型如何助力金融机构应对挑战？

△点击上方卡片关注我，回复“实践”，即可获得 AI Agent、RAG、多模态大模型相关的案例资料

嘉宾 | 王小东

编辑 | Kimmy

随着技术的飞速发展，AI 攻击的成本几乎为零，同时伴随生成式人工智能的发展，如 AI 换脸、AI 换声、AI 换背景、数字人等以假乱真技术的出现，给金融领域带来了前所未有的挑战。

在当前经济形势不佳的背景下，银行的不良贷款率持续上升，各银行纷纷寻找有效防止和识别风险的解决方案。为了应对这些日益严峻的挑战，银行越来越依赖 AI 技术来提升精细化的风控能力，确保在复杂多变的环境中，维持稳健的风险管理和运营效率。

日前，InfoQ 与新希望金融科技公司 AI 中心总经理王小东探讨了智能风控领域面临的诸多挑战及应对策略，特别是在防范 AI 攻击和应对复杂欺诈手段方面，其团队如何通过技术创新助力金融机构实现精细化风控。

在 8 月 16-17 日将于上海举办的 FCon 全球金融科技大会上，王小东老师将在「金融大模型应用实践和效益闭环」专题论坛中与大家进行深入的交流和分享。此外，大会还将聚焦 AIGC+ 营销运营、AIGC+ 研发等场景，邀请来自银行、证券、保险的专家分享最佳实践。更多演讲议题已上线，点击链接可查看目前的专题安排：https://fcon.infoq.cn/2024/shanghai/

以下内容为对话整理，经 InfoQ 作不修改原意的编辑：

InfoQ：首先想请您简单介绍一下您当前的主要工作和您在 AI 领域的相关经验。

王小东：目前我的主要工作是将 AI 技术与金融领域相结合，帮助金融机构在各个方面实现降本增效和智能化以及 AI 赋能金融。具体来说，涵盖从获客、营销、风控到系统支撑等金融行业的全流程业务与人工智能的结合。

我的工作重点是 AI 系统、AI 技术、AI 算法的研发和前沿技术的探索，将前沿技术落地到金融领域，如智能外呼机器人、智能客服、智能视频面签、数字人、多模态关系网络、微表情分析检测、AI 鉴伪、智能语音质检、金融图像识别等。这些 AI 系统和 AI 工具不仅在风控上发挥作用，还通过替代人工实现降本增效，整体而言，我负责的内容涵盖了 AI 在金融领域的应用与算法开发以及前沿技术探索。

InfoQ：整体来看，当前金融科技领域在智能风控方面主要面临哪些挑战和痛点？

王小东：我认为主要有几方面的挑战：

1. 欺诈手段层出不穷：欺诈手段不断更新迭代，使得如何快速响应和识别这些新型欺诈成为一大挑战。黑产攻击手段层出不穷，如果没有快速的算法开发能力和先进的 AI 技术，无法快速有效地应对这些新出现的欺诈手段。甚至有一些中介利用新的欺诈手段帮助借款人逃避债务。例如，用户在贷款后将身份信息交给中介，由中介代为接听所有银行的催收电话和实施反催收，用户不再直接参与。这种代接听的模式让银行难以识别真正的借款人。
2. 团伙作案更加难以发现：团伙作案也是老大难问题。手段日益复杂，他们也在不断研究和绕过银行的风控系统。比如一些中介在固定地点集中办理贷款，造成背景相似、GPS 高度聚集的情况，这种情况下传统的风控手段（如依赖手机号、地址、GPS 等关联的知识图谱）已经不再有效。为了应对这一挑战，我们公司开发了多模态的关系网络，不仅仅依赖结构化数据，还通过背景图像、身份证背景、人脸、声纹、微表情等多种维度进行关联，来更准确地识别团伙作案。
3. AI 攻击的防范：AIGC 技术的进步使得换脸、换声等技术的成本大幅降低，从而引发了更多的 AI 攻击。很多个人和团伙都尝试利用这些技术进行欺诈，甚至有的客户就想试一下银行信贷产品的能不能用自己的假脸攻击。这种情况下，如何防范 AI 攻击 AI 成为金融领域新的痛点。
4. 模型性能出现瓶颈： 当前信贷模型主要依靠结构化特征，结构化特征的挖掘很有限，非结构化中的图像，视频，音频，文本等涵盖大量高维有效特征，如何对这些特征进行抽取转换，并参与建模是一个新的有效解决模型性能的解决方案。如将佩戴特征、残障特征、衣着职业特征、高风险背景特征、胁迫特征、意愿特征、攻击特征、基础特征、表情特征、排版特征、欺诈特征、合规特征等有效提取并与结构化特征结合，可有效提高模型性能，也具备一定可解释性。

InfoQ：是否有遇到过特别棘手的项目或案例？能否举例说说您和团队是如何应对的？

王小东：我们确实遇到过一些非常棘手的项目，特别是在服务过程中，常常会遇到一些复杂的问题，比如在山东和江苏地区，黑产中介非常猖獗。这些中介不仅伪造各种贷款申请材料，还利用各种科技手段攻击我们的系统，比如通过 AI 换脸、换声，甚至利用系统漏洞来进行欺诈。

简单举一些黑产案例：

• 伪造贷款人身份：比如仿冒他人借款，或是利用伪造的身份信息进行贷款。这些黑产甚至利用 AI 技术来攻击声纹识别和人脸识别系统，以及仿冒身份证件等。
• 不还款的套路：有些借款人在贷款时故意伪造成非本人意愿借款或还款能力低，以便将来赖账不还。这类情况在电信诈骗和裸贷案件中尤为常见，尤其是那些被骗去刷单或被胁迫贷款的大学生，以及一些残疾人或患病借款人，他们往往没有还款能力，使得客户的贷款追偿变得非常困难。
• 团伙作案：黑产在同一个 GPS 下短时内快速进件，背景高度相似，其他特征很难发现异常，交易侦测时不同的手机号码打出去都同一个人在接听，不同中介 / 黑产出现在不同客户的活体人像里等，手段很高级。在面对这些棘手问题时，我们团队采取了一些策略来应对，举例而言：
• 精细化风控：我们针对各种已知和未知的欺诈手段，开发了精细化的风控大模型。这些模型不仅能够拦截常见的欺诈行为，还能够预测和防范一些新型欺诈手段，对未见过的欺诈可以基于大模型快速微调小模型进行防范。例如，我们开发了更先进的活体检测技术，不仅仅依赖人脸识别，还包括眼球检测、图像背景分析、人像分析、声纹比对等多重验证手段。
• 实时交互式风控技术：我们还开发了实时交互式风控系统，通过数字人与用户进行交互，分析对话内容、对客户侧的图像、视频、声纹等进行欺诈分析检测，以确认借款人的真实意愿、真实设备和真实的人。这涉及到音视频通信的开发以及 AI 三大领域，图像，语音，NLP 的算法研发，虽然我们团队之前这方面的经验较少，但通过不断摸索和攻克技术难题，我们最终实现了这一目标。
• 大模型探索：去年我们开始探索大模型的应用，虽然我们不是关注生成式 AI，而是希望大模型能够学习基础的视觉特征，并在需要时通过少量样本进行微调，从而快速开发出新的视觉领域小模型，并以概率输出。这一过程充满了挑战，但我们通过不断的实验和调整，逐渐取得了进展。虽然很多问题在一开始看起来非常困难，但通过坚持不懈的摸索和技术创新，最终是能够找到解决方案的。我总结下来的经验是，只要肯努力、想尽各种办法尝试解决，并善于利用现有的技术，大多数问题都是可以被克服的。

InfoQ：在解决这些挑战的过程中，您认为有哪些关键技术和策略是不可或缺或有效的？

王小东：在关键技术层面，要解决智能风控中的挑战，我觉得首先需要对 AI 技术有深入的了解，懂它利用好它，并能够灵活运用不同的 AI 技术，包括视觉、语音和自然语言处理等领域的技术。了解并熟悉这些技术，能够帮助我们快速解决不同类型的风控问题。

其次，我们需要通过平台化的方式来进行重点攻击的拦截和风控处理。例如，我们开发了视觉风控大模型，不再依赖手动标注和训练模型的繁琐过程，而是通过一个基础模型，快速进行微调，生成适用于特定攻击类型的小模型，从而加快模型的开发和生产应用。我们采用了 MaaS（模型即服务）平台，支持模型的编排、开发和发布，“一条龙”地处理模型的全生命周期管理。

第三，通过大模型提升小样本建模的能力，金融领域的很多问题，如识别稀有样本（如眼部有疾病的人），之前需要大量的标注样本才可以训练出一个精度可以的模型用于生产，真实生产中并没有这么多负样本，想要积累需要很长时间，风险控制是等不起的。这时我们通过视觉风控大模型，让模型学习海量图像的纹理、颜色和形状等基础特征，我们可以在面对新的欺诈攻击时，快速微调模型，以适应新的攻击手段。这种方式能够大大提高我们应对新型欺诈的速度和准确性。

第四，合理设计模型的 Y 值，如在处理人脸攻击时，我们的重点是识别真人与假人，而不是每种具体的假人攻击类型。我们设计的模型关注的是识别是否真人，其余非真人图像都是假，这种模型设计方法使得模型具有更强的泛化能力，能够识别新的、未见过的假人攻击类型。

为了更有效地防范复杂的欺诈手段，我们采用了多模态技术策略，将语音、图像、视频结合在一起进行验证。例如，通过数字人与用户实时对话，实时对图像，语音，环境，背景，微表情，行为等进行分析，验证用户是否是真人以及贷款意愿等，进一步提高风险能力。

攻击手段层出不穷，我们的防范手段也必须与时俱进。特别是在面对 AI 攻击时，我们必须用 AI 技术来应对这些新型攻击手段，不能依赖传统的解决方案。我们需要不断更新和创新解决方案，以保持对抗新型攻击的能力。

InfoQ：您认为 AI 和大模型技术会给金融反欺诈带来哪些变革和创新吗？

王小东：AI 和大模型，尤其是大模型技术，目前在金融领域确实带来了不少变革。我们可以将大模型分为生成式和非生成式两类。

生成式大模型主要用于生成文本、视频和其他内容。在反欺诈领域，生成式大模型带来的变革不大，它反而降低了攻击者生成虚假内容的成本。比如利用 AIGC 可以轻松生成虚假数字人、换脸视频、换声等攻击道具。

但从防御的角度看，这也有助于我们。例如，我们可以利用这些生成工具快速生成负样本，用于训练模型，以便更好地防范攻击。这是生成式大模型带来的第一个好处。另一个潜在的好处是，它可以在营销中生成视频或文字内容，虽然这些内容必须经过严格审核才能使用，但在某些场景下还是能提供帮助，同时在报告撰写、TOB 的智能助手、知识总结、企业内知识搜索、智能客服、信贷助手等有一定提效作用。

对我们来说，非生成式的大模型更加重要，可以提升模型开发效率，解决生产场景中负样本少的问题和痛点。比如视觉大模型、语音大模型，它的优势在于参数量大，能够学习语音、图像等基础特征，应用于模型的快速开发。当我们有一个新的算法任务时，可以基于大模型进行微调，迅速生成适用于特定场景的小模型。

视觉大模型能够学习和掌握大量金融领域的图像信息，比如身份证、人脸、房产证、结婚证等数据。这样，当面对新任务时，只需要进行微调，大模型就能迅速生成一个小模型来应对。这种能力使得模型的开发和应用变得更加高效。

InfoQ：在团队管理和项目推进方面，您是如何确保创新和高效的？

王小东：在管理方面，我对团队的要求是首先学会为自己减负。作为程序员，无论是做算法、工程还是前端工作，都要善于利用 AI 和工具来提高效率，而不是仅依赖手工编写代码，先学会对自己减负。比如，处理银行客户的日常需求时，可以通过 AI 和 RPA 技术自动化完成任务，从而节约时间并提高工作效率。其次，我也会分享自己的工作方法和经验，比如大家经常说我写代码或写材料很快，其实我是平时没事的时候就会思考要怎么做，这样等到执行的时候，就只需按照想好的思路和框架完成就行了，其次就是多些多试新技术新方案，保持好奇心。

至于如何保持创新，我总结下来主要有几点：

• 接受新技术。我要求团队要主动了解前沿技术的发展，保持开放心态，不要排斥新技术。同时要去理解技术的本质，避免盲目跟风和浪费资源。比如生成式大模型在金融场景中的使用存在风险、应用有限，但能看到这些技术背后的本质是很关键的。
• 保持好奇心。鼓励团队成员时刻关注行业动态，关注 AI 在金融领域有哪些新的应用和创新，包括一些技术峰会、论文、头部 AI 账号等发布的信息，不论这些内容是否有吹嘘的成分，团队成员都需要有自己的判断力，去辨别它的真实性和价值、可落地性和可借鉴性。
• 全能型人才：我希望团队成员不仅仅是单一领域的专家，而是能够掌握多方面的技能。比如除了算法，还能掌握工程、前端等。虽然不要求在每个领域都非常精通，但至少要有基本的理解和经验。我认为，当具备广泛的知识储备时，自然就能在工作中找到创新的解决方案，创新是在知识足够多的情况下碰撞出的解决方案。总的来说，大厂需要专才，但我们这类中小厂商需要更多多面手，因此，我更倾向于培养全能型人才，而不是拧螺丝钉的专才。
• 与业务团队多沟通：公司有很多业务团队，他们经常出差与银行客户沟通，了解客户痛点和需求。我会经常拉着技术团队与这些业务人员交流，以便了解一线银行的痛点和需求。通过这种沟通，我们可以发现新的创新机会。如果我们的 AI 技术能帮助解决这些痛点，这本身就是一种创新。创新不只是技术上的突破，更是找到业务痛点并用技术解决它的过程。
• 鼓励试错。在算法和大模型开发中，我鼓励团队大胆尝试和试错。算法和模型的开发往往需要多次调整和改进，而不是一次性就能成功。我不以结果为唯一考核标准，而是更关注团队成员是否在不断尝试和改进以及自我思考。我相信，通过不断的试错，最终可以找到最佳的解决方案。

InfoQ：在未来的工作中，您和您的团队有哪些新的目标和计划？

王小东：在未来的工作中，我们团队有以下几个主要目标和计划：

• 继续关注非生成式的大模型：我们将持续关注并研究生成式的大模型技术，我们暂时不会在生成式 AI 上投入太多精力，因为我们认为它在金融领域的应用价值有限。相反，我们会继续研究非生成式的基础图像大模型、语音大模型，以应用于各种信贷业务的分类、检测、欺诈识别场景中和以及语音识别和语音合成相关领域。
• 发展 AI Agent 的能力：我们还计划进一步落地 AI Agent 的能力。通过 AI Agent，我们希望能够快速实现一些 AI 应用，代替人工执行一些重复性任务，如提取数据、处理流程类工作、报告撰写、信息整理、自动审批、刷数等，从而提高工作效率，降本增效。
• 利用大模型的语言理解能力：我们将利用大模型的语言理解能力来增强人机对话的智能性。当前的智能外呼机器人、智能客服等机器人产品在理解用户意图方面还存在不足，我们的计划是利用大模型的上下文理解和意图识别能力提升智能化，但会慎用其生成内容的能力。我们将专注于大模型在意图识别和知识库检索方面的应用。

InfoQ：您将在 8 月 16 日～17 日举办的上海 FCon 金融科技大会上分享“大模型下的多模态智能风控落地实践”主题演讲，能否为我们简单透露一点演讲内容？您希望透过这个演讲传达哪些核心信息？

王小东：我会深入分享利用视觉大模型 AI 风控、语音大模型 AI 风控、音视频交互式风控等技术解决 OCR、身份认证、视频流等银行在线化信贷环节中存在的身份伪造和信息造假的技术解决方案。我希望通过此次演讲，传达非生成式的大模型在对抗 AI 造假方面的潜力，以及新的金融风险识别研究思路，帮助行业更好地应对未来的挑战。

嘉宾介绍

王小东，现就职于新希望金融科技有限公司，担任 AI 中心总经理，负责研发公司基于 AI 和大模型的创新型产品和风控产品。目前已完成 20 多个 AI 项目的研发和落地，并在多家银行应用。曾就职于华为 2012 实验室和蚂蚁金服人工智能部，从事大数据开发和人工智能技术相关研究 10 年左右。以第一作者申请发明专利 30 多项，发表论文 10 多篇，申请软件著作权 10 多项。工作期间获得华为 2012 实验室代码百强员工，新希望金融科技总裁特别奖，年度最佳个人，金熊猫高价值专利奖，主持多项四川省科技厅项目，获得多项科技成果等。

内容推荐

金融行业凭借相对完善的数据和技术基础，以及丰富的业务场景，成为智能技术的实践场。在智能时代背景下，包括银行、保险、证券等在内的金融机构正在借助 AI 大模型、大数据、云计算等数字化技术不断完善和迭代自身的产品和服务，同时通过向外赋能，加速其它行业数字化，完成数实融合。关注「InfoQ 数字化经纬」，回复「实践案例」领取相关资料。

 活动推荐

8 月 16-17 日，FCon 全球金融科技大会将在上海举办。本届大会由中国信通院铸基计划作为官方合作机构，致力于展示金融数字化在“十四五”期间的关键进展，以及近一年多来金融领域的 AI 大模型落地实践。大会邀请了来自工商银行、交通银行、华夏银行、北京银行、广发银行、中信银行、平安证券、华泰证券、度小满、蚂蚁集团等金融机构及金融科技公司的资深专家，现身说法分享其在金融科技应用实践中的经验与深入洞察。大会火热报名中，详情可联系票务经理 17310043226 咨询。

企业福利金融行业数字化如何落地，数字化人才如何培养，行业内头部企业如何数字化转型，《金融行业数字化人才培养解决方案》为您整理了金融业培养现状、人才培养重点、企业服务矩阵以及部分行业内数字化先行者的转型实例，扫码添加小助手，回复「金融方案」可免费获得，分享以渔获得新的人才培养灵感！

福利通道

• 关注「InfoQ数字化经纬」公众号，回复「案例」领取《行知数字中国数字化转型案例集锦》。
• 关注「InfoQ数字化经纬」公众号，回复「进群」加入数字化读者群交流。
• 关注「InfoQ数字化经纬」公众号，回复「抽奖」可以参与本周活动，有机会获得精美礼品。

今日好文推荐数字化转型中，“迷糊”与“清醒”的界限在哪里？
从排产到库存，智能算法在供应链优化中的应用与实践数字化时代的企业架构师团队：“设计院与监理公司”的双重角色大模型时代的工业质检：技术革新与实践探讨数字化浪潮下，软件行业的“鄙视链”警惕银行数字化营销的4大“陷阱”