浅析音视频智能分析在金融行业的应用
验“金”室
随着全社会信息化程度的提升，音视频的使用日益广泛。金融行业也广泛采取录音录像的方式来记录金库、网点、ATM等重要场所的环境状况以及重要业务的办理过程，通过事中监控、事后检查的方式来减少违法、违规事件的发生，并提供溯源能力。
音视频属于非结构化数据，目前采取人工检查的方式进行分析排查，其时效难以满足业务量日益增长的需求。随着人工智能技术（AI）的发展，业界正逐步探索通过AI来实现对音视频的自动化分析，于是产生了音视频智能分析的概念。
一
音视频智能分析概述
1.技术原理
音视频智能分析是指利用语音识别、自然语言处理、计算机视觉等AI技术，从音视频中提取出分析对象的语义文本、外观、位置、动作等属性，通过对相关属性的辨别及跟踪，判断是否符合特定规则（如图1所示）。
图1 音视频智能分析平台
音频方面，一般先通过自动语音识别技术（Automatic Speech Recognition，ASR）将语音转为文本，再使用神经语言程序学（Neuro-Linguistic Programming，NLP）技术根据判断规则进行文本归类、相似度比对、观点抽取、情感分析等处理。
视频方面，一般先使用YOLO、SSD、Faster-RCNN等对象识别算法，分析对象是否出现及其所在位置、外观等属性，并结合不同时间、不同画面中出现的同一对象的位置、外观等属性来分析其运动轨迹。
音视频智能分析的方式主要有三种：
属性识别。分析对象是否出现及其外观、位置等，常用于对象的识别与跟踪，如VIP客户识别、客户轨迹跟踪、黑名单人员布控。
流量统计。分析对象的数量有多少，常用于人群/车辆的密度、流量统计。
行为分析。分析对象的行为是否符合规则，如客户经理是否提示风险、客户是否明示同意、人员是否翻墙。
2.音视频智能分析优势
受分析人员的经验、精力及分析规则的复杂度等因素的影响，人工音视频分析常常需要反复查看、收听，逐个检查核对，耗时费力，同时也存在分析水平不一、分析覆盖率不易把控等缺陷。
相比于人工分析的方式，音视频智能分析有以下优势：
提升分析的时效性及覆盖面。音视频智能分析在时效性上优于人工分析，且可以通过增加AI节点的方式按需扩展，实现对所有音视频、所有检查点的全覆盖分析。
执行统一的分析标准。分析规则及标准可实现统一，降低对检查人员经验的依赖，减少主观因素的影响。
二
金融行业应用场景分析
随着5G、音视频等技术的发展，金融行业采取音视频技术提升对客服务、运营效率的情况将日益普遍。基于AI技术的音视频智能分析技术在安防、对客服务、网点运营等场景有着广阔的应用前景。
1.安防监控
目前，机房、办公大楼、网点、金库、ATM等区域均部署了安防摄像头，可以通过音视频智能分析技术来自动判断监控中是否存在异常事件并告警，如翻墙、越线进入禁止区域、人员徘徊踩点、黑名单人员进入监控区域、ATM安装读卡器、ATM蒙面取款等。
2.对客服务
线上线下的产品营销、业务办理、客服中心等场景，通常通过录音录像来记录办理流程，可使用音视频智能分析技术自动实现业务办理的合规性检查、客户满意度/咨询/投诉的统计分析等。
3.网点运营
通过对营业网点摄像头的视频分析，可以实现VIP客户识别以及各时段的进出流量、各区域的人群密度、人员轨迹、网点客户特性（如性别、年龄段）等方面的统计分析，为网点运营效率的提升提供数据支撑。
三
金融行业典型应用
为防范误导销售、私售“飞单”等情况，银保监会明确要求金融机构在营业场所销售理财产品时，对每笔产品的销售过程同步录音录像，确保消费者已明确知悉产品风险及其他关键信息。但由于业务经办人员操作不规范等原因，往往需要投入较大的人力资源对销售过程的录像进行事后检查。因此，对此类视频的自动化分析正是音视频智能分析的典型应用之一。
1.人工分析方法
在理财产品销售时，销售人员需要表明身份并介绍产品的详细信息及风险，期间还需要与客户多次沟通确认，其流程如图2所示。
图2 理财产品销售流程
人工分析时，需要播放相关视频，检查人员对照着标准业务流程逐个确认相关环节是否有缺漏，由于环节较多，分析耗时较长。
2.音视频智能分析方法
综合利用语音识别、自然语言处理、计算机视觉分析等技术，实现对语音、视频内容的自动化分析，音视频智能分析流程如图3所示。
图3 音视频智能分析流程
语音分析方面，使用自动语音识别技术将语音转为文本后，利用神经语言程序学技术比较该文本与销售流程模板的相似度，分析明示自身身份、产品信息与风险说明、客户明示了解等各环节是否存在缺漏。
视频分析方面，通过人脸检测、动作识别、光学字符识别技术（Optical Character Recognition,OCR）分析销售人员与客户是否位于同一画面、客户是否事中签字、销售人员是否展示证件/产品资料等。
通过智能分析技术，检查人员只需对存疑的分析结果进行人工复核即可，大大降低了工作量。
音视频智能分析技术一方面可以极大提升分析效率，降低人力成本，另一方面可以充分挖掘音视频的业务价值，提升对客服务和运营管理水平，是金融行业数字化转型、提升竞争力的又一利器。
更多精彩内容
FCC30+
长按左边二维码
关注我们不迷路