合规成本降 80%,AI 开始“整顿”视频社交?|对话一线

对话嘉宾: HOLLA Group CTO 张玉智、HOLLA Group 业务中台 VP 王广威
陌生人社交经济从来不缺市场。视频社交、语音房、直播,这些围绕陌生人交友连接做起来的生意,玩法形式虽然各有不同,但是底层思路带来的风险却一直如影随形,十年未变。HOLLA 通过不断探索审核边界,探索出了一条,审核加产品交互推动业务发展的新思路,在高度合规的情况下推动产品发展。
值得关注的外部诱因是,在法律法规层面,这项曾经赚钱的生意,却日益承受监管压力:欧洲 GDPR、美国 COPPA、澳大利亚立法禁止未成年人使用社交产品,应用商店也跟着各国立法收紧上架规则,市面上已有大量社交产品因合规问题被下架。而 HOLLA 持续保持近些年在各平台应用零下架,全合规的发展态势。
4月21日,在 HOLLA Group & 亚马逊云科技媒体沟通会,我们与 HOLLA Group CTO 张玉智、业务中台 VP 王广威就社交产品合规与审核做了深入交流。HOLLA Group 团队表示,在使用了 AI 之后平台上违规内容识别率从 95%提升到 99.7%,每年传统审核成本从数百万元降至数十万元,下降比例惊人,这一切得益于亚马逊云科技及其 AI 产品起到了强有力的推动作用。
以下是详细内容,白鲸出海稍作整理。
Q:从公司和技术团队角度看,内容审核对社交类产品的重要性是怎样的?
王广威:目前,对整个视频社交,乃至社交行业而言,合规越来越重要。此前,由于部分国家尚无实际管控政策,即使审核不太严格,部分小产品心存侥幸,产品也能一定层度上进行运营,但由于各国逐渐开始立法,平台合规趋严,风险越来越高。
我们认为,对做社交的公司来说,审核合规是生命线。
Q:AI 审核与此前传统的审核方式有何区别,AI 的优势和劣势分别是什么?
张玉智:传统模型的特点是 " 一个萝卜一个坑 ",识别涉黄、枪支、未成年用户等任务都需专门训练,且训练过程需要大量人工打标,成本极高。而且,传统模型只能识别单帧画面或单条文本,没有上下文理解能力,靠传统模型做审核,覆盖率最高只能做到 95%左右。
传统模型仅能识别已发生的违规行为,而 AI 大模型可以提前预判风险,比如,如果识别到“夜晚、卧室、躺卧”等场景组合,系统就会判定用户处于高风险状态,提高抽帧审核频率,并在匹配环节直接限制,不将其匹配给新注册用户、女性用户等对内容敏感度较高的群体,从根源杜绝违规对其他用户的影响。
Q:除了规避涉黄、未成年等风险,在防诈骗方面,AI 是如何发挥作用的?
张玉智:在社交平台上,诈骗一直存在,目前常规诈骗手段分两种,一是用假视频或虚拟摄像头,诱导用户到站外诈骗;另一种是个体杀猪盘,取得用户信任后,再诈骗。
对于群体型诈骗,我们建立了图片向量数据库,把黑产录制的视频向量化存储,并在审核过程中,将视频与数据库进行对比,一旦匹配,就会立即封禁,在用户真正受害之前切断链路。
而个体杀猪盘,此前是审核盲区。这类诈骗一般持续时间很久,两人认识可能长达半年,聊天内容,且每句话都很正常,传统模型靠关键词很难识别,只能靠用户举报。而大模型则可以识别上下文,能快速判断出用户是否有被情感欺诈、财务欺诈的风险。
Q:成本方面,大模型与传统模型相比如何?AI 审核的成本是否更高?
张玉智:传统模型的优点在于识别效率和速度极高,能毫秒级完成垂直模型的识别,但功能单一。AI 通用模型则擅长泛识别,但时延和成本均高于传统模型。我们不会将所有用户视频都交给大模型审核,而是将视频处理成合理分辨率的图片,因为图片处理的成本较低,使用Amazon Nova 模型,1 美元可审核近 1 万张图片,且工程可用度满足需求。
而且,AI 大模型不可能完全替代传统模型在高频、高速场景下的识别。因此,在工程实践中,我们会利用 AI 大模型来蒸馏和训练端侧传统审核模型,能够大大降低开发周期和成本,每年研发成本从百万甚至千万降至约数十万左右。
王广威: 我们现在构建了一套传统模型与 AI 模型配合的审核链路。在抽帧之后,会先由端上传统模型 T-Hunter 进行审核,主要检测未成年人、涉黄等基础问题,然后交由传统模型全面审核,最后将图片、文字、音频内容提交给Amazon Nova 综合判断,人工审核兜底。
多轮审核后,只有当其他审核无法确认但存在风险时,人工才会介入综合判断。
Q:下一阶段提升审核准确率的主要挑战是什么?
王广威:未成年人认证和审核仍是难点。注册环节实际上会导致部分用户流失,因为有的用户可能成年了,但不愿意提供相应配合。在使用环节,即便我们实时审核,但在审核过程未完成时未成年人可能已与他人匹配。当前应用审核的瓶颈是如何无缝、无感地获取用户年龄信息。
目前,AI 已经已有效控制明显的违规内容,如涉黄、涉政、血腥等,但用户不文明现象也比较难进行整治,下一步重点是持续拓展审核范围,治理此类不文明现象。
视频社交这门生意,表面上卖的是社交,底层则是一套越来越复杂的合规体系。随着 AI 工具普及、各国法规持续收紧,合规一直会是一场没有终点的对抗。
【本篇文章属于白鲸出海原创,如需转载:需联系授权方可,未经授权严转载!】
友情提醒:白鲸出海目前仅有微信群与QQ群,并无在Telegram等其他社交软件创建群,请白鲸的广大用户、合作伙伴警惕他人冒充我们,向您索要费用、骗取钱财!


闽公网安备35010402350923号