对于社交平台而言,生态安全治理不仅涉及违规内容的识别与处置,也贯穿账号管理、社交互动和用户保护等多个环节。面对诈骗引流、虚假人设、低质内容及不文明互动等多样化风险,如何提高风险识别的准确性与处置效率,成为平台持续完善治理能力的重要课题。近年来,AI技术在内容审核和风险研判中的应用不断深入,也为社交平台探索更加智能、精细的治理模式提供了新的技术支撑。
近日,Soul App发布《2026年第三季度生态安全报告》,披露最新一季度的平台治理成果。报告显示,Soul在三季度进一步扩大Agent智能审核的应用范围,覆盖诈骗、违规引流、色情交易等多类风险场景,日均审核识别量超过1.6万例,平均审核耗时仅40秒。同时,平台持续完善广场内容审核、社交骚扰防护及未成年人保护等机制,以技术治理与用户引导相结合的方式,营造更加安全、友善的社交环境。
AI审核覆盖更多风险场景
在网络诈骗及黑灰产治理中,违规账号往往通过不断调整话术、伪装身份、转移引流方式等手段规避审核。面对这些复杂多变的风险行为,依赖固定规则或单一内容特征的识别方式存在一定局限,如何提高审核效率与判断准确性,成为平台治理的重要课题。
今年以来,Soul不断探索Agent技术在安全审核领域的应用。进入三季度,平台针对杀猪盘、违规引流、色情交易等风险类型,进一步完善相应的Agent审核能力,借助智能化工具辅助识别不同场景中的风险特征,提高对可疑内容及账号的研判效率。
目前,Soul的Agent日均审核识别量超过1.6万例,AI审核比例达到85%,其中处置风险账号3000余个。相关审核准确率达到90%以上,平均审核耗时约40秒。这意味着,AI不仅能够承担更多常规审核任务,也正在成为复杂风险判断的重要辅助工具。
针对以索取钱财为目的的违规“网乞”行为,Soul还引入专门的智能审核大模型,进一步加强对相关内容的识别与处置,准确率达到99%以上。通过细化不同风险类型的审核策略,平台得以更加及时地发现并干预潜在违规行为。
除了对诈骗及引流行为加强防范,虚假人设与盗图问题也是本季度治理的重点。对于冒充他人、盗用图片、虚构身份及虚假炫富等行为,Soul综合图片来源、人像特征、账号关联信息等线索进行判断,并依据风险程度采取相应处置措施。三季度,平台累计处理假人设违规账号4万余个、相关帖子8万余条,进一步维护社区社交信息的真实性。
广场内容治理更加精细
在公开内容场景中,一些违规行为并不会直接出现在帖子正文里。用户昵称、个人标签、主页背景等看似零散的信息,经过组合后,也可能成为不良引流或虚假交友的线索。
为此,Soul在三季度新增用户主页快照审核能力,将审核视野从单条帖子拓展至用户主页的多个信息维度。通过综合判断账号资料与发布内容之间的关联,平台能够更有效地发现消费托、红娘、有偿交友、广告引流及低俗导流等违规行为,相关处置准确率达到99%。
与此同时,广场内容的常态化治理仍在推进。三季度,Soul通过机审直接拦截违规内容290万条,处置相关跟帖评论404万条,处理违规账号10.8万个,累计封禁违规设备2498个。此外,平台继续通过友善互动声明等方式引导用户遵守社区规范,季度内累计有15.6万用户签署相关声明。
对于有偿交友、低俗擦边、钓鱼交友等影响社区氛围的内容,Soul也进一步完善了从识别到处置的审核流程。平台结合多模态模型、大模型、风险内容治理Agent及人工复核等能力,对可疑内容进行综合判断,并根据违规程度采取限制分发、降低推荐权重等差异化措施。
目前,平台日均处理相关低质内容超过13万条。通过更加细致的内容审核与风险分级,Soul在保障正常交流和表达的同时,减少违规及低质信息对用户体验的干扰。
加强互动场景安全防护
对于社交平台而言,内容安全不仅关乎用户看到了什么,也关乎用户在交流过程中遭遇了什么。尤其在群聊、私聊等互动场景中,攻击辱骂、频繁骚扰及其他不文明行为,可能直接影响用户的社交体验。
在群聊治理方面,Soul通过实时消息审核、房间巡检及自动化管理策略,对群聊中的违规内容和不良行为进行及时干预。三季度,平台群聊消息流日均处置违规用户相关行为7000余次,拦截违规文本1.5万条;同时,对存在问题的群聊房间名称进行持续清理,日均处置违规房名2500余次,减少不良内容在群聊场景中的传播。
私聊保护则更加关注用户的实际感受。对于重复发送的骚扰消息、令人不适的互动内容,平台通过风险识别和消息隔离等方式,尽可能减少不必要的打扰。Soul持续优化“骚扰消息自见”、消息盒子及守护提醒等功能,让用户能够更自主地管理私聊信息、维护个人社交边界。
报告显示,三季度,相关骚扰消息防护策略日均保护用户6.5万余人,消息盒子日均收纳消息3000余条,面向疑似遭受骚扰的用户日均下发守护弹窗8.8万余次。平台还通过礼仪分管理和文明互动提醒等机制,对不友善行为进行约束,鼓励用户建立相互尊重的交流习惯。
针对网络暴力与恶意骚扰,Soul同样加强了对用户互动过程的保护。三季度,平台日均帮助用户隔绝网暴及频繁骚扰3149次,处理存在私聊不文明行为的用户1744个,提醒友善评论2490次。
从公开评论到私人对话,平台正在通过技术识别、产品干预与用户自主防护等不同方式,减少不文明行为造成的影响,让用户在建立社交关系的过程中获得更充分的安全保障。
完善未成年人保护与社区共治
三季度恰逢暑期,未成年人保护成为网络生态治理的重要工作之一。针对这一时期的保护需求,Soul开展未成年人专项保护行动,在原有审核机制基础上,进一步加大对相关内容的审核力度,并优化针对骚扰未成年人等不良行为的识别策略。
据了解,专项行动期间,Soul投入的未成年人内容审核资源量扩充至此前的3倍,相关内容的整体审核量也同步提高至3倍。在扩大审核覆盖范围的同时,平台加强了对有害内容的发现和处置,三季度有效识别并处理的相关有害内容数量较第二季度提升20%以上。
在技术防护之外,社区生态建设也离不开用户对平台规则的理解和参与。三季度,Soul官方账号“风纪球长”围绕违规行为处罚、安全标准、社交礼仪及网络辟谣等主题,累计发布生态安全宣传内容71篇,触达用户53万人。
通过公开典型违规案例、普及安全知识和倡导文明互动,Soul希望让更多用户理解平台治理规则,提高风险防范意识,并在日常交流中共同维护友善的社区氛围。
未来,Soul将继续探索AI技术在生态安全治理中的应用,推动智能审核、产品保护与社区规范建设相互协同,不断提升风险识别和综合治理能力。与此同时,平台也将持续关注用户在不同社交场景中的实际需求,完善覆盖内容发布、账号管理及互动交流的安全机制,为用户营造更加真实、安全、友善的社交环境。
