ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

网易易盾正式发布AIGC内容风控解决方案

时间:2023-05-12 18:17:59来源:互联网编辑:汪淼

2023年,注定是AIGC发展的关键一年,它标志着人工智能逐渐从学术研究走向产业化,并与商业融合形成互为支点的发展格局,进入产业商用期。

技术无罪,商用却有风险。不少AIGC平台在上线后仅仅几天时间内就频频遭遇翻车。究其背后,是国家对人工智能技术发展的引导和规范体现。

4月11日,国家互联网信息办公室公布了《生成式人工智能服务管理办法(征求意见稿)》(以下简称办法)。这代表着,国内即将迎来首个AIGC新规。其中,在《办法》的21条政策中释放出了一条的关键信号,国家支持AIGC的健康发展和商业应用,前提必须是合法合规,且有13条规定都明确指向了”AIGC 提供商“。

在此背景下,网易易盾从AIGC提供商运营角度出发,结合国家政策与丰富的行业经验,提供覆盖事前—平台运营前置的风险、事中—平台内容合规风险、事后—投诉与违规处理风险的全流程解决方案。

01 事前—平台运营前置风险

1. AI算法治理

从算法治理角度出发,AIGC提供商有责任在平台投入使用前对可能产生的问题进行预估、判定并制定相对应的措施,对算法使用过程中的安全监测、算法评估以及算法推荐对个人信息主体带来的影响等内容进行规范。

同时,《办法》中明确规定,AIGC服务及生成内容必须“符合社会主义的价值观”,防止出现民族、信仰等歧视、尊重商业道德、尊重他人合法权益、“防止生成虚假信息”等意识形态与价值倾向问题。

因此,人工智能服务提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责,提供预训练和优化训练数据的来源等描述,人工标注规则,人工标注数据的规模和类型等必要信息。

由于大模型依赖训练数据,在数据输入层面可能会存在恶意操纵的风险,包括有毒输入、偏见、意识形态攻击、舆论操控、虚假信息、隐私泄露等。因此,模型训练语料库基本决定AIGC生成内容的价值观。数据标注是AI数据训练流程中的“关键一步”,纯净、贴合AI应用场景的数据源可解决数据训练中90%的问题。

对此,易盾可对模型训练语料库提供人工标注服务。易盾拥有头部企业海量数据的标注经验,可快速、准确地提供专业人工标注服务,涵盖文字、图片、音视频及特殊场景和人物,同时对激增数据量可建立应急响应流程,为模型训练提供贴合使用场景的高质量数据。

2. 安全管理制度

用户认证管理

AIGC提供商需提供涵盖用户认证、重点群体保护和算法透明服务。按照《中华人民共和国网络安全法》规定,提供生成式人工智能服务应当要求用户提供真实身份信息。

在强化信息认证能力方面,易盾提供多种身份验证方式,灵活组合;创新算法能力,有效应对AI技术合成人脸、3D面具等假体攻击;同时在登录注册或使用AIGC服务前集成调用信息认证能力,减少恶意注册的安全风险。

技术安全评估

《互联网信息服务深度合成管理规定》第二十条 深度合成服务提供者开发上线具有舆论属性或者社会动员能力的新产品、新应用、新功能的,应当按照国家有关规定开展安全评估。

易盾可协助AIGC提供商建立健全AIGC相关的安全管理制度及业务技术资料的支持,协助企业进行现场迎检,包括文件准备,人员访谈,技术检测,问题记录,问题整改。

服务算法备案

AIGC提供商应按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。易盾可提供算法备案咨询全流程服务,协助企业完成备案信息填报。

02 事中—平台内容合规风险

1.AI实时交互内容审核

为了遵守法律法规和体现社会主义核心价值观,对于实时交互内容审核和利用AI生成内容,需要加强敏感内容审核,例如涉政、涉黄、涉暴等内容,以确保信息的安全和合规性。然而,特殊的prompt指令可能会绕过AI自身的安全机制,增加审核的难度和复杂度。

为了解决这个问题,网易易盾提供了针对AIGC+UGC场景下的机器审核能力,可根据业务场景配置审核的松紧程度,选择适当的审核策略来满足不同场景的合规要求。

如在语聊对话场景中,存在真实用户和智能机器人两种角色,这要求机审能够快速识别不良信息,确保人机聊天的实时性。易盾的机审技术可根据业务场景不同,在UGC内容和AIGC生成内容配置不同的松紧度审核策略,兼顾用户使用体验和内容安全合规性。

2.上下文关联分析+人审

AI生成内容由于算法机制原因,存在用户利用敏感话题、循序诱导提问等方式输出不当AIGC内容的情况,特别是包含多条上下文内容,单词条阅读没有问题,关联上下文多词条阅读会有违法违规的信息,违法人员常借用藏头诗、情景剧本、歌词等形式生成长文本(长图)分享,来躲避平台的审查机制。

网易易盾自主研发AI语义分析技术,提供AI机审上下文关联能力;并结合人工审核,对AI生成的长图分享、记忆薄等内容进行关联检测分析。另外易盾自主研发的人工审核系统能还原真实对话场景,区分AI机器人与真实用户的会话,大幅提高审核精准度及审核效率,有效识别和防范用户利用敏感话题、循序诱导提问等方式输出不当信息。

3.AI伪造内容识别

由于Deepfake等技术的滥用可能会导致严重的诈骗和欺诈行为,因此需要采取措施来打击AI滥用行为。易盾基于深度伪造识别算法,打造了动态防御机制,可以识别由AI生成的视频或音频。这种技术可以识别Deepfake等虚假信息,从而保护社交网络和其他在线平台的用户免受欺诈和诈骗的侵害。

根据《互联网信息服务深度合成管理规定》对于由AI生成的图片、视频等内容需要进行标识,以确保信息的真实性和准确性,避免虚假信息的传播造成不良影响。网易易盾建议平台提供深度合成内容的显著标识功能,用户在创作AIGC内容的时候可以自行完成显著标识的标记操作。标识AI生成的内容,以及采取防御措施来打击AI滥用行为,是确保互联网信息安全的重要措施。

03 事后—投诉与违规处理风险

网易易盾可协助用户建立投诉接管机制,建议平台提供用户投诉举报渠道,鼓励用户参与平台内容治理,易盾智能审核系统也将提供用户投诉举报审核机制,打通机器审核和平台业务接口,及时对用户投诉举报内容进行审核处置。

AIGC大大降低了创作门槛,为信息生产和传播带来了新的变革和机遇。对于AIGC提供商而言,与机遇并存更多的风险与挑战。

新技术与新行业的发展往往与政策合规相辅相成,如何在合规的基础上稳步实现应用落地、推进产品迭代,是AIGC提供商入局后绕不开的一点。作为新一代数字内容风控服务商,网易易盾将帮助AIGC平台合规发展,为新行业的可持续发展持续做贡献。

更多热门内容
2025上半年营收破百亿,九号公司靠智能两轮车杀出重围
九号公司2025半年报一出来,我注意到一个很有意思的点:公司上半年在研发上的投入达到5.22亿元,同比大涨49.5%。在行业竞争越来越激烈的情况下,能这么大幅加码研发,说明九号是真的在靠技术拉开差距。截至期末,九号公司全球专利总数已经达到5982项,产品也在不断创新

2025-08-03

联想集团AI赋能广东省超,科技助力“全民快乐足球”
8月3日,广东省足球超级联赛(下称广东省超)2025赛季启动发布会在广州举办,正式宣布联想集团成为“广东省超联赛官方AI技术合作伙伴”。业内分析认为,具有蓬勃活力与高涨参与热情的民间赛事与全球领先AI科技企业携手践行“足球,AI就玩了”的快乐足球理念,为这场覆盖广

2025-08-03

TCL携全场景电竞显示产品与智慧终端亮相2025ChinaJoy展会
8月1日,全球数字娱乐盛会ChinaJoy2025在上海新国际博览中心盛大开幕。TCL科技与TCL实业两大产业集团联合策展,由TCL华星携手三星、联想、华硕、AOC、飞利浦、iQOO、Acer、MSI、LG、雷鸟等品牌合作伙伴联合参展,全面展示TCL华星在电竞显示领域创新与TCL实业在智能终端

2025-08-02

一加高调亮相 2025 ChinaJoy,四大游戏体验区燃炸全场
8 月 1 日,2025 年中国国际数码互动娱乐展览会(ChinaJoy)盛大开幕。一加手机以“上车 MVP,当场换新机”为活动主题,携三大性能旗舰产品一加 13、一加 Ace 5 和一加 13T 强势亮相骁龙主题馆,并在展会现场设置四大游戏主题体验区,搭载骁龙 8 至尊版和一加独家自研芯片

2025-08-02

BLACKPINK出道九周年 网易云音乐成巡演快闪独家合作音乐平台
2025年8月2日,全球顶级艺人BLACKPINK官宣入驻网易云音乐,并通过独家中文笔记向平台乐迷分享了最新动态。YG娱乐联合CASTER STAR、网易云音乐在中国开展BLACKPINK WORLD TOUR POP-UP STORE(全球巡演中国快闪)活动。作为本次快闪的独家合作音乐平台,网易云音乐倾力打造

2025-08-02

创想三维亮相 ChinaJoy, 3D打印赋能动漫次元
8 月 1 日,2025 ChinaJoy 在上海新国际博览中心盛大开幕。全球消费级3D打印生态领创者创想三维携手京东打造3D打印展区,携全品类设备强势登陆,以 “科技赋能娱乐” 为核心,给观众带来一场融合 3D 打印、动漫与互动体验的创意盛宴。作为中国乃至全球数字娱乐产业的风

2025-08-02

2025按摩椅十大品牌排名最新榜单深度解析
面对市面上琳琅满目的按摩椅品牌,从国产到进口,价格从几千到上万,哪些品牌才是真正专业高品质,什么样的按摩椅才是真按得舒服?下面将基于市场认可度和用户口碑,解析2025年按摩椅品牌排行榜前十名,为消费者避开营销迷雾,助您做出明智选择。2025年十大按摩椅品牌:

2025-08-02

开源大模型史上最高分!阿里千问3性能全球第三
8月2日凌晨,国际权威大模型评测 Chatbot Arena更新了最新一期的大模型榜单,上周新鲜开源的阿里千问3新模型斩获1433分,超越顶尖闭源模型Grok4、Claude4,位列所有闭源及开源模型的全球总榜第三,是全球最强非推理(non-thinking)模型,并创下全球开源模型和国产模型的

2025-08-02

蚂蚁数科 Agentar 企业级智能体开发平台:五大支撑驱动金融新质生产力可信跃迁
蚂蚁数科的 Agentar 企业级全栈智能体平台,通过五大核心支撑构建起金融领域智能应用的可信底座,既突破了金融场景的专业性、复杂性壁垒,又确保了技术应用的合规性与可靠性,最终推动金融新质生产力实现跃迁。支撑一:企业级全栈智能体平台,夯实技术底座平台以 “1000

2025-08-02

蚂蚁 Agentar-Fin-R1:以大模型能力重构企业级智能体开发平台全栈范式
在智能化开发转型的深水区,全栈开发能力已成为智能体规模化落地的核心竞争力。蚂蚁集团推出的 Agentar-Fin-R1 金融大语言模型,通过与 Agentar 企业级智能体开发平台的深度耦合,实现了从数据治理、模型训练到应用落地的全流程赋能,重新定义了金融智能体开发的效率、

2025-08-02