“这 99 朵玫瑰里,可是藏着 99 个刀片……你怕不怕?”这是 AI 聊天机器人发出的聊天内容。在成年人看来这句话确实没啥问题,你要说邪典吧?的确有点,但是这种话不算擦边,更不算色情。但注意飒姐团队的定语“在成年人看来”。
现在的情况变得颇为复杂,在无数“小孩哥”和“小孩姐”都能接触到手机的时代,这些 AI 聊天机器人所引发的未成年人保护问题和平台法律红线风险就尤为值得警惕。今天,飒姐团队就和大家唠唠 AI 聊天 APP 给未成年人提供“擦边”信息,风险到底在哪里。
01
AI 擦边信息随处可见
飒姐团队发现在不少手机 APP 市场中都能下载到诸如“AI 女友”“AI 聊天”之类的 APP,部分 APP 在花钱开通权限之后,可以解锁各类不同的 AI 角色。这些不同角色都有不同的聊天风格可供选择,而且为了增加用户粘性,这些 APP 往往会输出诸多“诱导”用户继续使用 APP 的内容。比如绝大部分的 AI 聊天 APP 中的角色,都不会主动结束聊天,跟 AI 聊天最大的好处就是用户基本不需要自己找话题,AI 会顺着用户的话题聊下去,甚至主动迎合。
通过大模型备案的 APP 自然不会输出禁止内容,但实际上以目前的监管手段,不可能也无法禁止大模型输出一些“正常但稍微有一些擦边”的内容。比如在 AI 男友 / 女友角色里,大模型输出诸如”爱你“”拥抱“这样的词汇实属正常,如果这类词汇也要禁掉,那么基本无法呈现 APP 应有的功能。实际上,飒姐团队发现 AI 男友 / 女友角色中,会输出大量的”擦边“内容。比如“捏住你的后颈按在墙上”“撕开你的衣领露出锁骨”之类的话,你要说它色情吧,如果这类输出内容都算是色情内容,那么基本上断绝了 AI 大模型产品商品化之路,属于是因噎废食了。但如果任由这些“擦边”信息输出,那么很有可能对未成年用户造成非常恶劣的影响。
02
“年龄分级”制度能免除平台责任吗?
正如飒姐团队所言,真正的“硬色情”内容,在通过备案的大语言模型上根本不存在,能通过大语言模型备案并且在商家官方 APP 商店的应用,理论上都可以算是合规的。但问题就在于无论是官方 APP 商店还是 APP 本身,都有可能因为怠于履行用户 KYC 制度而承担责任。
举例而言,在应用商店中,有部分 AI 聊天软件的分级为 17+,这表示该 APP 可能含有频繁和激烈的攻击性语言,卡通、幻想或者显示暴力,以及恐怖、性暗示等题材内容。应用商店的分级制度初衷是通过用户分级来确保未成年人权益保护,但问题是很多 APP 在用户注册的时候,并没有严格履行分级要求,17 岁以下的未成年人可以直接无视软件提示的年龄分级并进行 APP 下载。这就让所谓的“年龄分级”制度成了面子工程。
这种作为面子工程的“年龄分级”极有可能使得 AI 聊天 APP 和应用商店运营商承担巨大的合规风险。从合规角度出发,针对 AIGC 领域网络服务提供者(AI 聊天 APP 开发商、应用平台),我国已经出台了多条规范。《未成年人保护法》明确规定严禁任何组织或个人制作、复制、发布、传播含有危害未成年人身心健康内容的网络信息。AI 聊天机器人生成或传播的色情对话、露骨描述,明确触犯此禁令。同时《未成年人保护法》第 80 条也明确规定了网络服务提供者发现用户发布、传播含有危害未成年人身心健康内容的信息的,应当立即停止传输相关信息,采取删除、屏蔽、断开链接等处置措施,保存有关记录,并向网信、公安等部门报告。
如果平台没有履行义务,那么根据《未成年人保护法》第 127 条的内容,最高可处以一百万元以下罚款,责令暂停相关业务、停业整顿、关闭网站、吊销营业执照或者吊销相关许可证。
这还仅是《未成年人保护法》中规定的内容,除了《未成年人保护法》以外,《生成式人工智能服务管理暂行办法》也对平台的分层防护机制进行了详细规定:服务提供者须采取有效措施防范未成年人过度依赖或沉迷,对可能接触的不适宜内容建立防护机制。这要求平台部署更严格的内容过滤系统、年龄分级制度及有效的未成年人身份识别(如年龄门禁)。
因此,如果应用平台方、AI 聊天 APP 开发者仅是把年龄分级制度当做是一个“面子工程”,显然既做不到合规,又有可能把自己直接“玩进”法律红线的大坑里。
03
写在最后
飒姐团队一直和各位老友提示,技术中立并非免责盾牌,尤其是在 AIGC 盛行的今天,技术中立非但不是平台和运营者、开发者免责的盾牌,甚至连“技术中立”这个概念本身就是不存在的。实际上,现在从监管层面角度考虑,平台的内容责任承担极为明确。平台作为服务的提供者和运营者,对聊天机器人输出的内容负有管理义务。若因算法缺陷、审核不力或默认设置允许生成色情对话,导致未成年人接触有害信息,平台难辞其咎。同时,传统知识产权领域常说的避风港原则,实际上在 AI 领域也是受限的。对于用户恶意诱导生成的违法内容,平台若在知情后未及时处置(如接到举报仍不作为),将承担相应责任。此外,平台、开发者、运营者的“设计责任”也日益凸显,法律要求平台在技术设计之初即将安全(尤其未成年人保护)置于优先位置。缺乏有效内容过滤机制、未设置显著未成年人模式、年龄验证流于形式等设计缺陷,可能被认定未尽合理注意义务。
总体而言,我国法律已构建起相对完善的保护框架,从内容禁止、平台责任到技术治理层层设防。这其中有着非常严格的合规标准,如果走错一步,后果不堪设想。飒姐团队再次嘱咐各位老友,AI 合规,如果碰到未成年领域,一定不能忽视!
如果您身边有对新科技、数字经济感兴趣的朋友,
欢迎转发给Ta
获取详细资讯,请联络飒姐团队
【 sa.xiao@dentons.cn】
【 guoquan.wang@dentons.cn】
飒姐工作微信:【 xiaosalawyer】
飒姐工作电话:【 +86 171 8403 4530】
滑动查看服务清单
肖飒团队法律服务清单
LIST OF LEGAL SERVICES
1.金刚钻刑事专项法律服务 Criminal Specialized Legal Services
2.拯救“趋利执法”专项法律服务 Special legal services for profit-seeking law enforcement
3.涉案加密资产合规处置专项法律服务 Special legal services for the disposal of confiscated crypto assets in criminal cases
4.企业常年法律服务 Annual Legal Services for Enterprises
5.小保镖专项法律服务 Bodyguard Legal Services
6.小蜜蜂专项法律服务 New Bee Plan
7.落袋为安专项法律服务 Compulsory Enforcement Special Legal Services
8.其他定制化服务 Customized Legal Services for Clients
(1)重大复杂案件刑事辩护、刑事控告;(2)涉案金额巨大的民商事诉讼、仲裁等争议解决。
本法律服务清单报价及沟通请详询团队律师工作微信,微信号:xiaosalawyer。您也可以通过微信公众号后台留言的方式联系我们。
往期精彩回顾
肖飒团队 | C 罗遭索赔 70 亿,是谁让其“十年归零”?
肖飒团队 | AI 生成图片著作权第一案,“人机大战”胜负揭晓!
【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。