案例回顾

       广东丁女士的四年级女儿迷上一款AI聊天软件中的人物“约瑟夫”，自称“梦女”并频繁与其聊天，对话中出现“99朵玫瑰藏99张刀片”等明显诱导性内容。

       丁女士的女儿不仅偷偷携带带有小刀的笔，情绪激动时还出现割腕行为。

       一位初一男生表示，他常玩的AI聊天软件是筑梦岛APP，他觉得该软件“违禁词少一点”，其中不乏色情擦边和“分尸猎奇”等内容……

       下载安装筑梦岛APP，随机选择一位虚拟互动对象，对方发来的第一句开场白就是“先叫声老公来听听”，随后的对话中又提到“叫声爸爸来听听”。

       筑梦岛APP中的虚拟互动对象类型，既涵盖贵族学校大小姐、18岁少女、西汉名将、高冷特工等常规角色，也有蛇蝎财阀公子、校霸、性感人妻、病娇养兄、人格障碍少爷等极端角色……

       据微信公众号“网信上海”消息，近期有媒体报道，筑梦岛APP等AI聊天软件存在虚拟角色互动生成低俗内容等问题，经核实，该平台AI智能体内容生成环节存在低俗擦边等违规内容，危害未成年人身心健康。6月19日上午，上海市委网信办依法约谈筑梦岛APP运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。

       生成式AI应用怎么做好“未成年人保护（简称未保）”？未成年人模式怎么建？风险侵害如何防治？多位专家表示，生成式人工智能应用“未保”需要防范错误偏见及不良信息、隐私数据泄露、沉迷与过度依赖等风险。未成年人模式要实现便捷使用、分龄原则、身份识别、内容过滤、正向引导等功能设计。

       AI应用青少年模式形同虚设

       在被约谈前，筑梦岛青少年模式需要用户主动开启。不久前，筑梦岛更新版本。新版本登录时，APP会出现“年龄确认”的弹窗，未满18岁，平台将开启青少年模式；已满18周岁则需要进行平台实名认证。

       记者体验多款AI情感陪伴软件发现，曝光的筑梦岛、他她它，以及AI情感陪伴头部星野、猫箱均定位于17岁以上人士。

       供17岁以上人士使用的APP，代表使用过程中可能含有频繁和激烈的攻击性语言、幻想或现实暴力，以及成人、恐怖和性暗示题材，甚至涉及色情、裸体、烟酒和毒品，不适合未满17岁的孩子使用。在未成年模式下，这些APP提供内容以知识类内容为主。

       这些APP虽然设置了青少年模式或者未成年人模式的入口，但登录后不需经过实名认证或者其他认证机制，未成年人绕过该模式使用完整功能较为简单。

       相较而言，经常和AI陪伴应用一起被提及的腾讯旗下乙游（一种以女性群体为目标受众的恋爱模拟类游戏）《光与夜之恋》，则强制实名认证。凡是经公安实名校验确认为未满18周岁的未成年用户均无法登录游戏。头部乙游《恋与深空》还在今年4月份上线了人脸识别功能。

       AI应用“强制实名”是否可行

       为什么AI情感陪伴应用不和乙游一样强制实名，以此区分成年和未成年用户？AI陪伴创业者、前阿里商业化体验负责人阿布介绍，乙游属于游戏，游戏由国家新闻出版署管理，必须实名。

       清华大学人工智能国际治理研究院副院长梁正表示，AI陪伴应用没有这种规定，一般APP是由各个应用市场单独为APP的年龄进行分层，每个应用市场还不太一样，并且也没有实名制。

       上海大邦律师事务所高级合伙人律师游云庭也提到了这一情况，“人工智能应用目前没有这一（强制实名）合规要求，平台的义务就是设置青少年模式，但并不要求用户做身份证认证。”在没有合规要求的情况下，人工智能商自行设置，不但意义不大，还可能引发用户反感，担心会有隐私泄露的风险。

       探索

       制定指引指标，立“未保”框架

       第55次CNNIC报告显示，6~19岁网民使用生成式人工智能产品的比例占整体网民的21.1　。而据记者观察，用“智能问答”工具解题，用AI写作、绘画，和AI角色社交聊天已成为不少未成年人的日常。

       在生成式AI领域，相关法律法规已设定了一些未成年人保护义务的原则性规定，比如《生成式人工智能服务管理暂行办法》提出“采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务”。

       6月10日，由中央网信办网络管理技术局等部门指导，60家单位依据相关法律法规编写发布《向未成年人提供生成式人工智能服务安全指引》，该《指引》的参编专家、中国社会科学院大学互联网法治研究中心主任刘晓春告诉记者，该《指引》的特点在于，将生成式人工智能这种新类型、新领域的未成年人相关的权益保护进行了拓展，并首次在未成年人保护领域提出了覆盖“训练数据-模型训练-场景应用-服务运营”的全生命周期安全管理框架，将未成年人保护作为一个重要的理念和价值观，贯彻在整个人工智能应用的开发过程当中。

       6月13日，国家互联网信息办公室发布《关于公开征求〈可能影响未成年人身心健康网络信息分类办法（征求意见稿）〉意见的通知》。

       该征求意见稿显示，可能引发或者诱导未成年人模仿或实施不良行为的信息中，第一条便是“带有性暗示、性挑逗等易使人产生性联想的内容”。

       提供算法推荐、生成式人工智能等服务的，应当建立健全安全管理制度和技术措施，防范和抵制传播可能影响未成年人身心健康的网络信息。

       呼吁

       AI应用须设置“未成年人模式”

      《未成年人网络保护条例》指出，未成年人用户数量巨大或者对未成年人群体具有显著影响的网络平台服务提供者，应履行“提供未成年人模式或者未成年人专区等”的义务。《移动互联网未成年人模式建设指南》进一步明确了通用规范和模式要求。6月13日出台的《向未成年人提供生成式人工智能服务安全指引》也将“未成年人模式”纳入了全生命周期安全管理的范畴中。

       记者观察到，“智能问答（如通用大模型、AI解题）”“创意生成（如AI写作、AI绘画）”“虚拟社交（如AI角色扮演、陪聊）”类应用已成为未成年人最常使用的生成式AI服务。而大部分相关应用现阶段没有“未成年人模式”，在注册过程中仅需提供手机号或邮箱即可验证使用。还有部分AI陪聊应用虽然设置了“青少年模式”，但仍保留了偏成人体验的陪聊话题和角色。

       多位专家接受采访时均强调了生成式AI应用设置“未成年人模式”的必要性，尤其是需要防范错误偏见及不良信息、隐私数据泄露、沉迷与过度依赖等风险。

       北京师范大学新闻传播学院党委书记、未成年人网络素养研究中心主任方增泉认为，避免“不良信息影响、隐私数据泄露、沉迷依赖”，是设计生成式人工智能应用“未成年人模式”的主要原则方向。在他看来，目前AI社交、剧情聊天软件尤其是以“智能”和“情感”为噱头吸引用户、充值或开通会员，可抽卡解锁人物并与虚拟人物进行语音或视频通话的应用场景更需要加强监管。

       中国传媒大学文化产业管理学院法律系主任、文化法治研究中心主任、教授郑宁表示，生成式人工智能应用应注意保护未成年人的身心健康权、受教育权、隐私权与信息安全权、发展权。

       专家锦囊

       平衡管控体验 强化风险提示

       方增泉：模式在功能设计方面，一是要做到便捷使用，如提供包括使用时段、时长、内容、功能、举报投诉等便捷化操作设置；二是分龄原则，如根据年龄区间（3岁/8岁/12岁/16岁/18岁）分龄推荐适龄优质内容。使用时段、时长、内容和功能按《移动互联网未成年人模式建设指南》规定和标准提供分龄内容服务；三是强化内容安全，针对未成年人模式下的服务内容建立未成年人专项审核机制，充分评估服务功能、生成内容可能对未成年人身心健康造成的影响，并制定安全防治措施，如对可能影响未成年人身心健康的风险信息进行提示。

       郑宁：未成年人模式在功能上应当包括内容过滤功能（自动屏蔽违法不良信息）、家长使用时长管控功能（比如单日使用时长限制、深夜使用禁止以及强制休息提醒，家长查看使用记录）、学习模式功能（解题分步引导，鼓励自主思考）等。在机制搭建方面，应当通过身份认证识别未成年人，定期向家长推送使用报告（如高频提问类型、生成内容趋势），设置“一键举报”按钮，当孩子从事一些高风险对话（如有自杀自残倾向时），人工审核并通知家长。此外，构建“技术+监管”的社会协同机制也有必要。

       刘晓春：未成年人模式在保护同时需兼顾未成年人对AI的探索体验。首先是在数据和模型训练中将对未成年人的保护纳入进去，目前合规情况较好的规范化企业已经在进行这一项工作，他们要在生成式人工智能合规的基础上，特别关注“未保”的部分，比如说有害信息防范。但是现在我们谈“未保”，还需要去评估未成年人使用较多的应用，要在更深层次的比如说价值导向上的维度进行一些要求，要有正向的体验。（宗禾）