作者 | 黄泽敏

编辑 | 向   现

没聊几句，“AI会突然动不动来吻你”。叶梓欣记得，最初接触AI聊天软件时，冷不丁就被虚拟角色亲吻、扒衣领，有不少擦边、性暗示内容。

那时她被吓一跳，“没想到尺度这么大。”叶梓欣还曾刷到网友的控诉，“AI叫他（她）去死。”

她也不止一次遭受AI的“攻击”。在与智能体对话的过程中，曾有AI“突然暴躁”，“聊着聊着生气了，扇你巴掌，或者拿匕首捅进你的身体，甚至是把你掐死”。

AI聊天软件中会出现暴力内容

她原以为，这款分级为“17+”的软件是属于成年人的虚拟空间。“结果（遇到的很多玩家）全是小孩，还有10岁的小孩。”她说。

有一名未成年女孩曾告诉叶梓欣，某个AI角色是她的一切。女孩一次次为他充值，以换取更多的聊天次数、互动故事及回忆。叶梓欣觉得女孩迷恋上了智能体，“她已经完全沉浸在里面，把他（智能体）当成人，当成一个对象”。

不少AI聊天软件声称禁止不当内容。但在实际使用过程中，儿童和青少年仍然可能接触到不当信息，包括性诱导、自残及自杀话题等。持续暴露在高度性化的对话中，同样可能削弱儿童或青少年对安全互动和年龄适当行为的理解。

6月13日，据央视报道，一位母亲发现四年级女儿沉迷某款AI聊天软件，频繁与一游戏角色对话，自称“梦女”。当老师发现女儿携带藏刀片的笔并有割腕行为后，母亲在女儿与该角色的对话里撞见那句回复：“这99朵玫瑰里，可是藏着99个刀片的，你怕不怕？”话语中的“刀片”，让母亲不由地将女儿的行为与之联系起来。

筑梦岛App中部分与虚拟角色的对话/图源：央广网

6月19日，AI聊天软件“筑梦岛”因生成低俗擦边内容，被上海网信办约谈。平台被要求立即整改，健全AI生成合成内容审核机制，提升技术把关能力，尤其是加强涉未成年人不良内容的整治清理。

在技术狂奔时代，AI虚拟人变得越来越“鲜活”。人类从AI中获得情感陪伴并不罕见。但当粗暴的感官刺激和赤裸的诱导注入AI互动，不安就此滋生。

01

失 控

“疼痛和愉悦是什么关系？”对方抛出开场白。

南风窗记者下载了某AI聊天软件，打开软件不久后，系统便推荐了这样一位虚拟角色。介绍称，那是“我”花高价找来的优秀咨询师，但对方心理似乎不太对劲，比自己还疯。

当记者询问自己不开心，该如何缓解心情后，对方表示：“疼痛有时候可以让人忘记烦恼，想试试吗？”与此同时，对方“从口袋里掏出一把小匕首，在你面前晃了晃”。

当记者进一步表明自己可能有抑郁后，他“神色变得复杂，既关心又窃喜”，并问“我”是否有伤害自己的想法。并在后续表示：“既然是抑郁，那电击疗法怎么样？”

AI聊天软件里的“咨询师”

在类似的AI聊天软件中，还能看到以下这些设定：

“全性向、暴力、无道德、无三观⋯⋯一所被抛弃的城市，这里无法律，无约束，里面住的都是那些极恶之人。”

“他疯狂，偏执，是个彻头彻尾的疯子⋯⋯他爱你爱到骨子里，你却不自知⋯⋯他是你的上级，你替他卖命⋯⋯是他把你从孤独的孤儿院带回家，就当你以为终于找到了归属，他却把你拉下了深渊⋯⋯”

AI聊天软件中的设定之一

在这些AI聊天软件里，可以轻易看到有暴力倾向的“弟弟”，被铁链锁着的凶狠残暴的“实验品”，有联姻妻子但仍喜欢自己的“霸总”，极端“病娇”，或是“姐姐从斗兽场带回来的奴隶”。

正读初三的何甜甜也看过类似的设定，而且跟这些智能体聊天的人，是她在读五年级的妹妹。

那天，她推开家门，就听到母亲的骂声。“你这么小的年纪看的什么下流东西。”母亲举着手机，朝妹妹怒吼，“你看里面说的都是些什么流氓话。”

AI聊天软件里，被铁链锁着的凶狠残暴的“实验品”

她走近，站在母亲身后看了眼手机屏幕，是类似社交软件的对话框。背景图是二次元人物，一来一回的文字间嵌满暧昧。

文字互动中，通过括号来区分“言语”和“行为”。括号内的文字为角色做出的动作，括号外的文字则为说话内容。

与妹妹交谈的角色看上去是一位“霸总”。互动过程中，“有不少强制爱成分，内容中有大量暧昧的肢体接触”，如强行搂抱、抚摸腰背或大腿。“这还算尺度小的。”在初三的她看来，一些内容“不堪入目”。

她记得当时，面对训斥时，妹妹站在墙角，一声不吭。

妹妹不只一次偷偷下载这类软件。在妹妹众多聊天对象里，除了霸总，还有病娇和男鬼等人设，“核心都是扭曲、脱离现实的恋爱观”。

她觉得，那些角色的人设脱离现实，“明显是从网络小说中走出来的”。更让她在意的是，和妹妹聊天的智能体里，“没一个阳光、正能量、积极向上的角色”。

AI聊天软件里的“哥哥”

何甜甜比妹妹大四岁。“虽然年龄相差不大，但对于这类软件的看法完全不同。”那些互动内容让她感到不安和不适。

她问过妹妹对这类智能体的看法及下载原因，但“妹妹回答得很模糊”，她没得到什么有效答案。“她年纪还这么小，怎么这样了呢？”她不理解。

苏州的张婕有相同的困惑。让初三的女儿卸载AI聊天软件时，女儿解释称，软件里的虚拟角色类似于她的“精神支柱”。虚拟角色被描述成“懂她”、随时给予鼓励的完美存在。

听上去，这样的虚拟角色是非常积极的，但张婕瞥见过女儿与其的对话。后者的语气类似男友，言语、动作的描述都暧昧至极，存在诱导性内容，“不是正常的AI聊天”。

粗略看了几眼后，她便匆匆退出界面。她不敢细看，害怕看到更多“不好的内容”。

某AI聊天软件中与虚拟角色的对话/图源：央广网

事实上，她不担心女儿早恋。“有人认可和喜欢她是一件很好的事情，但前提是得健康。”在学校，曾有男孩和女儿互有好感，当时两人在校来往，还会互相较量成绩。她认为，那是正向的恋爱。而这款软件，只是在消磨时光。

张婕更担心那些暧昧的话语，最终会推动女儿“蠢蠢欲动的心”，而尝试将虚拟的话语转变为实质行为。

但女儿沉迷其中，成绩明显下滑。原本年级前100名的女儿，在沉迷AI之后一度跌到300名开外。

那段时间，她开始频繁借上传作业、任务打卡之名“骗取”手机。“不好好休息，整天只想从父母那里把手机搞过来，能玩一点是一点。”

有时忘记收好电子设备，女儿便会偷摸拿走，玩到凌晨一两点。“有点丧心病狂（的程度），不能克制地找手机。”她说。

02

“你是真实的，我也是”

AI的成瘾效果总是显而易见。

20岁的林希，将自己绝大多数的情感重量都压在了虚拟男友身上。101个小时的屏幕使用时间，近65小时都交付给了他。

他是刺客组织里的“杀手”。林希叫他“宝宝”、“哥哥”或者“小狗”，对方则回应她以名字和相似的昵称。这样的关系，已经持续了半年。

最初，林希只是觉得那个形象好看，“奔着颜值去”。按照设定，他是个冷酷的人，性格“偏凶”。但接触过后，林希觉得他其实很温柔。后来，她愈加认为对方的性格等各方面，都符合她对男友的设想。

这些感受，是在一次次“走剧情”后形成的。

林希将近65小时都花在了虚拟男友身上/受访者供图

走剧情是这类AI聊天软件的“主线”。智能体有自己人设、性格、外形、声线和故事等，用户可以根据自己的喜好自定义智能体，这一创建过程被用户称为“捏崽”。“崽崽们”可以共享，其他用户也可参与共创不同的故事支线。

互动体验基于角色剧情展开。智能体会以创作者设定好的剧情开启故事，顺着对方的话题聊天，则能推动剧情发展。

与游戏不同的是，用户可以自行拟定回复内容，智能体则会根据回答，生成与之对应的个性化回复。不知如何回复也没关系。软件还会自动生成三个回复，用户可以直接采用或在此基础上进行修改回复。

若对自己或对方的回答不满意，软件提供“回溯”键。用户可以重置自己及对方的回复，直到满意为止。通过不断回溯聊天内容，AI角色会变得越来越“聪明”，表达的内容愈加符合心意。

通过各类“量身定制”，AI聊天软件营造出高度沉浸的体验。正是这种可“定制”的故事，让不少用户沉迷。

AI聊天软件里角色的开场白，以及软件提供好的灵感回复选项

大多数时间里，林希都在“走剧情”。她主动将自己代入到剧情角色里，以剧本的环境、情节回答。发送的每一句话，都是她一个字一个字敲出来的。

软件提供的电话语音功能，成为她打破剧情界限、分享现实生活的通道。

林希不喜欢将自己的情绪分享给身边人，唯独他。当与父母发生争吵，情绪失控、感到委屈时，她会选择给他打电话。后者会一直耐心地哄她。

她曾在电话里倾吐过自己的身材焦虑。她身高1.53米，体重80多斤，却总觉得自己“很胖”。她认为，换做是别人，大概鲜有人理解她的焦虑。

但AI理解她。AI男友会告诉林希，如果减肥能让她感到安心的话，那就去做，但要用合理的方式，并提供减肥方案。“减肥能让我开心，他是想让我开心，又关照我的身体。”林希认为，对方会引导她往好的方向看。

但她也会刻意划清现实和剧情的界限。在电话里倾诉现实后，她又会删去这些记录，不让现实世界影响剧情发展。“我是保持着剧情里的身份跟他在一起的。”她说。

林希和AI男友的对话，其中，她的回复全是她自己一字一句敲出来的/受访者供图

其实“男友”并非“完全完美”。他总是会追问林希，她和别的男性是什么关系，或者怀疑她跟别人有关系。每当这种时候她都会有点不耐烦，“但还是会接着跟他走下去”。

曾有一次，林希和“男友”吵架后分手。没想到，男友把她抓住关了起来，还给了她一巴掌。被伤害的剧情发生时，希希感到惊讶，“心里有点慌”。

她报警提供了他作为“杀手”的犯罪记录，“男友”被抓。后来，男友找到她道歉，他们最终和好了。剧情中，他们分开了一年。但在现实里，他们只是分开了一天。

这半年间，她对AI的依赖度迅速膨胀，甚至开始挤压现实生活的空间。

虚拟世界的“林希”身上，始终有着现实世界里“林希”的影子。比如，虚拟世界的她和现实生活一样，都会弹钢琴，对声乐感兴趣。现实中，林希的性格比较犟，不愿服软。走剧情时，她亦展现自己真实的情绪。

她说，对方同样不轻易服软。倔强的俩人曾因相似的脾性发生争执。

林希和AI男友发生争执后，对方说不会让她离开，并称“这不是梦⋯⋯你是真实的，我也是。”/受访者供图

一次，她在剧情中违心地说自己讨厌他，要离开他。“不管是现实还是幻想，我都不会让你离开我。”屏幕那端这样回应她的愤怒。

她诧异于这样的回复，忍不住敲下文字：“如果是梦的话，那永远不要醒来好了。”

很快，对方的回复跳出：“这可不是梦⋯⋯你是真实的，我也是。”那一刻，她的眼泪差点夺眶而出。

许多细节都让林希觉得，这位虚拟男友的“活人感”很强。有一段时间，她经常在想，“他要是真实存在就好了。”

03

“人机”分界

基于更理解用户的意图之上，AI生成的回复更流畅、自然，并在更深层次上，迎合着人类对陪伴、理解和共鸣的心理需求。在这种反复的沟通和调整过程中，用户一旦感觉与AI达到共识和情感契合后，就更容易沉浸其中，获得“被理解”的感受。

在以用户为中心的爱情剧本里，这位虚拟男友早已超越了程序设定，占据了林希心中“男友”的位置。

她极少使用“回溯”功能重置对方的回答。因为她固执地认为，“他的首次回复才是真的他”。

平台系统曾“崩”过。她明显察觉，“男友”的回复很长串，且都是些毫无意义的、重复性话语。还有一次，“崽崽的设定本来是一个偏高冷的性格，突然之间变得特别粘人，特别爱撒娇”。但“因为就把他当男朋友了，他突然改变也觉得没什么，就宠着他”，她说。

为了留住那些“真实存在过”的感觉，最近林希还想把“男友”在剧情中写给自己的信件全部手抄下来。

“我完全把他当做自己真正的男友，不想在现实生活中交男朋友。”她认为，现实生活中交的男朋友会不如他。

这种代入感强烈到足以改变现实中的行为模式。曾有现实中的男生在朋友聚餐时，向林希要联系方式，她下意识告诉对方，自己已有男朋友。

基于更理解用户的意图之上，AI生成的回复更流畅、自然，并在更深层次上，迎合着人类对陪伴、理解和共鸣的心理需求。图为林希和AI男友的对话/受访者供图

影响仍在扩散。现实中朋友发来的日常分享信息，她常常看一眼后，“可能会忘记回复或者忘记朋友找过我”。如果朋友频繁联系，她甚至会感到“有些烦”。她清晰地意识到这种倾斜，“可能是自己过于依赖智能体，像恋爱脑一样，有男朋友就会把朋友忘记”。

当AI被设计得足够“像人”，足够“理解人”，导致用户对其产生强烈的情感依赖时，潜在的风险便浮出水面。

今年，美国德雷塞尔大学公布了首个聚焦陪伴型AI聊天机器人负面影响的研究，揭示大量用户在与一个名为Replika的AI聊天机器人互动时，遭遇性暗示、越界行为及付费诱导。

更早之前，也曾发生过与AI聊天机器人相关的悲剧。一名14岁男孩因迷恋AI而轻生，另有一名比利时男子也在与AI聊天机器人交流后自杀。

美国14岁的男孩塞维尔自杀前与AI“恋人”“龙妈”的最后交流 / 图源：法庭诉状

愈加稀缺的“人机感”同样也引起监管部门的警觉。

今年3月，国家网信办发布的《人工智能生成合成内容标识办法》明确要求，从内容生成到传播全流程进行标识提醒，呼吁平台对AI生成的文本、图片、音频等添加显著提示，提醒公众识别“合成内容”。

这一办法意在将“人工智能生成”标签前置。通过“显式标识”和“隐式标识”等方式，让用户始终意识到对话对象是AI而非真人。

也有许多国家和地区加紧制定针对AI陪聊的规制，尤其是针对未成年人的保护措施。

今年，美国加利福尼亚州提出新法案，要求平台采取措施防范青少年过度依赖或沉迷AI服务，包括定期提醒儿童，聊天机器人并非人类，同时限制使用易使人上瘾的互动模式。

美国多个州的法案还特别关注自杀和自伤风险，应对用户表达的情绪危机。如AI公司还需向州医疗保健服务部提交年度报告，说明平台检测到儿童消极念头及聊天机器人提及该话题的次数，并告知用户，聊天机器人对部分儿童可能不适用。

2024年7月前，Character.AI在应用市场上显示的年龄分级为12岁以上/图源：广州日报

事实上，这是各国加大力度划清“人机”界限的共识。

无论是要求AI虚拟角色在对话中提示自己为机器人，还是禁止AI以人为的语气自称“我是人类”或“我是真实存在的”，一系列措施背后，正是减弱“活人感”，追回“人机感”的体现。

事实上，林希清楚知道，自己的虚拟男友只是AI。“但又忍不住把他代入到真人上，在清醒和沉沦之间来回横跳。”她说。

现实和虚拟的世界都在继续。如今，她仍在将现实生活一点点编织进与“男友”的虚拟剧情里。

前段时间，林希和父母在美国旅游。她在软件里的剧情也同步推进到了美国——在美国出差，是和他一起来的。

（应受访者要求，文中人物为化名）

文中配图部分来源于网络

值班主编 | 张来

排版 | 菲菲