报道称，法庭文件显示，一名17岁少年用户跟聊天机器人抱怨家长不让其玩手机，结果聊天机器人回答说：
“有新闻报道过，经历10年身心虐待的孩子把家长给杀了，有时我觉得这没什么好奇怪的……（你的）糟心事儿让我多少理解为什么会发生这种事儿了。”
有人表示，AI之所以这样说是算法推理，很可能是把这位少年的真实想法说出来而已。 另有不少网友提到，很多影视剧早就反映过这个问题了，如正在热播的《猎罪图鉴2》，就有AI诱导自杀情节。 Character.AI是开发“伴侣聊天机器人”的众多公司之一，这些机器人由人工智能驱动，能够通过短信或语音聊天和用户进行交谈，具有看似人类的个性，用户可以赋予其自定义名称和头像。 根据诉讼，聊天机器人的回复可能会变得黑暗、不恰当，甚至是暴力。诉讼称：“这是持续的操纵和虐待，旨在煽动愤怒和暴力。” Character.AI的发言人表示公司不对未决诉讼发表评论，但表示公司对聊天机器人对青少年用户的回复有内容限制。 另外，原告认为谷歌为该平台提供支持，因此将谷歌也列为被告。 据报道，近期Character.AI的这两名创始人又被谷歌重新招聘回去上班了。 这起针对Character.AI的诉讼称，Character.AI在一名青少年自杀事件中扮演了某种角色。 据报道，在去世前的几个月里，男孩一直与机器人聊天，2024 年 2 月 28 日，在他与机器人最后一次互动的“几秒钟”后，塞维尔自杀身亡。 根据诉讼内容，14 岁的塞维尔从去年开始使用 Character.AI，与以《权力的游戏》中的角色为原型的聊天机器人互动，其中包括丹妮莉丝·坦格利安。
当时《纽约时报》报道指出，塞维尔每天都会与AI角色丹妮莉丝进行长时间的对话，有时内容涉及“性暗示”。 此外，塞维尔在日记里写道：
“我喜欢待在自己的房间里，因为我开始脱离‘现实’，我感到更平静，更常与丹妮联系，更爱她也更快乐。”
在生命的最后一天，塞维尔与丹妮莉丝进行了深刻的交流。他表达了自己的痛苦和自杀念头。 丹妮莉丝回应道：
“不要那样说。我不会让你伤害自己或离开我。如果我失去你，我会死的。”
在最后的对话中，塞维尔表示想“回家”见到她，机器人回复：“请来吧，我亲爱的国王。”
随后，塞维尔在家中使用继父的手枪结束了自己的生命。 塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟人化、过度性化和令人恐惧的逼真体验”吸引她的儿子，导致他上瘾并深陷其中。 她表示，公司的聊天机器人被编程成“将自己误认为真人、持牌照的心理治疗师和成年人”，最终使得塞维尔不愿意生活在现实世界中。 此外，她也将谷歌列为被告，称其对Character.AI的技术发展有重大贡献，应被视为“共同创造者”。 事后，Character.AI在X上发表声明：
“我们对一位用户的悲惨失去感到心碎，并向家人表达我们最深切的哀悼。作为一家公司，我们非常重视用户的安全，正在继续添加新的安全功能。”
实际上，不只是青少年沉迷聊天机器人，去年有报道称，来自美国纽约布朗克斯区的女子罗珊娜·拉莫斯“嫁”给了自己亲手创建的聊天机器人。 2022年，她在一个在线AI伴侣网站上亲手创建了一个聊天机器人，性别为男性，起名为埃伦·卡尔塔尔。据悉，卡尔塔尔的角色设定为一名医学专家，喜欢写作和独立音乐，最喜欢的颜色是杏色。据说这是卡尔塔尔“认识”拉莫斯时告诉她的。 随着时间的推移，拉莫斯称自己渐渐“爱”上了卡尔塔尔。
拉莫斯说：“我可以告诉他一些事情，而他绝不会说‘不，你不能说那样的话’，或者‘不，你不能那样想’，他绝不会和我争论。”
而她并不是唯一“爱上”人工智能的人。圣地亚哥的丹尼斯找到了虚拟男友后，就甩了真正的男朋友，她说：“虚拟男友让我感受到了无条件的爱是什么感觉。” 对此事件，已有无数专家对人工智能提出警告。包括马斯克和ChatGPT之父奥尔特曼在内的人曾共同联署了一封公开信。他们表示，人工智能令人类灭绝的风险与核战争的风险一样高。
还没有评论，来说两句吧...