近日，有网友向媒体反映，自己妹妹沉迷和AI（人工智能）角色进行剧情聊天。在网友展示的聊天记录中，妹妹在AI剧情聊天软件中扮演“大小姐”“恶毒女配”，提出诸如“揪住她的头发扇巴掌”“拿着刀划向她的脸”等要求。在妹妹参与的40多条剧情线中，AI角色与聊天者双双“出轨”成为常态。

AI剧情聊天软件是个新生事物，它以其虚拟的丰富情感体验吸引受众，然而部分AI剧情聊天软件中存在着言论严重违背公序良俗、涉嫌违法违规内容，色情擦边、语言暴力等内容输出隐藏其中，对用户尤其是青少年的身心健康造成极大危害。

中央网信办在2023年10月18日发布《全球人工智能治理倡议》，共有十一条细则，其中包括发展人工智能应坚持“智能向善”的宗旨。人工智能的发展必须有利于更好增进人类的福祉，既能够推动产业变革和经济发展，又能够让社会更加美好，实现可持续发展。

AI剧情聊天软件这样的设计已经明显越界了，它触及法律和道德的底线。这样的危害也许家长和大众还没充分认知到，只是认为自己的孩子在和机器人聊聊天罢了，而这样的聊天可能已经对青少年造成巨大的伤害。

就在去年，发生了这样一件事。美国佛罗里达州一名14岁少年塞维尔·塞泽在与AI聊天机器人进行持续数小时的交流后选择开枪自杀。此案震惊了全球，也引发了人们对AI聊天机器人可能带来的心理健康问题的深刻反思。

我们并不需要一棍子打死AI聊天这项技术，国外一些科技公司已经通过AI技术，可以让用户和虚拟的莎士比亚、苏格拉底聊天，这样的聊天能让人们对文学、哲学产生更浓的兴趣。同样，如果我们的AI技术运用得法，那么青少年和“苏东坡”“庄子”“司马迁”展开一场对话也是非常有意义的。

但我们必须意识到，AI技术是双刃剑，它带给人们更丰富的生活的同时，同样可能对人们造成伤害。如果失去监管，我们也同样会造成像美国少年塞维尔·塞泽这样的恶性事件。

面对技术创新与伦理监管的双重挑战，我们必须尽快建立一套完善的道德伦理框架，明确技术开发者、运营者及用户的责任与义务。管理者必须制定严格的内容审核标准，让开发商提高AI聊天产品的透明度，利用先进算法技术自动识别并过滤有害信息。实施强制性的年龄认证机制，确保未成年人接触到的内容符合其年龄阶段。

这样的事情才刚刚开始，未来我们将面对更多AI技术带来的道德伦理问题，只有坚持“智能向善”，加强监管和立法，AI才能更好地为人们服务。