聊天软件充斥色情暴力内容？AI技术不能偏离正道

文章来源：放心AI网发布时间：2025-05-26 17:01:38

　《法治日报》记者近日调查发现，不少未成年人的家长正在被AI剧情聊天软件所困扰，这些打着“角色扮演”等旗号的AI剧情聊天应用，在吸引未成年人的同时，也悄然滋生了一些灰色地带，在部分软件的对话中，出现了擦边、语言暴力以及侮辱用户的内容。（《法治日报》11月23日）

　　此前，ChatGPT的横空出世犹如一颗火种，点燃了人工智能领域的热情，催生了各式各样的创新应用。万万没想到，这种生成式大语言模型，又一次被带偏了。

据报道，一些打着“角色扮演”旗号的AI剧情聊天软件，用、暴力的擦边内容吸引未成年人，诱惑他们充值消费，这不仅引发了家长们的强烈担忧，也再次凸显出加强行业监管的紧迫性。

AI剧情聊天软件依托人工智能技术，模拟虚拟人物与玩家进行对话，为青少年打造了一个充满新奇与未知感的虚拟世界，这种创新本身并无不妥。

问题在于，一些软件开发平台为了吸引用户，刻意设置了包含性暗示或暴力元素的对话内容，甚至设计了超出青少年认知范围的场景和剧情，如将聊天对象设定为“出轨对象”，并涉及拥抱、亲吻等亲密行为。更有甚者，部分软件提供内容，对青少年健康成长造成极大威胁。

在青少年成长发育的关键时期，营造健康向上的网络环境至关重要。倘若他们沉迷于充斥着低俗、暴力内容的虚拟世界，甚至进行大额充值消费，无疑会对其价值观造成负面影响。

要确保行业健康发展，防止技术被滥用，必须迅速采取措施，加强监管力度，约束平台守法合规运营。比如，一旦发现存在内容，应立即对相关应用软件进行下架处理，以儆效尤。

更为重要的是，要将未成年人保护机制真正落到实处。报道提到，有些AI剧情聊天软件，注册极为简便，无需实名验证，根本没有对不同年龄段用户进行区分。还有的软件虽然提供了“青少年模式”，但防火墙形同虚设，用户选择该模式后，照样可以看到一些不适合他们观看的内容。

所以，针对部分AI剧情聊天软件“偏离正轨”的问题，行业监管部门不妨首先系统梳理排查一下，看最基础性的“青少年模式”到底有没有执行到位。在此基础上，加强对平台内容的审核，确保生成的内容合法合规。

另一方面，AI剧情聊天软件的网络开发平台，也应主动承担起主体责任，加强自律，建立完善的内容审核机制，在软件上架前的语言训练阶段，就对可能存在的、暴力等有害信息进行有效过滤。总之，绝不能为了追求用户数量而打法律的擦边球。

AI剧情聊天软件乱象，对未成年人身心健康造成的潜在危害，不可不察。无论如何，人工智能作为新兴行业，其快速发展应当为社会经济带来正面的价值。不能让技术跑偏，成为非法牟利的工具。守护好未成年人身心健康的防线，人工智能才能真正实现“技术向善”。

上一篇: Reset中国AI投资新坐标！全市场首只创业板人工智能ETF今日首发

11月23日，英伟达创始人黄仁勋在出席香港科技大学学位颁授典礼时发表演讲称：“人工智能无疑是我们这个时代最重要的技术，整个世界都被重置（reset）了。我们这个时代面临的最大的挑战，过去看似难以克服的挑战，