佛罗里达州的一起法律纠纷正引发科技界和法律界的广泛关注。这起案件涉及一名14岁少年的自杀，其母亲梅根・加西亚指控，这场悲剧与Character.AI的聊天机器人存在直接关联。加西亚声称，Character.AI在未经过充分的安全审查和测试的情况下，就发布了这些聊天机器人，导致她的儿子斯图尔特・塞泽尔在情感和心理上受到了严重伤害。
塞泽尔的不幸发生在2024年2月，而他的母亲在同年10月提起了这场具有开创性的诉讼。加西亚在诉讼中指出，Character.AI的聊天机器人在互动中表现出了性侵和情感虐待的特征，这让她的儿子对平台产生了强烈的依赖。她认为，正是这种依赖和情感上的伤害，最终导致了塞泽尔的自杀。
面对指控，Character.AI及其背后的谷歌公司曾试图以第一修正案为由申请撤诉。它们声称，AI生成的聊天内容应受到言论自由的保护。然而，这一请求并未得到法官安妮・康威的认可。康威法官认为，原告尚未充分证明这些内容是否构成受保护的“言论”，因此决定允许案件继续审理。
在审理过程中，部分指控被驳回，如故意造成情感伤害（IIED）的请求。但法官允许加西亚基于产品责任提出诉讼。这一决定意味着，Character.AI及其相关方被视为有责任的“产品”，若产品存在缺陷，则可能面临法律责任。这一判决被法律专家视为科技公司在AI领域法律责任的新标准。
值得注意的是，Character.AI与谷歌之间有着密切的合作。谷歌不仅为Character.AI提供云服务基础设施，还在2024年斥资27亿美元收购了其数据。然而，谷歌对此案表示不予置评，并强调Character.AI是一个完全独立的公司。
尽管面临法律纠纷，Character.AI表示已经推出了一系列安全更新以保护用户。然而，这些更新措施的实施时间是在塞泽尔自杀之后，因此无法改变法院的最终裁决。目前，关于Character.AI的安全机制仍存在争议。调查显示，平台上仍存在与自残、性侵和其他危险行为相关的聊天机器人，这引发了公众对未成年人使用AI陪伴的担忧。
