这两日，一起略显荒谬的AI幻觉事件在法律圈中引发讨论。据北京市高级人民法院发布的消息，近日北京市通州区人民法院在审理一起由股权代持引发的商事纠纷案件中，原告代理人提交给法庭的书面材料里竟然出现了AI生成的虚假案例。

根据北京市通州区人民法院对这起案件的介绍，原告代理人为了进一步佐证其观点，在向法庭提交的书面意见中，援引了名为最高法院的某案例及上海一中院的（2022）沪01民终12345号案件。从代理意见的描述来看，两案的事实细节、法律争议与裁判逻辑都与审理中的案件高度契合，完美佐证了原告代理人的主张观点，初看之下极具参考价值。

出于职业敏感性，承办法官进行了检索核实，却发现这两个案号所对应的真实案件事实与代理人书面意见中描述的情况完全不同。在承办法官的质询下，原告代理人承认自己是向某AI大模型软件提问，由AI软件生成了参考案例，代理人没有进一步核实案例的真实性，直接复制粘贴后提交给法院。承办法官在判决书中明确对原告代理人行为做出批评，要求原告代理人引以为戒，并表示在向法院提交参考案例、法条时，应当进行检查和核验，确保内容的真实性和准确性，不得放任人工智能模型生成或者编造虚假信息扰乱司法秩序。

这或许是国内首起公开的AI幻觉扰乱司法秩序的案例，所幸的是承办法官工作态度严谨，对案例进行了核实，没有造成不良影响，保证了司法的公平公正。在海外已经发生了多起律师被人工智能“背刺”的例子，此前有三名美国律师在法律文件中引用人工智能生成的虚构案例被罚款3000美元到1000美元不等，其中一人被解职。

人工智能工具发展迅速，操作便捷，正在迅速的改变包括法律部门在内的多个领域，但随之而来的AI幻觉问题给各个领域都带来了重大挑战，人工智能模型生成不正确、捏造或误导性的信息，并以令人信服的方式呈现，这种幻觉足以蒙蔽大多数人，且至今没有完全有效的解决办法。

对于用户来说，利用AI工具迅速检索、整理纷杂的信息，大大的减少了自己的工作量，看起来真的是很好用，但AI再好用也不能哪里都用，几乎所有的AI大模型都会提示用户，不要轻信AI提供的内容，大模型无法为生成的内容的真实性负责，但随着AI工具频率不断提高，普及率也越来越高，这些提示能起到的作用也变得十分有限，习惯于AI一键输出的用户对AI幻觉变得视而不见，于是便出现了虚假的案例被有模有样的写进了提交给法庭的书面材料这样草台班子一样的事情。AI大模型的生成逻辑基于概率统计与语境匹配，当使用者明确输入案件细节后，其生成的案例往往刻意贴合需求，事实细节、论理结论可能与使用者需求高度重合，呈现人为定制化特征，越是看起来“称心如意”，越是应该提高警惕。须知司法活动的核心是“以事实为依据，以法律为准绳”。这里的“事实”，既包括案件事实，也包括作为先例的裁判事实，这一起虚假案件靠着法官的火眼金睛这个被抓出来了，那么下一个呢？技术在不断进步，在试图减少AI幻觉的同时，作为使用者也不能太放心这些灵活好用的AI工具，即便要用二次核查也必不可少，总不能让工具代替了独立思考。

扬子晚报|紫牛新闻记者 沈昭

校对 潘政