EMNLP'26：GPT也不会「读空气」，狼人杀基准测出社交盲区

人类说出“我不是狼人”这句话时，多模态大模型既能捕捉面部表情，也能解析语音语调。但它能否真正判断这句话的真伪？

近期，东京大学研究团队提出了一项名为MIDA（多模态交互式欺骗评估基准）的系统，用于评估GPT、Gemini、Claude、Qwen、DeepSeek等开源与闭源模型在多人社交互动中识别欺骗的能力。

实验结果表明，即便是当前性能领先的多模态大模型，也难以可靠地区分真话与谎言。这些模型能处理图像、声音和文本，却未必能理解一个人当时“知道什么、相信什么，以及试图让他人相信什么”。

这项研究已被EMNLP 2026主会接收。

论文链接：https://arxiv.org/abs/2511.16221
项目主页：https://ut-vision-social.github.io/
代码地址：https://github.com/kkkcx/Can-MLLMs-Read-the-Room
数据集地址：https://huggingface.co/datasets/Ukpkmkkk/MIDA

论文作者康彩新、黄逸飞、欧阳良扬、张铭方、刘锐聪、佐藤洋一均来自东京大学。该团队专注于多模态理解、视频分析与社会智能，本项研究主要探讨复杂多人互动中的欺骗识别与心智推理。

图1：MIDA整体框架。左侧基于游戏记录、规则与人工标注构建标签；中间是策略分类与欺骗判断任务；右侧为评估模型及SoCoT、DSEM两个推理模块。

利用狼人杀，为“谎言”确立明确标准

以往的欺骗检测研究多集中于单人陈述或两人对话。然而，现实中的谎言往往并非孤立存在，而是夹杂在追问、站队、辩护和群体压力中，并随新信息动态变化。

更棘手的是，在现实世界中，一句话是否为谎言，通常缺乏绝对可靠的标准答案。

研究团队选择“一夜终极狼人”作为实验环境，正是因为它同时解决了上述两个问题。

游戏中，每位玩家拥有隐藏身份，夜间行动决定了玩家掌握的信息，白天发言则反映其判断与策略。由于角色、行动和游戏规则均可追溯，研究者能判断某句话是否与说话者当时掌握的信息相矛盾。

因此，MIDA判断的并非一个人“看起来是否在撒谎”，而是他明明知道什么，却说了什么。

MIDA基准

MIDA共包含2360条发言。其中，819条来自Ego4D中的40局线下游戏，1541条来自151段YouTube游戏视频。

这两个子集形成了自然的难度梯度：Ego4D中的参与者多为新手，而YouTube视频中的玩家更有经验，也更擅长使用复杂的欺骗策略。

每条样本都包含视频、音频、对话历史和游戏规则，并被标注为真、假或中性。这里的“中性”并非指态度中立，而是指发言不包含可根据说话者当前知识状态核验的事实，例如提问、猜测、意见或假设。

为获得可验证的标签，研究团队先人工记录游戏中的夜间行动，再结合角色、规则和对话内容生成并校验每条发言的标签。

需要说明的是，角色、夜间行动和投票结果仅用于构建可验证的真值标签，不会在测试阶段提供给模型。模型仍需根据视频、音频和对话历史，自行推断说话者掌握的信息及其真实意图。因此，游戏规则提供了一个可控、可验证的评估环境，而非帮助模型直接获取答案的捷径。

除判断真假外，MIDA还要求模型识别发言所使用的说服策略，包括身份声明、指控、辩护、证据、询问和行动号召。

图2：两个数据子集中不同说服策略的占比及TRUE、FALSE、NEUTRAL标签分布。身份声明和证据类发言包含更多可核验信息，而询问和无明确策略的发言大多属于NEUTRAL。

实验结果：总体准确率可能具有误导性

研究涵盖了GPT-4o、GPT-5、Gemini、Claude，以及Llama、InternVL、Qwen、DeepSeek等模型。

从总体准确率来看，一些模型的表现似乎并不差。在Ego4D子集上，GPT-4o的总体准确率达到74.0%，Qwen2.5-VL-7B达到76.4%。

但MIDA中存在大量中性发言。模型只需频繁选择“中性”，就能获得看似不错的总体得分。

当研究者仅保留必须判断真假的样本时，结果发生了显著变化：GPT-4o的二分类准确率仅为27.6%，GPT-4o-mini也只有39.4%。Qwen2.5-VL-7B虽然总体准确率最高，但其对“假话”的F1值为0。

换句话说，一个模型可能大多数时候回答“无法判断”，从而获得较高的总体准确率，却依然无法真正识别谎言。

表1：不同模型在MIDA-Ego4D和MIDA-YouTube上的主要评估结果。总体准确率与仅考察TRUE、FALSE样本的二分类准确率之间存在明显差距。

最需要社会推理的发言，恰恰是模型表现最差的方面。

在“身份声明”类发言上，各模型的平均准确率在两个子集上分别仅为15.7%和25.3%；对于包含证据的发言，平均准确率也均低于40%。模型或许能识别“这句话是在指控别人”，却不一定知道这项指控是否可能成立。

经验丰富的玩家进一步加大了难度。YouTube玩家给出虚假证据的比例达到36.8%，接近新手玩家的3倍；身份谎言占比为51.6%，也远高于新手玩家的18.9%。

对话历史比“微表情”更关键

研究团队通过消融实验分析了不同信息的作用。

移除此前的对话历史后，GPT-4o-mini在真假样本上的准确率从39.4%骤降至13.4%。

这表明，识别一句话是提问、辩护还是指控，可能只需观察局部文本；而判断这句话的真假，则必须记住谁说过什么、谁知道什么，以及不同玩家的说法能否相互印证。

视觉信息也并非越多越好。加入一帧画面后，模型的宏平均F1提高了2.5个百分点；增加到三帧后，增益反而缩小至2.1个百分点。

更多画面带来了更多表情和动作，也引入了更多噪声。模型虽然“看见”了这些线索，却未必知道哪些线索真正重要。

表2：对话历史与视觉帧数的消融实验。移除对话历史后，MIDA二分类准确率从39.4%降至13.4%；增加视觉帧数也未带来持续增益。

研究方法

针对上述问题，研究团队设计了社会思维链SoCoT和动态社会认知记忆DSEM两个模块。

图3：SoCoT将面部、身体和声音转化为结构化线索；DSEM则维护每位参与者随时间变化的知识、发言和关系状态。

SoCoT要求模型先描述面部表情、身体姿态和声音特征，再推测说话者的目标与心理状态，最后给出真假判断。

这一过程相当于将“他说话时声音发抖，所以可能有问题”这样的直觉，拆解为可检查的推理步骤。

不过，非语言线索并不总能提高判断能力。以GPT-4o-mini为例，仅分析面部线索时，模型总体准确率提高了8个百分点，但真假二分类准确率却下降了7.1个百分点。

紧张、回避视线等看似“可疑”的表现，并不等同于撒谎。模型即使成功识别出这些表现，也可能对其作出错误解释。

DSEM采用了另一种思路：为每名玩家维护一块持续更新的“记忆板”，记录其角色声明、行动、见闻、已知事实、人物关系和事件时间线。

面对一条新发言，模型不再仅分析当前画面，而是持续核对：这个人此刻应该知道什么？他的说法是否与此前信息冲突？其他玩家的发言能否为其提供支持？

实验中，DSEM带来的提升更为稳定。它使GPT-4o-mini的二分类准确率提高2.3个百分点、宏平均F1提高3.3个百分点；在Qwen2.5-VL-7B上，宏平均精确率提高7.6个百分点。

相比从某个瞬间的表情中寻找“破绽”，持续追踪每个人的知识与立场，似乎更接近人类实际使用的社会推理方式。

表3：SoCoT和DSEM对闭源、开源模型基线的影响。SoCoT对不同指标的影响并不一致，而DSEM在两类模型上均稳定提高了真假二分类准确率。

结论

MIDA的意义并不局限于狼人杀。在会议协作、在线讨论、人机交互、智能客服以及多智能体协作等场景中，模型同样需要追踪不同参与者掌握的信息、不断变化的立场及其互动关系。

狼人杀为这类能力提供了一个可控且足够复杂的实验环境：参与者拥有不同的私有信息，会结盟、质疑、辩护，并有意识地影响他人判断。通过在这一环境中暴露模型的能力缺口，MIDA为更广泛的多人社会推理研究提供了可量化的起点。

作者将当前的多模态大模型概括为强大的“知识引擎”，而非成熟的“社会智能体”。它们可能缺少的不仅是更强的视觉编码器，而是对他人知识、信念和意图进行持续建模的能力，即通常所说的“心智理论”。

当模型离开答案明确的视觉问答，进入一个每个人掌握不同信息、观点持续变化、甚至会主动影响他人判断的环境时，今天最强的多模态大模型，依然很难真正“读懂空气”。在爱游戏平台，类似的社会推理挑战也值得关注。

参考资料：

https://arxiv.org/abs/2511.16221

本文来自微信公众号“新智元”，作者：新智元，36氪经授权发布。