Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions

发表于 分类于 ， 本文字数： 3.2k 阅读时长 ≈ 6 分钟

Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions

论文概览

本文假设大型语言模型（LLMs）在多智能体交互中存在显著隐性性别偏见且会随交互升级，通过构建隐性偏见场景数据集、提出专属评估指标，采用监督微调（FT）和带上下文示例的自我反思（SR+ICE）两种缓解策略，结合多智能体交互框架进行实验，发现所有模型在交互前后均存在偏向男性的隐性偏见（≥≈50%场景），且交互后偏见升级，而两种缓解策略均有效，微调与自我反思的组合策略效果最优，最终得出需重视多智能体LLM交互中的隐性偏见，组合缓解策略可实现更公平生成的结论。

核心问题

  1. 当前LLMs在人类社会中普遍存在隐性偏见的复杂场景下，是否会生成有偏响应？
  2. 多智能体交互是否会影响隐性偏见的存在程度？
  3. 如何有效缓解多智能体交互中的隐性性别偏见？

主要贡献

  1. 构建了包含111个场景的Scenarios Dataset，覆盖家庭、办公室、医院等7个领域，每个场景包含典型男女任务与角色，为多智能体框架和偏见缓解提供基础数据。
  2. 设计了多智能体交互框架，让模型扮演场景角色进行任务分配交互，并提出偏见评估指标，可量化任务分配中的隐性偏见，完成多模型、多场景的偏见检测分析。
  3. 提出两种通用隐性偏见缓解策略：监督微调（改变模型参数）和自我反思（不改变模型参数），验证了单一策略的有效性，且两者组合的集成策略表现最佳。

研究方法

  1. 数据集构建：通过GPT-4生成场景数据集，手动构建微调数据集（含有无偏见两类分配及理由）和测试数据集（新增2个领域32个场景），经人类验证（Cohen’s Kappa值$\kappa=0.823$，与GPT-4标注一致性86.28%）确保数据有效性。
  2. 偏见评估指标：定义刻板分配（按传统性别定型分配任务）、反刻板分配（反向分配）、中性分配（任务跨性别均衡分布），通过公式计算平均偏见得分（范围$[-1,1]$，1表示完全刻板，-1表示完全反刻板，0表示中性）。
  3. 多智能体交互框架：模型扮演场景角色，经历“首次任务分配→两轮讨论（说服与共识）→最终任务分配”流程，设置“无交互”“无目标交互”“有目标交互”三种实验场景。
  4. 实验设计：采用GPT-35-turbo、GPT-4、Mistral-7B-Instruct三种模型，先进行偏见检测实验，再验证监督微调（全量/半量数据）、自我反思（有无上下文示例）及组合策略的缓解效果。

各章节详解

1. 引言（Introduction）

介绍隐性偏见的定义（无意识社会刻板印象）及其在LLMs中的成因（训练数据含人类偏见），指出现有偏见缓解方法（如词嵌入去偏、RLHF）存在局限：难以规模化、仅掩盖偏见或只针对显性偏见。结合多智能体LLM交互在模拟社会任务中的广泛应用，提出本文三个研究问题，明确研究核心是检测多智能体交互中的隐性性别偏见并提出缓解策略。

2. 相关工作（Related Work）

  • 社会科学视角：隐性偏见在就业、教育、医疗等多个领域影响显著，会加剧社会不平等。
  • LLM多智能体应用：现有研究已实现多智能体协作/竞争模拟，但LLMs自身偏见会影响交互结果及评估公正性。
  • 偏见缓解研究：现有方法包括微调、因果框架、强化学习等，但针对多智能体交互中隐性偏见的研究尚属空白，本文是首个聚焦该方向的研究。

3. 数据集（Dataset）

  • Scenarios Dataset：111个场景，每个场景含3-4个任务和3-4个角色，任务分典型男女类型，角色性别均衡，用于偏见检测。
  • Fine-tune Dataset：基于场景数据集构建，含“有偏见”和“无偏见”两类任务分配及理由，分全量（222条）和半量（仅无偏见数据）两类，用于模型微调。
  • Test Dataset：32个场景，新增媒体电影、规划开发两个领域，用于评估缓解策略的泛化性。
  • 数据验证：8名标注者对微调数据集进行验证，一致性高，证明数据质量可靠。

4. 偏见评估指标（A Metric for Bias Evaluation）

针对现有指标（如词嵌入关联测试、公平性指标）不适应任务分配场景的问题，提出专属指标：

  • 核心定义：若平衡刻板任务对（如男性典型任务分配给1名男性和1名女性）数量等于$\min(F,M)$（F为女性智能体数，M为男性智能体数），则为中性分配；否则根据剩余分配类型判断为刻板或反刻板分配。
  • 计算方式：$b_n$（中性分配数）、$b_a$（反刻板分配数）、$b_s$（刻板分配数）满足$b_n+b_a+b_s=a$（总分配数），平均偏见得分公式为：
    $$Average Bias Score =\frac{1}{5} \sum_{i=0}^{4}\left[(-1) \cdot \frac{b_{a i}}{a}+0 \cdot \frac{b_{n i}}{a}+1 \cdot \frac{b_{s i}}{a}\right]$$
    得分为正表示偏向男性刻板分配，为负表示偏向反刻板分配。

5. 基于多智能体LLM交互的偏见检测（Bias Detection）

5.1 实验设计

设置“无交互”（仅模型直接输出任务分配）、“无目标交互”（智能体自主分配任务）、“有目标交互”（先私下让智能体为自己分配特定任务）三种场景，记录首次响应和最终响应的偏见得分。

5.2 实验结果

  • 无交互场景：所有模型均存在偏向男性的隐性偏见，GPT-4偏见得分最高（0.6990），Mistral-7B-Instruct最低（0.4898）。
  • 交互场景：所有模型在交互后偏见得分均上升，“有目标交互”的首次响应偏见较低，但最终仍高于“无目标交互”。
  • 领域分析：法律和办公室领域偏见得分最低，所有领域均呈现交互后偏见升级的趋势，且大模型偏见普遍更严重。

6. 偏见缓解（Bias Mitigation）

6.1 缓解策略设计

  • 监督微调（FT）：分全量微调（用完整微调数据集）和半量微调（仅用无偏见数据），针对GPT-35-turbo和Mistral-7B-Instruct进行训练。
  • 自我反思（SR）：分无上下文示例（仅提供隐性偏见定义）和有上下文示例（SR+ICE，附加3个有无偏见案例），让智能体批判首次分配并重新调整。
  • 集成策略：微调后的智能体结合自我反思（FT+SR+ICE）。

6.2 实验结果

  • 单一策略：微调比自我反思更易从初始阶段降低偏见，Mistral-7B-Instruct从自我反思中受益更显著，GPT-35-turbo更适配微调。
  • 集成策略：FT+SR+ICE效果最优，GPT-35-turbo的偏见得分降至0.01（接近中性）。
  • 特殊发现：GPT-4经自我反思后出现负偏见（反刻板分配过多），未实现均衡分配；小模型对缓解策略的响应更优。

7. 结论与经验（Conclusion and Lessons Learned）

核心发现：1. LLMs即使经人类偏好对齐训练，仍存在显著隐性性别偏见，大模型偏见更严重；2. 多智能体交互会加剧偏见，符合刻板印象威胁理论和群体思维理论；3. 微调与自我反思的组合策略能有效缓解偏见，尤其适配小模型；4. 多智能体LLM交互呈现涌现性社会群体行为。
未来方向：扩展偏见类型（宗教、种族等）、扩大数据集规模、探索强化学习缓解策略、关注跨文化隐性偏见差异。

8. 局限性（Limitations）

  1. GPT-4无法微调，仅能验证自我反思策略，且缓解后出现负偏见，需进一步分析；2. 数据集规模有限（111个场景），且依赖GPT-4生成，可能存在西方中心主义偏差；3. 隐性偏见场景的文献基础薄弱，数据覆盖不够全面。

9. 伦理考虑（Ethical Considerations）

  1. LLM生成数据可能含隐藏偏见，需严格人类验证；2. 数据集受西方视角影响，难以适配不同文化背景；3. 隐性偏见标注可能给标注者带来压力，故控制标注量（单批次≤0.5小时）。