Value Profiles for Encoding Human Variation

论文概览

本文假设自然语言价值档案（Value Profiles）可有效压缩人类评分者的核心决策信息，优于传统人口统计学特征，提出基于自编码器框架生成价值档案并结合扩展的v-信息方法评估其预测价值的研究方案，通过6个跨领域数据集验证发现，价值档案能保留超过70%的实例演示信息，聚类效果优于最优人口统计学分组，且具备可解释性和校准性，最终结论为价值档案为建模人类评分异质性提供了超越人口统计学和群体信息的新颖、高效途径。

核心问题

传统机器学习将标注者分歧视为噪声，现有建模人类评分异质性的方法（分布种群建模、特征分组、个体建模）存在局限：分布建模需大量重叠标注、分组建模忽略组内差异、个体建模缺乏高效的评分者表示方式。本文核心解决如何构建兼具预测力、可解释性和可操纵性的个体评分者表示，以精准捕捉评分任务中的人类差异（如观点偏好、毒性判断标准差异）。

主要贡献

1. 提出自然语言价值档案：以可解释的自然语言描述评分者潜在价值观，作为个体评分者的核心表示，平衡预测力与可理解性。
2. 扩展v-信息方法论：将其应用于多变量场景，量化不同评分者表示（无信息、人口统计学、实例演示、价值档案）的预测信息含量。
3. 开发价值档案聚类算法：无需标注者重叠标注，能识别更具解释力的评分者群体，性能优于最优人口统计学分组。
4. 多维度验证价值档案有效性：通过内在性能（损失、准确率）和外在实用性（可解释性、校准性、模拟评分者群体）验证其在不同任务中的适用性。

研究方法

1. 评分者表示类型：定义4类表示方式——无信息（∅）、人口统计学特征（D）、n个上下文实例演示（E_n）、自然语言价值档案（V）。
2. 自编码器框架：编码器Q_ϕ从评分者的实例演示E_n中提取价值档案V，解码器P_θ基于价值档案预测评分者对未见过实例的评分，优化目标为交叉熵损失。
3. v-信息计算：扩展v-信息公式以量化预测信息，I_𝒱(g(R) → Y|X) = H_𝒱(Y|X) − H_𝒱(Y|X, g(R))，其中g(R)为评分者表示，通过训练不同表示下的解码器并对比测试损失计算。
4. 实验设计：使用6个数据集（涵盖观点调查、仇恨言论检测、毒性判断等任务），采用50/50评分者训练/测试分割，解码器基于Gemma2-9b-pt训练，编码器采用Gemma2系列和Gemini-1.5 Pro。
5. 聚类算法：通过解码器预测不同价值档案对实例的评分分布，计算评分者与各价值档案的损失，迭代选择最优价值档案作为聚类中心，最小化整体损失。

论文各章节详解

1. 引言（Introduction）

• 背景：许多主观任务（如聊天偏好、仇恨言论检测）存在合理标注分歧，建模这种异质性对多元对齐、个性化等至关重要。
• 现有方法对比：将现有方法分为三类——分布种群建模（建模标签分布但不解释分歧原因）、特征分组（忽略组内差异）、个体建模（无高效表示方式），明确个体建模的优势（无需重叠标注、可通过边缘化得到群体分布）。
• 研究目标：提出价值档案作为个体建模的核心表示，解决“如何有效表示个体评分者”的关键问题，并通过实验验证其优越性。

2. 建模人类标注者差异（Modelling Human Annotator Variation）

2.1 评分者表示定义

• 形式化定义：设评分者集合R、实例集合X、评分集合Y，目标建模Y|X, R，对比4类评分者表示的预测分布：
  • 无信息：P(Y|X, ∅(r)) = P(Y|X)
  • 人口统计学：P(Y|X, D(r))
  • 实例演示：P(Y|X, E_n(r))
  • 价值档案：P(Y|X, V(r)) #### 2.2 价值自编码
• 自编码器结构：编码器Q_ϕ从评分者的拟合实例集D_i^fit中生成价值档案v_i，解码器P_θ基于v_i预测评估集D_i^eval的评分。
• 训练策略：冻结编码器（保持可解释性），仅微调解码器，编码器初始化为提示语言模型，确保价值档案的人类可理解性。

3. 估计可用评分者信息（Estimating Usable Rater Information）

• 方法扩展：将Xu等人（2020）的v-信息扩展到三变量场景，引入计算家族𝒱，定义条件熵H_𝒱(B|A, C) = inf_{f ∈ 𝒱}𝔼_{a, b, c ∼ A, B, C}[−logf[a, c](b)]和预测信息I_𝒱(A → B|C)。
• 计算步骤：通过训练“含评分者信息”和“不含评分者信息”的解码器，对比测试集损失，量化不同表示的预测信息含量（算法1）。

4. 实验方法（Experimental Methodology）

• 训练细节：评分者按50/50分割为训练/测试集，拟合集大小|D_i^fit|服从均匀分布U(2, |D_i|−2)，解码器训练1个epoch以保持校准性。
• 数据集信息：6个数据集涵盖主观任务，包含评分者ID和部分人口统计学特征，统计信息如表1所示（如OpinionQA含10k评分者、731k评分）。

5. 不同表示方式的性能（Performance Across Rater Representation Settings）

• 核心发现：
  1. 实例演示（E_n）预测力最强，显著优于其他表示（p < .001）；
  2. 价值档案（V）预测力仅次于实例演示，Gemini-1.5 Pro生成的价值档案在4个大型数据集上保留超过70%的实例演示信息；
  3. 人口统计学特征（D）预测力有限，仅在OpinionQA（政治倾向高度相关）中表现较好；
  4. 价值档案与人口统计学特征互补，结合后性能最优。

6. 价值档案聚类（Value Profile Clustering for Grouping Raters）

• 聚类优势：无需标注者重叠标注、利用语义信息、支持定性分析。
• 实验结果：
  1. 聚类性能随簇数增加提升，8个簇时接近个体价值档案的预测力；
  2. 对DICES和OpinionQA，2个簇即可保留51%-60%的可用信息，优于最优人口统计学分组；
  3. 聚类能恢复潜在分歧模式（如毒性判断中的“高容忍度”vs“高敏感度”簇）。

7. 外在评估（Extrinsic Evaluation）

• 可解释性：通过二元分类任务验证，人类能基于价值档案解释解码器输出分布差异，准确率达80%-96%；
• 校准性：解码器输出概率与实际准确率高度匹配，校准效果优异；
• 模拟评分者群体：基于价值档案模拟的标注者群体，能预测实例级标注分歧（p < .001），为计算社会科学提供工具。

8. 相关工作（Related Work）

• 聚类与人口统计学：现有分组方法易导致刻板印象，本文聚类基于语义价值，更具解释力；
• 个体导向操纵：现有工作多依赖提示工程，本文通过训练解码器实现更精准的个体对齐；
• 价值观与对齐：宪法AI聚焦单一原则，本文价值档案支持多元价值观建模，契合多元对齐目标。

9. 结论（Conclusion）

总结价值档案的核心优势：预测力强（保留70%+实例信息）、可解释性高（自然语言描述）、聚类效果优（优于人口统计学分组）、外在实用性广（可操纵、可模拟群体），为建模人类异质性提供了新范式。

10. 局限性（Limitations）

实验仅使用Gemma2和Gemini系列模型，未验证跨模型泛化性；实验成本高（650+训练轮次），未来需扩展到更多模型家族。

11. 伦理考量（Ethical Considerations）

• 风险：价值档案可能泄露隐私、存在错误泛化风险、仅支持英文；
• 优势：可解释性提升用户自主权、减少刻板印象、支持价值观反思（契合罗尔斯“反思平衡”理论）；
• 建议：应允许用户自主创建/修改价值档案，同时保留人口统计学数据以评估公平性。