Distribution Shift Alignment Helps LLMs Simulate Survey Response Distributions

论文概览

本文假设大型语言模型（LLMs）能捕捉不同背景群体间的偏好分布偏移，提出两阶段微调方法Distribution Shift Alignment（DSA），通过先对齐模型与训练集分布、再对齐不同背景的分布偏移，在五个公共调查数据集上持续优于零样本和传统微调方法，减少53.48%-69.12%的真实数据需求，最终实现比训练数据更接近真实分布的调查响应模拟。

核心问题

现有LLM模拟调查响应的方法存在显著局限：零样本方法对提示敏感、输出分布偏离真实场景；传统微调方法仅拟合训练集分布，无法突破训练数据的精度上限，未能充分发挥LLMs的潜力。核心问题是如何设计有效的微调策略，让LLMs利用不同背景群体的偏好偏移规律，生成超越训练数据精度的真实调查响应分布，同时降低大规模数据收集的成本。

主要贡献

1. 提出DSA两阶段微调框架，首次通过对齐分布偏移而非单纯拟合训练数据，使LLMs生成比训练集更接近真实分布的调查响应。
2. 建立以训练集为基准的综合评估体系，涵盖准确性、鲁棒性、数据节省率等多维度指标，弥补了以往研究的评估缺口。
3. 在五个跨区域、跨领域的调查数据集上验证了DSA的优越性，其预测精度最优且能节省53.48%-69.12%的真实数据，大幅降低调查成本。

研究方法

DSA的核心是两阶段微调与分布偏移对齐，具体如下： 1. 第一阶段（训练集分布对齐）：以背景信息为提示，将核心问题选项映射为标签，通过KL散度损失$\mathcal{L}=\sum_{b \in B_1 × \cdots × B_m} P^{LLM}(C | b) \log \left(\frac{P^{LLM}(C | b)}{P^{Train}(C | b)}\right)$，使模型输出分布与训练集分布对齐，修正模型偏差。 2. 第二阶段（分布偏移对齐）：采用分位数映射建模不同背景的分布偏移d̂(b₁, b₂)，通过DSA损失ℒ_DSA = ∑_(b1, b2)ℒ_KL(d_LLM(b₁, b₂), d̂(b₁, b₂))，让模型学习背景变化导致的分布偏移规律，实现跨背景的分布泛化。 3. 微调策略：仅调整LLM的最后一个Transformer层和softmax层，平衡收敛速度与过拟合风险，无需全模型微调。

各章节详解

1. 引言

• 背景：调查是社会科学、市场研究的核心工具，但大规模调查成本高、资源消耗大，LLMs凭借海量文本训练基础，为模拟人类调查响应提供了潜在方案。
• 现有方法局限：零样本方法数据高效但提示敏感、分布偏差大；传统微调方法仅拟合训练集，无法突破训练数据精度，未充分利用LLMs潜力。
• 核心思路：LLMs虽难以直接预测绝对偏好分布，但能捕捉不同背景群体的偏好偏移（如年轻人比中年人更偏好跑车），基于此设计DSA方法，通过对齐分布偏移实现更精准的模拟。

2. 方法论

2.1 任务定义

• 核心目标：给定背景属性组合b ∈ B₁ × ⋯ × B_m（如地区、教育水平），LLM需预测核心调查问题C的选择概率分布P(C|b)。
• 背景信息B = (B₁, B₂, ..., B_m)为多选项问题集合，每个选项代表特定子群体；核心问题C的分布P(C) = [p₁, p₂, ..., p_n]为选项上的概率分布。

2.2 第一阶段：训练集分布对齐

• 数据处理：将核心问题选项标注为标签（如1-5分），以背景信息为提示，引导LLM输出对应标签。
• 概率计算：模型输出 token 的概率通过softmax转换：$P_{i}^{LLM}=\frac{e^{t_{i}}}{\sum_{j=1}^{n} e^{t_{j}}}$，其中t_i为选项标签对应的token得分。
• 损失函数：采用KL散度损失，使模型输出分布与训练集分布P^Train(C|b)对齐，避免预测偏离真实分布。

2.3 第二阶段：跨背景分布偏移对齐

• 偏移建模：通过分位数映射计算不同背景的分布偏移，将受访者按核心问题得分排序，取不同分位数（如Top10%）的得分差异作为偏移度量d̂(b₁, b₂)。
• 损失函数：构造仅单一背景不同的虚拟受访者对，通过KL散度对齐模型预测的偏移d_LLM(b₁, b₂)与计算出的真实偏移d̂(b₁, b₂)。
• 梯度处理：对样本量较多的背景停止梯度传播，仅通过样本量较少的背景反向传播，缓解小群体采样偏差，加速收敛。

2.4 微调策略

• 选择微调最后一个Transformer层和softmax层，既聚焦输出概率调整，又避免全模型微调导致的过拟合和高计算成本，实现快速稳定收敛。

3. 实验

3.1 实验设置

• 数据集：选取5个跨区域、跨领域的调查数据集（ESS11、ESS9、CGSS、WVS、CFPS），涵盖不同语言和主题，训练集规模为2000-4000条。
• 模型：采用Qwen3-4B和Qwen3-32B两个开源LLM，均训练于包含人类偏好的大规模语料。
• 指标：使用KL散度（KLD）和Jensen-Shannon散度（JSD）评估分布相似度，均为10次随机运行的平均值。

3.2 基线方法

• 训练集直接作为结果（TS）：简单有效的基准，评估微调方法是否超越训练数据精度。
• 零样本方法：Direct（无微调无提示工程）、PE（提示工程优化）。
• 微调方法：AAE（轻量条件概率模型微调）、TKFT（token级概率直接对齐微调）。

3.3 核心实验结果

• 分布模拟精度：DSA在所有数据集和模型上均最优，Qwen3-4B的DSA在ESS11的KLD仅为0.057，远低于TS的0.309和其他微调方法（AAE为0.306）。
• 数据效率：DSA节省53.48%-69.12%的训练数据，仅需少量数据即可达到与其他方法相当的精度，源于其跨背景偏移对齐的泛化能力。
• 跨背景泛化：对训练集中缺失的“未见过背景”，DSA显著降低JSD，能准确预测未观测群体的分布，而其他方法泛化能力有限。
• 鲁棒性：DSA在90%以上的背景群体中优于训练集，对不同问题和训练集规模均保持稳定改进；对提示变化的敏感度最低（平均 pairwise JSD仅0.05-0.11），远优于零样本方法。

3.4 消融实验

• 仅第一阶段微调的KLD为0.3086，加入第二阶段偏移对齐后降至0.0561，验证了偏移对齐的核心作用。
• 仅微调最后一层与全模型微调性能相当（KLD分别为0.0567和0.0561），证明无需大规模参数更新即可实现优化；模型规模从4B提升至32B可进一步小幅提升性能。

4. 相关工作

• LLM-based模拟：零样本方法依赖提示工程但敏感且方差低估，传统微调方法仅拟合训练集分布，未能利用LLM的泛化能力。
• 分布偏好建模：现有研究聚焦群体偏好对齐，但未关注跨背景的分布偏移建模，DSA填补了这一空白。

5. 结论与局限

结论

DSA通过两阶段微调对齐训练集分布与跨背景分布偏移，使LLMs生成比训练数据更接近真实分布的调查响应，在准确性、鲁棒性和数据效率上全面超越现有方法，为降低大规模调查成本提供了有效方案。

局限

1. 依赖背景变量独立假设，而真实调查中变量常存在相关性，可能影响偏移对齐精度。
2. 仅在离散结构化问题上验证，未测试开放式、自由文本类调查场景的有效性。
3. 可能放大训练数据或模型本身的偏差，导致特定群体的表示失真。