Simulating Policy Impacts: Developing a Generative Scenario Writing Method to Evaluate the Perceived Effects of Regulation

论文概览

本文假设大型语言模型（LLMs）可利用其世界知识生成并改写场景以模拟政策影响，通过GPT-4生成欧盟AI法案第50条（透明度政策）实施前后的场景对，基于Kieslich生成式AI媒体环境影响分类法，招募234名参与者从严重程度、可信度、影响规模、对弱势群体针对性四个维度评估，发现该政策在劳动、福祉等领域缓解效果显著，在社会凝聚力和安全领域基本无效，最终验证了该生成式场景写作方法对政策效果评估的有效性，可为政策制定者和研究者提供低成本的预评估工具。

核心问题

如何构建低成本、高效的评估方法，提前预判政策对生成式AI引发的各类社会负面影响的缓解效果，解决传统政策评估中成本高、依赖专家易产生偏见、难以覆盖多元影响场景的问题。

主要贡献

1. 开发了一套基于LLM的政策评估方法：通过LLM生成反映特定负面影响的场景，再结合目标政策改写场景，形成“政策前-政策后”场景对，将文本场景转化为可量化的人类感知指标。
2. 以欧盟AI法案第50条（透明度义务）为案例，完成实证验证：覆盖10个生成式AI媒体环境影响主题、39个具体影响类型，通过大规模用户研究量化政策在不同领域的缓解效果，为该方法的实际应用提供了可参考的范式。

研究方法

1. 场景生成：采用GPT-4 Turbo，基于Kieslich分类法（10个影响主题、50个具体影响类型），为每个影响类型生成3组“政策前（S）-政策后（S’）”场景对（共150组），政策聚焦欧盟AI法案第50条的透明度要求。
2. 场景验证：由两位作者独立验证场景是否准确反映目标影响类型，最终保留39个影响类型的117组有效场景对。
3. 用户研究：招募234名美国成年参与者（通过率95%以上、完成100项以上任务），每人评估3组场景对，采用5点李克特量表从严重程度、可信度、影响规模、对弱势群体针对性四个维度评分，通过配对t检验分析数据。
4. 数据处理：计算每组场景对的维度得分差值（$M_{S}-M_{S’}$），分析政策在不同影响主题和类型上的缓解效果，检验结果显著性（$p<0.05$、$p<0.01$、$p<0.001$）。

各章节详解

1 引言

介绍生成式AI在文化、医疗、教育等领域的积极作用，同时强调其潜在的非预期社会负面影响；指出传统政策评估（如实验、试点部署）成本高，而预期伦理与参与式前瞻方法虽全面但依赖多元利益相关者，同样存在成本问题；提出利用LLMs的世界知识和因果推理能力，生成场景模拟政策影响的研究思路，明确本文旨在开发并验证该低成本政策评估方法。

2 相关文献

• 预期影响与治理：回顾欧盟AI法案、NIST AI风险管理框架等政策与框架，指出算法影响评估（AIA）需提前识别技术负面影响；讨论场景写作作为参与式前瞻工具的优势，以及现有评估方法依赖专家易产生偏见的不足，强调纳入非专家视角的重要性。
• LLMs作为知识表征：总结GPT-4、Gemini等模型在海量数据训练下获得的世界知识、实体关系映射和因果推理能力，引用相关研究验证LLMs在模拟人类行为、构建因果图等任务中的潜力，为LLM生成政策影响场景提供理论支撑。

3 方法论

• 提示词工程：先基于10个影响主题初步生成场景，发现模型存在影响类型覆盖不均的问题，后续改为针对50个具体影响类型设计提示词，明确场景设定（2029年美国、约300字、叙事风格），避免分析性内容。
• 场景验证标准：两位评估者按“完全符合”“部分符合”“不符合”三级评分，仅保留“均为完全符合”或“一方完全符合、一方部分符合”的场景，不符合的场景重新生成后再验证。
• 参与者筛选：排除未通过2项以上注意力检查的参与者，最终样本男女比例接近（51%女性、48%男性），以白人为主（68%），平均年龄38岁。
• 问卷设计：基于欧盟AI法案和风险评估文献，确定四个核心评估维度，采用词典定义明确维度内涵，避免锚定效应，场景呈现顺序随机平衡以消除顺序偏差。

4 分析与结果

• 整体趋势：政策实施后，场景的严重程度（$M_{\Delta}=-0.38$，$p<0.001$）、影响规模（$M_{\Delta}=-0.23$，$p<0.001$）、对弱势群体针对性（$M_{\Delta}=-0.13$，$p<0.001$）均显著降低，可信度无显著变化（$M_{\Delta}=-0.03$，$p<0.05$），说明政策整体具有缓解效果且场景可信度不受影响。
• 分主题结果：
  • 有效领域：自主权（$M_{\Delta}=-0.72$，$p<0.05$）、劳动（$M_{\Delta}=-0.63$，$p<0.001$）、法律权利（$M_{\Delta}=-0.89$，$p<0.05$）等领域政策缓解效果显著，其中法律权利领域严重程度下降最明显。
  • 无效领域：教育、安全、社会凝聚力领域的各项维度差值均无统计显著性，政策未体现有效缓解作用。
  • 特殊情况：媒体质量中的“媒体疲劳”在政策实施后严重程度略有上升（$M_{\Delta}=+0.22$），可能因AI生成标签增加信息处理负担。

5 讨论与未来工作

• 方法价值：该方法低成本、易操作，可作为政策正式制定前的预评估工具，帮助优先级排序和资源分配，补充传统评估方法的不足。
• 局限性：GPT-4无法生成部分影响类型（如歧视），可能受内容审核限制；模型存在训练数据和调优带来的偏见；仅聚焦单一政策和美国场景，普适性需进一步验证。
• 未来方向：纳入政策制定者参与评估方法实用性；扩展至其他政策（如拜登AI行政令、中国生成式AI管理办法）和领域；探索结合更多影响分类法，验证方法在小众影响类型上的适用性。

6 结论

总结本文开发的基于LLM的生成式场景写作方法，通过实证研究验证了其在政策影响评估中的有效性，该方法可降低评估成本、覆盖多元场景，为预期治理和风险管理提供支持，同时明确了方法的局限性和未来优化方向，为政策制定者和研究者提供了新的工具和思路。