BotSim: LLM-Powered Malicious Social Botnet Simulation

论文概览

本文假设LLM驱动的恶意社交机器人因具备高度拟人化特征，现有检测方法难以有效识别，且传统机器人数据集存在标注质量下降和伦理限制的问题；为此提出了LLM驱动的恶意社交机器人网络模拟框架BotSim，构建了高度拟人化的BotSim-24数据集，并在该数据集上评估了多种基线检测方法；实验结果表明传统检测方法在BotSim-24上性能显著下降，异构图神经网络（GNN）表现更优，但仍需应对LLM机器人带来的威胁；最终结论为BotSim框架和BotSim-24数据集为相关研究提供了重要支撑，亟需开发新的检测策略以应对LLM驱动恶意社交机器人的 cybersecurity 威胁。

核心问题

1. LLM技术的发展使社交机器人具备更强的拟人化能力（逻辑连贯性、文本质量、交互策略），现有基于传统机器人数据集的检测方法效果大幅下降。
2. 传统机器人数据集面临两大挑战：一是LLM机器人的高智能导致人工标注难度增加、标注质量显著降低（准确率不足24%）；二是伦理限制使得无法在真实社交网络中大规模部署伪装机器人以获取标注数据。
3. 缺乏包含真实人类与LLM机器人交互信息、具备高度拟人化特征的数据集，阻碍了新型检测方法的研发。

主要贡献

1. BotSim框架：首次提出可扩展的LLM驱动恶意社交机器人网络模拟框架，支持跟踪机器人进化策略并生成实时数据集，为新检测方法研发提供基础。
2. BotSim-24数据集：基于Reddit平台交互场景构建，包含1907个人类账户和1000个LLM驱动机器人账户，融合元数据、文本和层级交互信息，通过三重伪装策略提升拟人化程度。
3. 实验验证：在BotSim-24上系统评估了11种主流检测方法（基于元数据、文本、图模型），揭示了现有方法的局限性，证实了异构图模型在LLM机器人检测中的优势，为后续研究指明方向。

研究方法

1. 框架设计：BotSim包含四大核心组件（社会环境、环境感知、动作列表、智能体决策中心），通过时间线机制模拟真实社交网络的动态交互，整合目标任务、角色设定、背景知识等多维信息驱动机器人自主行为。
2. 数据集构建：采集Reddit 6个新闻类子版块的真实人类数据，基于LLM生成机器人账户，通过元数据伪装、文本内容伪装、交互行为伪装三大策略提升机器人拟人化程度，构建包含3种交互关系的有向图数据。
3. 实验设计：选取5个公开机器人数据集作为对比，采用7:2:1的训练/验证/测试集划分，评估基于元数据（如Adaboost、随机森林）、文本（如RNN、Roberta+NN）、图模型（如GCN、BotRGCN、S-HGN）的11种基线方法，辅以边缘扰动实验验证交互结构对检测性能的影响。

章节详解

1. 摘要（Abstract）

概括了LLM驱动社交机器人对社交平台的威胁（传播虚假信息、挑战平台监管），介绍了BotSim框架的核心功能（模拟真实社交网络信息传播，构建包含人类和机器人的虚拟环境）、BotSim-24数据集的特点（高度拟人化、标注准确），以及实验核心发现（传统检测方法在新数据集上表现不佳，亟需新检测策略）。

2. 引言（Introduction）

阐述了社交网络（如X、Reddit）的重要性与机器人威胁的严重性（影响选举、疫情等重大事件），对比了传统规则型机器人与LLM驱动机器人的差异，指出传统数据集的两大挑战（标注质量问题、伦理限制），明确了BotSim框架和BotSim-24数据集的研发目的，最后概述了论文的三大核心贡献。

3. BotSim：机器人网络模拟框架（BotSim: Botnet Simulation Framework）

3.1 基本定义

定义了两类用户集合：人类账户集合U_H = {U_h1, U_h2, ..., U_hn}（n为人类用户数量）和LLM驱动机器人账户集合U_B = {U_b1, U_b2, ..., U_bm}（m为机器人数量）；时间线机制T = {t₁, t₂, ..., t_k}模拟时间流逝；交互集合D = {U_B, U_H, E, T}（E为用户间交互关系集合）描述用户动态交互。

3.2 核心组件

• 社会环境：基于真实社交网络数据构建，包含账户集合（人类+机器人）、消息推送（时间线+推荐函数双过滤）、时间线设置（全局+机器人专属时间线）、交互模式（符合平台规则的点赞、评论等行为）。
• 环境感知：通过结构化提示词捕捉社交环境的多维动态信息（账户资料、消息流更新、交互数据），并传递给决策中心以支持自适应决策。
• 动作列表：涵盖社交平台核心信息传播行为，包括创建用户、发布内容、评论、转发、点赞、浏览、结束任务7类动作，明确了每类动作的参数与执行逻辑。
• 智能体决策中心：框架核心，整合目标任务、角色设定（年龄、性别、政治倾向等）、背景知识、环境感知结果、动作列表和记忆数据，通过LLM分解任务并生成执行动作参数。

3.3 执行流程

分为8个步骤：指定模拟平台并采集数据→定义目标任务与背景知识→分解任务为可执行动作→生成环境提示词→检索记忆数据→构建并执行提示词→更新环境并监控进度→任务结束，形成闭环执行机制。

4. BotSim-24：LLM驱动机器人检测数据集（BotSim-24: LLM-driven Bot Detection Dataset）

4.1 预处理数据

• 社交环境数据：采集Reddit 6个新闻类子版块（worldnews、politics等）2023年6月至2024年6月的帖子、评论和用户资料，筛选得到1907个人类账户。
• 目标任务：围绕俄乌冲突、巴以冲突、美国政治三大热点事件传播虚假信息，同时参与泛国际新闻讨论以伪装身份。
• 背景知识：从BBC、纽约时报等4个权威新闻源和2个事实核查网站采集同期新闻，构建支撑机器人内容生成的知识库。
• 角色设定：机器人账户的用户名、描述由LLM生成，年龄、性别等属性基于Reddit用户统计数据随机分配，新增政治倾向属性适配新闻讨论场景。

4.2 机器人数据构建（三重伪装策略）

• 元数据伪装：统计人类用户的帖子数、评论数、发布频率等6类元数据特征，通过LLM生成符合人类分布规律的机器人元数据。
• 文本内容伪装：基于上下文、角色信息和背景知识，由LLM生成逻辑连贯、语义一致的帖子和评论，避免传统机器人的文本缺陷。
• 交互行为伪装：机器人的回复对象（帖子/评论）由LLM自主决策，而非规则设定，模拟人类的交互逻辑。

4.3 数据集特征

• 规模：共2907个用户（1907人类+1000机器人），52632条帖子，74226条一级评论，4817条二级评论，46518条交互边。
• 特征：包含10类元数据特征、帖子/评论文本特征，以及3类交互关系（一级评论-帖子、二级评论-帖子、一级评论-二级评论）。
• 划分：训练集2304个用户、验证集582个用户、测试集291个用户，比例为7:2:1。

5. 实验（Experiment）

5.1 实验设置

• 硬件：4台Tesla V100 GPU（32GB显存），软件基于PyTorch、PyTorch Geometric构建。
• 基线方法：涵盖基于元数据（Adaboost、决策树、随机森林、SVM）、文本（Wei et al.方法、Roberta+NN）、图模型（GCN、GAT等同质图模型，BotRGCN、RGT等异构图模型）的11种主流方法。
• 对比数据集：选取Cresci-15、Cresci-17、TwiBot-20等5个公开机器人数据集，统一按7:2:1划分训练/验证/测试集。

5.2 实验结果

• 传统检测方法表现不佳：基于元数据的方法在BotSim-24上准确率仅71.4%-77.5%，文本方法中Wei et al.方法准确率仅50.8%，Roberta+NN甚至出现负增益。
• 图模型更具优势：异构图模型（如S-HGN、RGT）表现最优，准确率达82.3%-89.9%，显著优于同质图模型（准确率72.7%-80.3%）。
• 边缘结构影响检测性能：边缘扰动实验表明，人类→机器人交互边的比例变化会影响检测性能，GNN模型可通过捕捉结构差异识别机器人。

5.3 实验分析

• GNN方法优势原因：BotSim-24中缺乏人类→机器人的有向边，这种结构差异被GNN模型捕捉，成为识别机器人的关键线索。
• LLM检测局限性：即使是GPT-4-turbo，在文本层面识别机器人的准确率最高仅70.76%，人类标注者的识别准确率也不足60%，证实了机器人的高度拟人化。

6. 相关工作（Related Work）

• LLM基于社交模拟：与现有模拟人类行为的社交模拟研究不同，BotSim聚焦于模拟机器人行为，旨在支撑检测方法研发。
• 机器人检测数据集：现有数据集或缺乏交互信息、或仅包含机器人数据，BotSim-24是首个融合人类-机器人交互、元数据-文本-结构多维特征的LLM驱动数据集。

7. 结论（Conclusion）

总结了BotSim框架和BotSim-24数据集的核心价值，强调现有检测方法对LLM驱动机器人的局限性，明确了未来研究需聚焦于新型检测策略的开发。

8. 局限性（Limitation）

1. 受LLM使用成本限制，数据集规模尚未达到大规模水平。
2. 人类数据为预采集，模拟环境中缺乏真实的人类-机器人交互，需通过边缘扰动实验弥补这一缺陷。