Silicon Respondents: CGSS Survey Reproduction with LLMs

硅基被试：用大语言模型复现社会调查回答

本项目将 LLM 视为"硅基被试"——基于 CGSS 2023 真实受访者的历史回答构建人设画像（persona），让 DeepSeek 代入人设回答新题，系统比较五种信息量递增的人设策略（M1-M5）在准确性、题项相关和画像相关上的表现。实验覆盖 1500 名受访者，旨在回答一个核心问题：给 AI 更多的个人背景信息，能否让它更准确地"扮演"一个真实的人？

研究设计

核心问题：给 LLM 更多受访者背景信息，能否让它更准确地"扮演"该受访者？

从 CGSS 2023 中抽取 1500 名受访者，提取其历史回答构建"人设画像"（persona），让 LLM 代入该人设回答 4 道新题（社会信任、公平感、幸福感、人际信任），与真实回答对比。

五种方法（信息量递增）

| 方法 | 人设变量 | 变量数 | 说明 | |------|---------|--------|------| | M1 | 性别、年龄、教育程度 | 3 | 仅人口统计 | | M2 | M1 + 政治面貌、社会等级、经济状况 | 6 | 加入社会经济 | | M3 | M2 + 健康状况 | 7 | 加入健康自评 | | M4 | M3 + 其他三道态度题 | 10 | 加入心理态度（仅回归分析） | | M5 | M3 + 户口、收入、家庭收入、性观念、婚姻 | 14 | 最丰富人设 |

评估指标

• Accuracy：归一化准确率 1 - |human - llm| / 4，范围 [0, 1]
• Item-level Correlation：跨样本的 Spearman 相关（每题 human vs LLM），Fisher z 汇总
• Profile Correlation：样本内的 Spearman 相关（每个样本 4 题构成 profile），Fisher z 汇总
• Regression R²：用 LLM 预测值复现真实数据的回归模型，对比解释力

实验结果

| 方法 | Accuracy | Item-level ρ | Profile ρ | |------|----------|-------------|-----------| | M1 (3 vars) | 0.697 | 0.016 | 0.039 | | M2 (6 vars) | 0.716 | 0.135 | 0.244 | | M3 (7 vars) | 0.719 | 0.149 | 0.197 | | M5 (14 vars) | 0.717 | 0.156 | 0.248 |

主要发现：

• Accuracy 稳定在 0.70 左右，各方法差异不大
• 题项相关和画像相关随人设信息量增加而提升，M5 最优
• 仅凭人口统计变量（M1）的画像相关几乎为零，说明 LLM 依赖刻板印象而非个体差异

目录结构

├── README.md
├── requirements.txt
├── .env.example                  # API Key 模板（真实 key 放 .env）
├── .gitignore
├── instruction.txt               # LLM prompt 模板（新题 + 格式要求）
│
├── scripts/                      # 流水线脚本
│   ├── 01_prepare_data.py        # 阶段一：CGSS 数据清洗 + 抽样
│   ├── 02_generate_persona.py    # M1-M3 人设生成
│   ├── 03_make_prompt.py         # 拼接 persona + instruction → prompt
│   ├── 04_run_deepseek.py        # 调 DeepSeek API（200并发）
│   ├── 05_process_json.py        # JSON 响应 → CSV 答案表
│   ├── M5_build_dataset.py       # M5 数据准备（含新增变量）
│   ├── M5_generate_persona.py    # M5 人设生成
│   └── regression_analysis.py    # 回归 R² 复现分析
│
├── notebooks/                    # Jupyter 分析
│   ├── 01_phase1_analysis.ipynb  # 阶段一：层次回归 + 可视化
│   └── 02_metrics.ipynb          # 三项评估指标计算
│
├── data/                         # 清洗后数据 + LLM 回答
│   ├── cgss_clean.csv
│   ├── cgss_clean_with_groups.csv
│   ├── cgss_clean_M5.csv
│   ├── human_answer.csv
│   └── llm_answers_M*.csv
│
├── results/                      # 评估结果（按方法分目录）
│   ├── M1/
│   ├── M2/
│   ├── M3/
│   ├── M5/
│   └── hierarchical_combination_results.csv
│
├── figures/                      # 图表
│   ├── attitude_corr.png
│   └── hierarchical_combination_plot.png
│
└── docs/                         # 参考资料
    ├── CGSS2023_codebook.xlsx    # 编码表
    ├── assignment.pdf            # 作业说明
    └── report.docx               # 课程报告