medi (NanmiCoder/MediaCrawler) | MoltPulseBack to Directorymedi
小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B 站视频 ｜ 评论爬虫、微博帖子 ｜ 评论爬虫、百度贴吧帖子 ｜ 百度贴吧评论回复爬虫 | 知乎问答文章｜评论爬虫
MoltPulse
Based on repository activity, growth velocity and community engagement.
68
Is this actually an AI agent?
免责声明：
大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，爬虫违法违规的案件 <br>
本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。
点击查看更为详细的免责声明。点击跳转
📖 项目简介
一个功能强大的多平台自媒体数据采集工具，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。
🔧 技术原理
- 核心技术：基于 Playwright 浏览器自动化框架登录保存登录态
- 无需JS逆向：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数
- 优势特点：无需逆向复杂的加密算法，大幅降低技术门槛
✨ 功能特性
| 平台 | 关键词搜索 | 指定帖子ID爬取 | 二级评论 | 指定创作者主页 | 登录态缓存 | IP代理池 | 生成评论词云图 |
| ------ | ---------- | -------------- | -------- | -------------- | ---------- | -------- | -------------- |
| 小红书 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 抖音 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 快手 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| B 站 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 微博 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 贴吧 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 知乎 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
专注于学习成熟项目的架构设计，不仅仅是爬虫技术，Pro 版本的代码设计思路同样值得深入学习！
🎯 核心功能升级
- ✅ 断点续爬功能（重点特性）
- ✅ 多账号 + IP代理池支持（重点特性）
- ✅ 去除 Playwright 依赖，使用更简单
- ✅ 完整 Linux 环境支持
🏗️ 架构设计优化
- ✅ 代码重构优化，更易读易维护（解耦 JS 签名逻辑）
- ✅ 企业级代码质量，适合构建大型爬虫项目
- ✅ 完美架构设计，高扩展性，源码学习价值更大
🎁 额外功能
- ✅ AI Agent Skill 支持（Codex / OpenClaw 🦞 / Hermes / Claude Code / DeepSeek Harness / cc-haha / WorkBuddy / 豆包 / Trae / Qoder / Cursor 一键安装，让 Agent 自动爬取数据）
- ✅ 评论分析 Agent（🆕 新上线）：输入关键词或链接，自动采集评论并生成研究报告
- ✅ 自媒体内容拆解 Agent：解析内容、视频转文字、拆解爆款元素
- ✅ 多平台首页信息流推荐（HomeFeed）和热搜榜单
- ✅ 自媒体视频下载器桌面端（适合学习全栈开发）
- ✅ AI 图片生成 Agent：多轮迭代自动优化，内置精选模板库
🚀 快速开始
💡 如果这个项目对您有帮助，请给个 ⭐ Star 支持一下！
📋 前置依赖
🚀 uv 安装（推荐）
在进行下一步操作之前，请确保电脑上已经安装了 uv：
- 安装地址：uv 官方安装指南
- 验证安装：终端输入命令
uv --version，如果正常显示版本号，证明已经安装成功
- 推荐理由：uv 是目前最强的 Python 包管理工具，速度快、依赖解析准确
🟢 Node.js 安装
- 下载地址：https://nodejs.org/en/download/
- 版本要求：>= 16.0.0
📦 Python 包安装
# 进入项目目录
cd MediaCrawler
# 使用 uv sync 命令来保证 python 版本和相关依赖包的一致性
uv sync
🌐 浏览器驱动安装（可选）
如果使用默认的 CDP 模式（连接已有 Chrome 浏览器），无需安装浏览器驱动。仅在使用标准 Playwright 模式时需要安装。
# 仅在标准 Playwright 模式下需要安装浏览器驱动
uv run playwright install
🌍 Chrome 浏览器配置（推荐）
项目默认使用 CDP 模式连接用户已有的 Chrome 浏览器，可以复用浏览器已有的登录状态、Cookie、扩展等，大幅降低平台风控检测风险。
- 安装最新版 Chrome 浏览器（版本 >= 144），下载地址
- 开启远程调试功能：在 Chrome 地址栏输入
chrome://inspect/#remote-debugging，勾选 "Allow remote debugging for this browser instance"
- 页面显示
Server running at: 127.0.0.1:9222 表示已就绪
💡 提示：运行爬虫后，Chrome 浏览器会弹出确认对话框，点击"接受"即可。程序会等待用户确认，60秒内操作完成即可。
如果不想使用 CDP 模式，可以在 config/base_config.py 中设置 ENABLE_CDP_MODE = False 切换为标准 Playwright 模式。
🚀 运行爬虫程序
# 在 config/base_config.py 查看配置项目功能，写的有中文注释
# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
uv run main.py --platform xhs --lt qrcode --type search
# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
uv run main.py --platform xhs --lt qrcode --type detail
# 打开对应APP扫二维码登录
# 其他平台爬虫使用示例，执行下面的命令查看
uv run main.py --help
默认关闭。开启后会在爬取的同时把媒体文件下载到本地，按帖子聚合存放：
# 命令行开关
uv run main.py --platform xhs --type detail --specified_id <帖子URL或ID> --get_media true
# 或在 config/base_config.py 中设置 ENABLE_GET_MEDIA = True
落盘结构（SAVE_DATA_PATH 为空时落在 data/ 下）：
data/xhs/media/{帖子ID}/
├── cover.jpg # 封面
├── video.mp4 # 视频（B站为 DASH 合流产物）
└── 001.jpg # 图文帖的图片
支持平台：小红书、抖音、快手、B站、微博。贴吧与知乎的数据结构中没有媒体字段，暂不支持。
- 安装 ffmpeg 后可走 DASH 路径获取最高画质（音视频分轨下载后无损合流）；未安装时自动降级为 mp4 直链，产物名为
video-durl.mp4 以便区分
- 清晰度由
config/bilibili_config.py 的 BILI_QN 控制（默认 80 = 1080p）；未登录或权限不足时若高清取流被拒，会自动逐档降级到实际可下载的清晰度
- 媒体下载失败只记录日志，不会中断爬取
- 已存在的文件会被跳过；需要重新下载时删掉对应目录即可
- 下载是串行跟随爬取流程的（未做并发下载），避免给平台 CDN 造成压力
MediaCrawler 提供了基于 Web 的可视化操作界面，无需命令行也能轻松使用爬虫功能。
开发调试（推荐）
开发时需要同时启动后端 API 服务和前端 Vite 开发服务器：
# 终端 1：启动 API 服务器（默认端口 8080）
uv run uvicorn api.main:app --port 8080 --reload
# 终端 2：启动前端开发服务器
cd webui
npm install
npm run dev # 默认在 5173 端口启动，并代理 /api 到 8080
启动成功后，访问 http://localhost:5173/ 即可打开 WebUI 界面。
首次打开会进行环境检测（调用 /api/env/check），请确保后端服务已启动。如果检测失败，可点击「跳过检测」临时跳过。
构建生产资源
如果希望通过 API 服务器直接提供 WebUI 静态资源，需要先构建前端：
cd webui
npm install
npm run build # 产物输出到 api/webui/
uv run uvicorn api.main:app --port 8080 --reload
然后访问 http://localhost:8080 即可。
WebUI 功能特性
- 可视化配置爬虫参数（平台、登录方式、爬取类型等）
- 实时查看爬虫运行状态和日志
- 数据预览和导出
界面预览
创建并激活 Python 虚拟环境
如果是爬取抖音和知乎，需要提前安装 nodejs 环境，版本大于等于：16 即可
# 进入项目根目录
cd MediaCrawler
# 创建虚拟环境
# 我的 python 版本是：3.11 requirements.txt 中的库是基于这个版本的
# 如果是其他 python 版本，可能 requirements.txt 中的库不兼容，需自行解决
python -m venv venv
# macOS & Linux 激活虚拟环境
source venv/bin/activate
# Windows 激活虚拟环境
venv\Scripts\activate
安装依赖库
pip install -r requirements.txt
安装 playwright 浏览器驱动
运行爬虫程序（原生环境）
# 项目默认是没有开启评论爬取模式，如需评论请在 config/base_config.py 中的 ENABLE_GET_COMMENTS 变量修改
# 一些其他支持项，也可以在 config/base_config.py 查看功能，写的有中文注释
# 从配置文件中读取关键词搜索相关的帖子并爬取帖子信息与评论
python main.py --platform xhs --lt qrcode --type search
# 从配置文件中读取指定的帖子ID列表获取指定帖子的信息与评论信息
python main.py --platform xhs --lt qrcode --type detail
# 打开对应APP扫二维码登录
# 其他平台爬虫使用示例，执行下面的命令查看
python main.py --help
💾 数据保存
MediaCrawler 支持多种数据存储方式，包括 CSV、JSON、JSONL、Excel、SQLite 和 MySQL 数据库。
💬 交流群组
💰 赞助商展示
🤝 成为赞助者
成为赞助者，可以将您的产品展示在这里，每天获得大量曝光！
- 微信：
relakkes
- 邮箱：
relakkes@gmail.com
☕ 请作者喝杯咖啡
如果这个项目对您有帮助，欢迎打赏支持，您的每一份支持都是我持续更新的动力 ❤️
📚 其他
🧩 我的其他项目
⭐ Star 趋势图
如果这个项目对您有帮助，请给个 ⭐ Star 支持一下，让更多的人看到 MediaCrawler！
📚 参考
免责声明
1. 项目目的与性质
本项目（以下简称“本项目”）是作为一个技术研究与学习工具而创建的，旨在探索和学习网络数据采集技术。本项目专注于自媒体平台的数据爬取技术研究，旨在提供给学习者和研究者作为技术交流之用。
2. 法律合规性声明
本项目开发者（以下简称“开发者”）郑重提醒用户在下载、安装和使用本项目时，严格遵守中华人民共和国相关法律法规，包括但不限于《中华人民共和国网络安全法》、《中华人民共和国反间谍法》等所有适用的国家法律和政策。用户应自行承担一切因使用本项目而可能引起的法律责任。
3. 使用目的限制
本项目严禁用于任何非法目的或非学习、非研究的商业行为。本项目不得用于任何形式的非法侵入他人计算机系统，不得用于任何侵犯他人知识产权或其他合法权益的行为。用户应保证其使用本项目的目的纯属个人学习和技术研究，不得用于任何形式的非法活动。
4. 免责声明
开发者已尽最大努力确保本项目的正当性及安全性，但不对用户使用本项目可能引起的任何形式的直接或间接损失承担责任。包括但不限于由于使用本项目而导致的任何数据丢失、设备损坏、法律诉讼等。
5. 知识产权声明
本项目的知识产权归开发者所有。本项目受到著作权法和国际著作权条约以及其他知识产权法律和条约的保护。用户在遵守本声明及相关法律法规的前提下，可以下载和使用本项目。
6. 最终解释权
关于本项目的最终解释权归开发者所有。开发者保留随时更改或更新本免责声明的权利，恕不另行通知。
Ecosystem Role
Standard MoltPulse indexed agent.
Embed Badge
Show off your Pulse Score in your GitHub README to build trust and rank higher.
[](https://molt-pulse.com/agents/NanmiCoder/MediaCrawler)
