MediaCrawler 是一个功能强大的多平台自媒体数据采集工具，旨在为用户提供便捷的数据抓取解决方案。它支持小红书、抖音、快手、B 站、微博、贴吧、知乎等主流平台的公开信息抓取，采用 Playwright 浏览器自动化框架，能够模拟用户行为登录平台并获取数据。该项目无需逆向复杂的加密算法，基于保留登录态的浏览器上下文环境，通过简单的 JS 表达式获取签名参数，大幅降低了技术门槛。
MediaCrawler 专注于提供易于使用且功能强大的爬虫解决方案。它无需复杂配置即可支持多种平台数据抓取，并提供 WebUI 界面，简化了操作流程。Pro 版本进一步优化了架构设计，支持断点续爬、多账号和 IP 代理池，同时使用更简单的技术栈，增强了可维护性和扩展性。该项目在多平台支持、易用性和可扩展性方面表现突出，适用于多种数据分析和研究场景。
- 平台支持: 支持小红书、抖音、快手、B 站、微博、贴吧、知乎等主流自媒体平台数据抓取。.
- 抓取类型: 支持关键词搜索、指定帖子 ID 爬取、二级评论爬取、指定创作者主页爬取等多种数据类型。.
- 登录态管理: 能够自动处理登录态，无需手动管理登录信息。.
- WebUI: 提供基于 Web 的可视化操作界面，方便用户配置和监控爬虫任务。.
- 数据存储: 支持多种数据存储方式，包括 CSV、JSON、JSONL、Excel、SQLite 和 MySQL。.
- Agent 优化: 提供了强大的自媒体内容拆解 Agent，可以从文本中提取关键信息。.
- 多账号和代理: MediaCrawlerPro 提供了多账号支持和 IP 代理池，增强了爬取的稳定性。.
MediaCrawler 项目持续维护中，拥有活跃的社区和较快的更新频率。 项目文档较为完善，提供详细的使用说明和教程。开发者积极响应用户反馈，并不断优化代码和功能。 Pro版发布，表明该项目已经具备一定的成熟度，并向更高级功能方向发展。
MediaCrawler 适用于自媒体数据分析、舆情监控、内容研究等场景，能够帮助用户快速获取所需的数据。 它无需复杂的编程知识即可使用，提供了便捷的 WebUI 界面和完善的文档。MediaCrawler 和 MediaCrawlerPro 结合了易用性和强大的功能，为开发者和研究者提供了高效的数据采集工具。