一个批量爬取微博数据的神器
分享一个能批量下载微博图片/视频/评论的工具
起因
偶尔玩玩微博，最近看到了一名专业的 coser，因此想要下载一些她的微博，方便观看，也避免以后平台倒闭/博主退坑的情况导致无法看原微博。
专业 coser：鲨鱼 SAME
项目介绍
然后我在 GitHub 上搜了下，发现一个高赞项目：weibo-crawler，新浪微博爬虫。
项目地址：https://github.com/dataabc/weibo-crawler
简单摘录下项目的文档：
连续爬取一个或多个新浪微博用户（如迪丽热巴、郭碧婷）的数据，并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见输出部分。
具体的写入文件类型如下：
- 写入 csv 文件、写入 json 文件、MySQL 数据库、MongoDB 数据库、SQLite 数据库
- 下载用户原创和转发微博中的原始图片、视频、Live Photo 中的视频、一级评论
还可以通过自动化，定期增量爬取新微博，非常方便。
实践
实操起来也很简单，官方文档写的非常详细，字数都上万了，配图也很丰富，我这里就简单说明下，其实就三步：
- 首先，该项目基于 Python，因此得安装 Python（具体步骤就不展开了，网上很多教程）。
- 然后，填写好要爬取的微博用户信息（例如用户 ID，Cookie）
- 运行项目：
python weibo.py
具体操作文档请看官方文档了，我会在下一篇博客转载它，方便国内的读者查看（想看最新版还是建议去官网看）
效果
将所有图片、视频等数据分别存储，并且都是原始文件（高清），文件名也已经重命名好了：
如果有下载失败的情况，会将情况写在 not_downloaded.txt 里（若图片全部下载成功则不会生成该文件），非常贴心。
——完——