当前位置: 首页 > news >正文

一个批量爬取微博数据的神器

分享一个能批量下载微博图片/视频/评论的工具

起因

偶尔玩玩微博,最近看到了一名专业的 coser,因此想要下载一些她的微博,方便观看,也避免以后平台倒闭/博主退坑的情况导致无法看原微博。

在这里插入图片描述

专业 coser:鲨鱼 SAME

项目介绍

然后我在 GitHub 上搜了下,发现一个高赞项目:weibo-crawler,新浪微博爬虫。

项目地址:https://github.com/dataabc/weibo-crawler

简单摘录下项目的文档:

连续爬取一个或多个新浪微博用户(如迪丽热巴、郭碧婷)的数据,并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据,主要有用户信息和微博信息两大类,前者包含用户昵称、关注数、粉丝数、微博数等等;后者包含微博正文、发布时间、发布工具、评论数等等,因为内容太多,这里不再赘述,详细内容见输出部分。

具体的写入文件类型如下:

  • 写入 csv 文件、写入 json 文件、MySQL 数据库、MongoDB 数据库、SQLite 数据库​
  • 下载用户原创和转发微博中的原始图片、视频、Live Photo 中的视频、一级评论

还可以通过自动化,定期增量爬取新微博,非常方便。

实践

实操起来也很简单,官方文档写的非常详细,字数都上万了,配图也很丰富,我这里就简单说明下,其实就三步:

  • 首先,该项目基于 Python,因此得安装 Python(具体步骤就不展开了,网上很多教程)。
  • 然后,填写好要爬取的微博用户信息(例如用户 ID,Cookie)
  • 运行项目:python weibo.py

具体操作文档请看官方文档了,我会在下一篇博客转载它,方便国内的读者查看(想看最新版还是建议去官网看)

效果

将所有图片、视频等数据分别存储,并且都是原始文件(高清),文件名也已经重命名好了:

在这里插入图片描述

如果有下载失败的情况,会将情况写在 not_downloaded.txt 里(若图片全部下载成功则不会生成该文件),非常贴心。

——完——


http://www.mrgr.cn/news/15125.html

相关文章:

  • milvus资源限制 benchmarker压测 qps优化
  • 相机SD卡格式化了怎么恢复?
  • Flask+LayUI开发手记(五):树型表格实现数据展示与编辑
  • 无人机的工业应用场景
  • Adobe Illustrator学习宝典(自用)
  • 【dp力扣】买卖股票的最佳时机III
  • iOS/iPadOS18.1Beta3发布,新增通知摘要和AI消除功能
  • 基于web旅游信息平台的设计与实现
  • 后端微服务架构:构建分布式博客系统
  • 武器弹药制造5G智能工厂物联数字孪生平台,推进制造业数字化转型
  • YOLO | YOLO目标检测算法(YOLO-V1)
  • 趣味算法------过河卒
  • wpf datagrid 使单元格获得焦点
  • 【Linux】05.Linux 下的编辑器——vim
  • js | XMLHttpRequest
  • Nuxt3入门:介绍、项目安装和了解视图(第一节)
  • CURE算法原理及Python实践
  • Python 开放端口进行数据传输
  • 设计模式-适配器模式
  • Linux:NAT等相关问题