当前位置: 首页 > news >正文

python爬虫实战案例——从移动端接口抓取微博评论,采用cookie登陆,数据存入excel表格,超详细(15)

文章目录

  • 1、任务目标
  • 2、网页分析
  • 3、代码编写
    • 3.1 代码分析
    • 3.2 完整代码

1、任务目标

1、目标网站:微博文章(https://m.weibo.cn/detail/4813628149072458),这是微博某一篇博文,用于本文测试
2、要求:爬取该博文下,所有一级评论和二级评论,以及每条评论的作者,最后保存至Excel文件中

在这里插入图片描述

2、网页分析


一级评论页面分析:

  1. 进入网站(https://m.weibo.cn/detail/4813628149072458),由于网站需要登录,我们先用账号登录,然后打开开发者模式,因为pc端网页数据包不好分析,我们可以切换为客户端模式获取数据包
    在这里插入图片描述

  2. 刷新网页,因为是异步加载的网站&


http://www.mrgr.cn/news/52307.html

相关文章:

  • 精英高匿ip的自述
  • PyQt5高级界面控件一
  • Java中使用protobuf
  • 江大白 | 目标检测YOLOv1-YOLO11,算法进化全记录(建议收藏!)
  • 双十一来袭,哪款宠物空气净化器值得入手?好用的宠物空净推荐
  • Redis-1
  • 每日OJ题_牛客_连续子数组最大和_线性dp_C++_Java
  • oracle 19c 配置开机自启动
  • 系统思考—战略共识
  • 10.17作业
  • 多态底层原理【附原理模型图】
  • 学习之上下文管理器
  • 提供综合康复服务的武汉自闭症全托管学校
  • 记一次有趣的发现-绕过堡垒机访问限制
  • 如何排查CPU占用率过高的问题
  • Redis过期Key的逐出策略
  • 潜水定位通信系统的功能和使用方法_鼎跃安全
  • JDBC的学习
  • 一个标准java程序的创建和使用
  • Oracle 常见索引扫描方式概述,哪种索引扫描最快!