博客
关于我
Selenium实现微博爬虫
阅读量:182 次
发布时间:2019-02-28

本文共 302 字,大约阅读时间需要 1 分钟。

抓取节点:将每条评论作为一个节点(包含用户信息、评论内容及发布时间等信息)。若一页有20条评论,则节点数量即为20。

节点获取:通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理:逐个遍历节点列表,判断每个节点是否包含“展开全文”链接。操作步骤如下:

  • 检查节点中是否存在p > a[action-type='fl_unfold']元素
  • 判断该链接的显示状态
  • 如果满足条件,且链接文本以“展开全文c”开头:

    • 点击该链接,获取指定位置的评论内容
    • 否则,直接获取评论文本
    • 同时,提取用户信息

    注:该操作需确保唯一性,避免误选其他元素。

    转载地址:http://tdfn.baihongyu.com/

    你可能感兴趣的文章
    Qt开发——简易成绩登记系统
    查看>>
    Postgresql中PL/pgSQL代码块的语法与使用-声明与赋值、IF语句、CASE语句、循环语句
    查看>>
    Postgresql中PL/pgSQL的游标、自定义函数、存储过程的使用
    查看>>
    SpringBoot中集成XXL-JOB分布式任务调度平台,轻量级、低侵入实现定时任务
    查看>>
    Postgresql中的表结构和数据同步/数据传输到Mysql
    查看>>
    Postgresql中自增主键序列的使用以及数据传输时提示:错误:关系“xxx_xx_xx_seq“不存在
    查看>>
    SpringBoot中集成websocket后WebSocketServer中注入mapper为空
    查看>>
    postgreSQL入门命令
    查看>>
    PostgreSQL删除数据库报"ERROR: There is 1 other session using the database."
    查看>>
    Qt开发——爱情公寓人事管理系统
    查看>>
    Qt开发——文件下载软件
    查看>>
    PostgreSQL和Oracle两种数据库有啥区别?如何选择?
    查看>>
    Qt开发——多线程网络时间服务器端
    查看>>
    Postgresql在Windows中使用pg_dump实现数据库(指定表)的导出与导入
    查看>>
    PostgreSQL在何处处理 sql查询之四
    查看>>
    postgresql基本使用
    查看>>
    PostgreSQL学习总结(10)—— PostgreSQL 数据库体系架构
    查看>>
    PostgreSQL学习总结(11)—— PostgreSQL 常用的高可用集群方案
    查看>>
    Qt开发——多线程网络时间客户端
    查看>>
    PostgreSQL学习总结(13)—— PostgreSQL 15.8 如何成就数据库性能王者?
    查看>>