Selenium实现微博爬虫-白红宇

Selenium实现微博爬虫

阅读量：182 次

发布时间：2019-02-28

本文共 302 字，大约阅读时间需要 1 分钟。

抓取节点：将每条评论作为一个节点（包含用户信息、评论内容及发布时间等信息）。若一页有20条评论，则节点数量即为20。

节点获取：通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理：逐个遍历节点列表，判断每个节点是否包含“展开全文”链接。操作步骤如下：

检查节点中是否存在p > a[action-type='fl_unfold']元素

判断该链接的显示状态

如果满足条件，且链接文本以“展开全文c”开头：

点击该链接，获取指定位置的评论内容

否则，直接获取评论文本

同时，提取用户信息

注：该操作需确保唯一性，避免误选其他元素。

转载地址：http://tdfn.baihongyu.com/

你可能感兴趣的文章

NoNodeAvailableException None of the configured nodes are available异常

Vue.js 学习总结（16）—— 为什么 :deep、/deep/、＞＞＞样式能穿透到子组件

NOPI读取Excel

NoSQL数据库概述

Notadd —— 基于 nest.js 的微服务开发框架

Notepad ++ 安装与配置教程（非常详细）从零基础入门到精通，看完这一篇就够了

Notepad++在线和离线安装JSON格式化插件

notepad++最详情汇总

notepad如何自动对齐_notepad++怎么自动排版

Notes on Paul Irish's "Things I learned from the jQuery source" casts

Notification 使用详解（很全

NotImplementedError: Cannot copy out of meta tensor； no data! Please use torch.nn.Module.to_empty()

Now trying to drop the old temporary tablespace, the session hangs.

nowcoder—Beauty of Trees

np.arange()和np.linspace()绘制logistic回归图像时得到不同的结果？

np.power的使用

NPM 2FA双重认证的设置方法

npm build报错Cannot find module ‘webpack/lib/rules/BasicEffectRulePlugin‘解决方法