Selenium实现微博爬虫-白红宇

Selenium实现微博爬虫

阅读量：182 次

发布时间：2019-02-28

本文共 302 字，大约阅读时间需要 1 分钟。

抓取节点：将每条评论作为一个节点（包含用户信息、评论内容及发布时间等信息）。若一页有20条评论，则节点数量即为20。

节点获取：通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理：逐个遍历节点列表，判断每个节点是否包含“展开全文”链接。操作步骤如下：

检查节点中是否存在p > a[action-type='fl_unfold']元素

判断该链接的显示状态

如果满足条件，且链接文本以“展开全文c”开头：

点击该链接，获取指定位置的评论内容

否则，直接获取评论文本

同时，提取用户信息

注：该操作需确保唯一性，避免误选其他元素。

转载地址：http://tdfn.baihongyu.com/

你可能感兴趣的文章

npm install 报错 no such file or directory 的解决方法

npm install 权限问题

npm install报错，证书验证失败unable to get local issuer certificate

npm install无法生成node_modules的解决方法

npm install的--save和--save-dev使用说明

npm node pm2相关问题

npm run build 失败Compiler server unexpectedly exited with code: null and signal: SIGBUS

npm run build报Cannot find module错误的解决方法

npm run build部署到云服务器中的Nginx（图文配置）

npm run dev 报错PS ‘vite‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。

npm scripts 使用指南

npm should be run outside of the node repl, in your normal shell

npm start运行了什么

npm WARN deprecated core-js@2.6.12 core-js@＜3.3 is no longer maintained and not recommended for usa

npm 下载依赖慢的解决方案（亲测有效）

npm 安装依赖过程中报错：Error: Can‘t find Python executable “python“, you can set the PYTHON env variable

npm.taobao.org 淘宝 npm 镜像证书过期？这样解决！

npm介绍以及常用命令

NPM使用前设置和升级