webscraper实例7-快速抓取weibo评论数据(适合旧版微博)

作品简介

点击下方红字获取sitemap配置文件,一键导入。

20211227更新

目前微博已经更新了新版,此方法只适用于旧版本的电脑版微博

返回旧版本的方法:

在设置当中,点击“返回原版微博”,如下图:




新浪微博评论的数据一直是不少做数据分析朋友感兴趣的内容之一,但是获取数据本身可能就难到了不少人。

其实这个用之前介绍的web scraper可以非常容易的实现一个简单、快速的抓取功能,今天永恒君就来分享一下这个过程。

这里抓取的是网页版的新浪微博评论,开始之前必须要有微博账号,要先登录!

需求分析

假设需要提取的微博页面地址是:

https://weibo.com/1402551940/KzMMhg0Ev?filter=hot&page_source=hot&root_comment_id=0&type=comment

图片

一共有320条评论(不确定这320条是否包含评论的评论)

点击下方红字获取sitemap配置文件,一键导入。

创作时间: