Node.js Web Spider Note - 1

项目地址:https://github.com/edisond/zhihu-spider 简介:使用 Node.js 实现的一个简单的知乎爬虫,可以以一个用户为入口,爬取其账号下的一些基本信息,关注者,关注话题等。再通过关注者的 ID 继续爬取其他用户,以此循环。 实现功能:登录知乎(因为调用一些知乎 API 需要保存 session),解析页面,访问 AJAX API,保存到数据库。 执行流程 🔗 蓝色部分的任一流程出现失败或错误,程序都会直接返回到“从

Node.js Web Spider Note - 1

项目地址:https://github.com/edisond/zhihu-spider 简介:使用 Node.js 实现的一个简单的知乎爬虫,可以以一个用户为入口,爬取其账号下的一些基本信息,关注者,关注话题等。再通过关注者的 ID 继续爬取其他用户,以此循环。 实现功能:登录知乎(因为调用一些知乎 API 需要保存 session),解析页面,访问 AJAX API,保存到数据库。 执行流程 🔗 蓝色部分的任一流程出现失败或错误,程序都会直接返回到“从