软件分类

游戏分类

电脑分类

当前位置: 首页 >  电脑软件 > 网络工具

InfoSpider(爬虫工具箱)

InfoSpider(爬虫工具箱)

内容简介

InfoSpider是一个非常使用的爬虫工具箱,目前支持所有主流的平台,使用它就可以爬取自己在这些平台发过的内容,帮助用户取回自己的数据。例如我们发了许多邮件,想要将所有邮件的内容保存备份起来,手动才做是需要花费很多时间和精力的,用InfoSpider就可以一键快速爬取你的信息,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。

InfoSpider图片1

软件介绍

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。并提供数据分析功能,基于用户数据生成图表文件,使得用户更直观、深入了解自己的信息。 目前支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

软件功能

安全可靠:本项目为开源项目,代码简洁,所有源码可见,本地运行,安全可靠。

使用简单:提供 GUI 界面,只需点击所需获取的数据源并根据提示操作即可。

结构清晰:本项目的所有数据源相互独立,可移植性高,所有爬虫脚本在项目的 Spiders 文件下。

数据源丰富:本项目目前支持多达24+个数据源,持续更新。

数据格式统一:爬取的所有数据都将存储为json格式,方便后期数据分析。

个人数据丰富:本项目将尽可能多地为你爬取个人数据,后期数据处理可根据需要删减。

数据分析:本项目提供个人数据的可视化分析,目前仅部分支持。

文档丰富:本项目包含完整全面的使用说明文档和视频教程

使用说明

依赖安装

安装python3和Chrome浏览器

安装与Chrome浏览器相同版本的驱动

安装依赖库 pip install -r requirements.txt

工具运行

进入 tools 目录

运行 python3 main.py

在打开的窗口点击数据源按钮, 根据提示选择数据保存路径

弹出的浏览器输入用户密码后会自动开始爬取数据, 爬取完成浏览器会自动关闭.

在对应的目录下可以查看下载下来的数据(xxx.json), 数据分析图表(xxx.html)

热门

褰遍冲涓瀹剁磋В

WProxy

IETester

Download

成语搜索器

推荐

IE

InfoSpider(爬虫工具箱)

多线程网站网址链接存活扫描器

流量神器免费版

久易购票助手