有哪些实用的数据挖掘、傻瓜式爬虫工具？

初期的互联网，写爬虫是门技术活，往大的方向说，爬虫技术是搜索引擎的组成部分。

随着互联网技术的发展，写爬虫的门槛一降再降，一些编程语言甚至直接提供爬虫框架，例如python的Scrapy框架，它们让写爬虫走入“寻常百姓家”。

我们已经发现，写爬虫是一件炫酷的事情，但即使是这样，学习爬虫仍然有一定的技术门槛。

当前的主流爬虫手段是用Python编程，Python的强大毋庸置疑，但初学者学习Python还是需要一两个月时间的。

有没有一些更简单的爬取数据方法呢？答案是有的。

一些可视化的爬虫工具通过策略来爬取特定的数据， 虽然没有自己写爬虫操作精准，但是学习成本低很多，下面就来介绍几款可视化的爬虫工具。

国内工具

Microsoft Excel

首先教大家一个用Excel爬取数据的方法，这里用的Microsoft Excel 2013版本，下面手把手开始教学~

（1）新建Excel，打开它，如下图所示

（2）点击“数据”——“自网站”

（3）在弹出的对话框中输入目标网址，这里以全国实时空气质量网站为例，点击转到，再导入

选择导入位置，确定；

（4）结果如下图所示，怎么样，是不是很赞？

（5）如果要实时更新数据，可以在“数据”——“全部更新”——“连接属性”中进行设置，输入更新频率即可

八爪鱼https://www.bazhuayu.com/

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。

一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

火车头http://www.locoy.com/

火车头是一款互联网数据抓取、处理、分析，挖掘软件，采集功能完善，不限网页与内容，任意文件格式都可下载，号称能采集99%的网页。

软件定位比较专业而且精准化，使用者需要有基本的HTML基础,能看得懂网页源码,网页结构，但软件提供相应教程，新手也能够学习上手。

集搜客

http://www.gooseeker.com/index.html

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。

操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

神箭手云爬虫https://www.shenjian.io

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

狂人采集器http://www.kuangren.cc/

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

国外工具

Google Sheet

http://google.cn/sheets/about/

使用Google Sheet爬取数据前，要保证三点：使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话，下面我们就开始吧~

（1）打开Google Sheet网站：

（2）在首页上点击“转到Google表格”，然后登录自己的账号，可以看到如下界面，再点击“+”创建新的表格

新建的表格如下：

（3）打开要爬取的目标网站，一个全国实时空气质量网站http://pm25.in/rank，目标网站上的表格结构如下图所示：

（4）回到Google sheet页面，使用函数=IMPORTHTML(网址, 查询, 索引)，“网址”就是要爬取数据的目标网站，“查询”中输入“list”或“table”，这个取决于数据的具体结构类型，“索引”填阿拉伯数字，从1开始，对应着网站中定义的哪一份表格或列表；

对于我们要爬取的网站，我们在Google sheet的A1单元格中输入函数=IMPORTHTML("http://pm25.in/rank","table",1)，回车后就爬得数据啦~

（5）将爬取好的表格存到本地

you-get

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。

当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。

这里给一个you-get的中文使用说明，按照说明上写的按步骤操作就可以啦。

http://import.iohttps://www.import.io

http://Import.io是一个基于Web的网页数据采集平台，用户无需编写代码点选即可生成一个提取器。相比国内大多采集软件，http://Import.io较为智能，能够匹配并生成同类元素列表，用户输入网址也可一键采集数据。

http://Import.io智能发展，采集简便，但对于一些复杂的网页结构处理能力较为薄弱。

Octoparsehttps://www.octoparse.com/

Octoparse是八爪鱼的海外版，采集页面设计简单友好，完全可视化操作，适用于新手用户。

Octoparse功能完善，价格合理，能够应用于复杂网页结构，如果你想无需翻墙直采亚马逊、Facebook、Twitter等平台，Octoparse是一种选择。

visual web ripperhttp://visualwebripper.com/

Visual Web Ripper是一个自动化的Web抓取工具，支持各种功能。

它适用于某些高级且采集难度较大的网页结构，用户需具备较强的编程技能。

content Grabberhttp://www.contentgrabber.com/

Content Grabber是功能最强大的Web抓取工具之一。它更适合具有高级编程技能的人群，提供了许多强大的脚本编辑，调试界面。允许用户编写正则表达式，而不是使用内置的工具。

Content Grabber网页适用性强，功能强大，不完全为用户提供基础功能，适合具有高级编程技能的人群。

Mozendahttps://mozenda.updatestar.com/

Mozenda是一个基于云服务的数据采集软件，为用户提供许多实用性功能包括数据云端储备功能。

适合拥有基础爬虫经验的人群。

还有更多大数据、数据分析、爬虫等学习资料分享，关注公众号【DataCastle数据城堡】领取哦~

有哪些实用的数据挖掘、傻瓜式爬虫工具？

初期的互联网，写爬虫是门技术活，往大的方向说，爬虫技术是搜索引擎的组成部分。

随着互联网技术的发展，写爬虫的门槛一降再降，一些编程语言甚至直接提供爬虫框架，例如python的Scrapy框架，它们让写爬虫走入“寻常百姓家”。

我们已经发现，写爬虫是一件炫酷的事情，但即使是这样，学习爬虫仍然有一定的技术门槛。

当前的主流爬虫手段是用Python编程，Python的强大毋庸置疑，但初学者学习Python还是需要一两个月时间的。

有没有一些更简单的爬取数据方法呢？答案是有的。

一些可视化的爬虫工具通过策略来爬取特定的数据， 虽然没有自己写爬虫操作精准，但是学习成本低很多，下面就来介绍几款可视化的爬虫工具。

国内工具

Microsoft Excel

首先教大家一个用Excel爬取数据的方法，这里用的Microsoft Excel 2013版本，下面手把手开始教学~

（1）新建Excel，打开它，如下图所示

（2）点击“数据”——“自网站”

（3）在弹出的对话框中输入目标网址，这里以全国实时空气质量网站为例，点击转到，再导入

选择导入位置，确定；

（4）结果如下图所示，怎么样，是不是很赞？

（5）如果要实时更新数据，可以在“数据”——“全部更新”——“连接属性”中进行设置，输入更新频率即可

八爪鱼https://www.bazhuayu.com/

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。

一款适合小白用户尝试的采集软件，云功能强大，当然爬虫老手也能开拓它的高级功能。

火车头http://www.locoy.com/

火车头是一款互联网数据抓取、处理、分析，挖掘软件，采集功能完善，不限网页与内容，任意文件格式都可下载，号称能采集99%的网页。

软件定位比较专业而且精准化，使用者需要有基本的HTML基础,能看得懂网页源码,网页结构，但软件提供相应教程，新手也能够学习上手。

集搜客

http://www.gooseeker.com/index.html

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。

操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

神箭手云爬虫https://www.shenjian.io

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

类似一个爬虫系统框架，具体采集还需用户自写爬虫，需要代码基础。

狂人采集器http://www.kuangren.cc/

一套专业的网站内容采集软件，支持各类论坛的帖子和回复采集，网站和博客文章内容抓取，分论坛采集器、CMS采集器和博客采集器三类。

专注论坛、博客文本内容的抓取，对于全网数据的采集通用性不高。

国外工具

Google Sheet

http://google.cn/sheets/about/

使用Google Sheet爬取数据前，要保证三点：使用Chrome浏览器、拥有Google账号、电脑已翻墙。如果这三个条件具备了的话，下面我们就开始吧~

（1）打开Google Sheet网站：

（2）在首页上点击“转到Google表格”，然后登录自己的账号，可以看到如下界面，再点击“+”创建新的表格

新建的表格如下：

（3）打开要爬取的目标网站，一个全国实时空气质量网站http://pm25.in/rank，目标网站上的表格结构如下图所示：

（4）回到Google sheet页面，使用函数=IMPORTHTML(网址, 查询, 索引)，“网址”就是要爬取数据的目标网站，“查询”中输入“list”或“table”，这个取决于数据的具体结构类型，“索引”填阿拉伯数字，从1开始，对应着网站中定义的哪一份表格或列表；

对于我们要爬取的网站，我们在Google sheet的A1单元格中输入函数=IMPORTHTML("http://pm25.in/rank","table",1)，回车后就爬得数据啦~

（5）将爬取好的表格存到本地

you-get

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有! 还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。

当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。

这里给一个you-get的中文使用说明，按照说明上写的按步骤操作就可以啦。

http://import.iohttps://www.import.io

http://Import.io是一个基于Web的网页数据采集平台，用户无需编写代码点选即可生成一个提取器。相比国内大多采集软件，http://Import.io较为智能，能够匹配并生成同类元素列表，用户输入网址也可一键采集数据。

http://Import.io智能发展，采集简便，但对于一些复杂的网页结构处理能力较为薄弱。

Octoparsehttps://www.octoparse.com/

Octoparse是八爪鱼的海外版，采集页面设计简单友好，完全可视化操作，适用于新手用户。

Octoparse功能完善，价格合理，能够应用于复杂网页结构，如果你想无需翻墙直采亚马逊、Facebook、Twitter等平台，Octoparse是一种选择。

visual web ripperhttp://visualwebripper.com/

Visual Web Ripper是一个自动化的Web抓取工具，支持各种功能。

它适用于某些高级且采集难度较大的网页结构，用户需具备较强的编程技能。

content Grabberhttp://www.contentgrabber.com/

Content Grabber是功能最强大的Web抓取工具之一。它更适合具有高级编程技能的人群，提供了许多强大的脚本编辑，调试界面。允许用户编写正则表达式，而不是使用内置的工具。

Content Grabber网页适用性强，功能强大，不完全为用户提供基础功能，适合具有高级编程技能的人群。

Mozendahttps://mozenda.updatestar.com/

Mozenda是一个基于云服务的数据采集软件，为用户提供许多实用性功能包括数据云端储备功能。

适合拥有基础爬虫经验的人群。

还有更多大数据、数据分析、爬虫等学习资料分享，关注公众号【DataCastle数据城堡】领取哦~

有哪些实用的数据挖掘、傻瓜式爬虫工具？

市面上的爬虫软件基本都用过......那会儿同事们都在手动找资料，我觉着太浪费时间，就开始自己学爬虫，爬各种公司法人的数据......效率提高了几百倍不止......

然后大家都找我要资料。各种要资料。

奇怪的是没一个有兴趣学学的，我寻思授人以鱼不如授人以渔，这玩意说实话拿不上台面，可能被领导认为有偷懒嫌疑，毕竟领导不明白的东西你去用，效率还高，那不是变相批评领导的方法不对么，所以我不能主动教你，那你私底下问问我啊倒是......

废话不多说了，我看你的问题有三点要求，说白了就是啥也不明白然后想爬数据，还不要收费的。

那首先八爪鱼、火车头之类的就不推荐了，说实话对完全新手来讲并不是很友好，很多规则需要你自己去创建，怎么创建你还得自己学。

然后webscraper，好用，也好学，简单来说就是一环套一环，直到提取到你想要的数据。

但这玩意简单归简单，想精通并不容易，因为每个网页的规则都不一样，比如多页面爬取，有点击的，有滚动的，你还是得学，得各种查。

而且类似这些东西每个都针对不同的情况，怎么用你还是得查，包括那个muiltiple怎么点啊，封装element那么多是干啥的啊你都得去搜索教程。

有一步设置错了或点错了就得从头再来，因为你大概率意识不到哪里弄错了，所以需要按教程从头再弄一遍。

Chrome上有一款插件，跟webscraper比较类似，但好用的多。

叫NoCoding Data Scraper

新插件，才2000个用户，新加披公司开发的。

说实话，给一万个赞都不够，对同类软件/插件简直是秒杀般的存在。

我给你几个理由。

1.首先这个插件是支持中文的。毕竟新加坡公司。

2.用户引导极其友好。

比如说我要采集当前这个页面：

右侧可以看到，采集的流程和每个步骤的讲解直接糊在用户脸上，线性化操作，傻瓜式教学，每个步骤都可以单独设置，而且出错了它会告诉你哪里出错了，不用从头去新建规则。

3.完全傻瓜式自动化采集

还是以本页面来举例，打开插件智能采集四个大字直接拍你脸上，点就完事了

点进去之后会自动识别你大概要采集的数据，一共三个列表，每个表对应一块你可能要采集的数据，不想要的数据直接点×删掉就好。

然后？没然后了，点完成就完事儿了，就这么简单。它会自动翻页，无论是滚动式还是点击式翻页它都会自己识别。

没有想要的数据怎么办？点更多编辑，然后点列表，再点加号和目标元素旁边的点击按钮，再点下你想要的数据，结束。

完全没有技术含量，想要哪里的数据点哪里就可以，什么格式也全自动，不用你自己设置，当然你想设置也没人拦你。

4.完全免费

一毛钱不要你的，不用担心了。

总结起来就是，用这个插件的话你有极大的概率不用花费任何脑细胞，爬取一个站点大概只要不到一分钟就设置好让它自动运行就成了，因为大部分网站的规则并不复杂，页面都有规律，只有涉及到复杂站点才需要手动去设置一下，你需要做的仅仅是删除不想要的数据而已。

未避嫌说明一下，不是广告，纯是觉得好用才发出来，喜欢可以收藏一波。

有哪些实用的数据挖掘、傻瓜式爬虫工具？

市面上的爬虫软件基本都用过......那会儿同事们都在手动找资料，我觉着太浪费时间，就开始自己学爬虫，爬各种公司法人的数据......效率提高了几百倍不止......

然后大家都找我要资料。各种要资料。

奇怪的是没一个有兴趣学学的，我寻思授人以鱼不如授人以渔，这玩意说实话拿不上台面，可能被领导认为有偷懒嫌疑，毕竟领导不明白的东西你去用，效率还高，那不是变相批评领导的方法不对么，所以我不能主动教你，那你私底下问问我啊倒是......

废话不多说了，我看你的问题有三点要求，说白了就是啥也不明白然后想爬数据，还不要收费的。

那首先八爪鱼、火车头之类的就不推荐了，说实话对完全新手来讲并不是很友好，很多规则需要你自己去创建，怎么创建你还得自己学。

然后webscraper，好用，也好学，简单来说就是一环套一环，直到提取到你想要的数据。

但这玩意简单归简单，想精通并不容易，因为每个网页的规则都不一样，比如多页面爬取，有点击的，有滚动的，你还是得学，得各种查。

而且类似这些东西每个都针对不同的情况，怎么用你还是得查，包括那个muiltiple怎么点啊，封装element那么多是干啥的啊你都得去搜索教程。

有一步设置错了或点错了就得从头再来，因为你大概率意识不到哪里弄错了，所以需要按教程从头再弄一遍。

Chrome上有一款插件，跟webscraper比较类似，但好用的多。

叫NoCoding Data Scraper

新插件，才2000个用户，新加披公司开发的。

说实话，给一万个赞都不够，对同类软件/插件简直是秒杀般的存在。

我给你几个理由。

1.首先这个插件是支持中文的。毕竟新加坡公司。

2.用户引导极其友好。

比如说我要采集当前这个页面：

右侧可以看到，采集的流程和每个步骤的讲解直接糊在用户脸上，线性化操作，傻瓜式教学，每个步骤都可以单独设置，而且出错了它会告诉你哪里出错了，不用从头去新建规则。

3.完全傻瓜式自动化采集

还是以本页面来举例，打开插件智能采集四个大字直接拍你脸上，点就完事了

点进去之后会自动识别你大概要采集的数据，一共三个列表，每个表对应一块你可能要采集的数据，不想要的数据直接点×删掉就好。

然后？没然后了，点完成就完事儿了，就这么简单。它会自动翻页，无论是滚动式还是点击式翻页它都会自己识别。

没有想要的数据怎么办？点更多编辑，然后点列表，再点加号和目标元素旁边的点击按钮，再点下你想要的数据，结束。

完全没有技术含量，想要哪里的数据点哪里就可以，什么格式也全自动，不用你自己设置，当然你想设置也没人拦你。

4.完全免费

一毛钱不要你的，不用担心了。

总结起来就是，用这个插件的话你有极大的概率不用花费任何脑细胞，爬取一个站点大概只要不到一分钟就设置好让它自动运行就成了，因为大部分网站的规则并不复杂，页面都有规律，只有涉及到复杂站点才需要手动去设置一下，你需要做的仅仅是删除不想要的数据而已。

未避嫌说明一下，不是广告，纯是觉得好用才发出来，喜欢可以收藏一波。

有哪些实用的数据挖掘、傻瓜式爬虫工具？

爬虫工具多列几个，以防一个挂掉或者不好用

后羿采集器

http://houyi.shenjian.io/?bd&utm=search&renqun_youhua=389049

火车头采集器

http://www.locoy.com/

八爪鱼采集器

https://www.bazhuayu.com/

webscraper

https://webscraper.io/

有哪些实用的数据挖掘、傻瓜式爬虫工具？

爬虫工具多列几个，以防一个挂掉或者不好用

后羿采集器

http://houyi.shenjian.io/?bd&utm=search&renqun_youhua=389049

火车头采集器

http://www.locoy.com/

八爪鱼采集器

https://www.bazhuayu.com/

webscraper

https://webscraper.io/

有哪些实用的数据挖掘、傻瓜式爬虫工具？

推荐八爪鱼采集器！

作为一款功能强大、使用简单的傻瓜式爬虫工具，八爪鱼采集器无需编程，即可轻松进行网页数据爬取，效率极高。

八爪鱼对具体的数据来源网站没有任何限制，支持采集任意网站上的公开可见可复制的数据。

八爪鱼还有200多个热门的网站采集模板，只需简单3步操作，即可获取大量数据，真正做到了小白神器。

给有需要的朋友附上八爪鱼的下载链接：

有哪些实用的数据挖掘、傻瓜式爬虫工具？

推荐八爪鱼采集器！

作为一款功能强大、使用简单的傻瓜式爬虫工具，八爪鱼采集器无需编程，即可轻松进行网页数据爬取，效率极高。

八爪鱼对具体的数据来源网站没有任何限制，支持采集任意网站上的公开可见可复制的数据。

八爪鱼还有200多个热门的网站采集模板，只需简单3步操作，即可获取大量数据，真正做到了小白神器。

给有需要的朋友附上八爪鱼的下载链接：

有哪些实用的数据挖掘、傻瓜式爬虫工具？

八爪鱼采集器最近发布了全新8.0，作为业界领先的傻瓜化爬虫工具，本次新版本更快，更稳定，更流畅，同时内置浏览器更新为chrome内核，几乎能兼容任何网站。免费版本功能非常强大，推荐楼主试试。

有哪些实用的数据挖掘、傻瓜式爬虫工具？

八爪鱼采集器最近发布了全新8.0，作为业界领先的傻瓜化爬虫工具，本次新版本更快，更稳定，更流畅，同时内置浏览器更新为chrome内核，几乎能兼容任何网站。免费版本功能非常强大，推荐楼主试试。