有哪些爬虫大佬或者活跃的爬虫社区？

差点忘了还有这个问题。我们NightTeam搞了个爬虫社区，可以了解一下：

回复一下 @亚东 ，字数3000左右，原答案请翻到最后再由下往上翻。

刚做PPT做得困了准备睡觉，结果顺手打开看了一眼消息就看到 @亚东 回了一大段的内容，本来是懒得回了的，但是想了想老哥你这么一大段东西很可能会影响到很多不明真相的小白，所以还是来解释清楚吧。你看的那几篇文章中，严格来说只有《手机淘宝APP关键词搜索采集方案介绍》这一篇文章内隐含的内容才算得上是高阶内容，其他的那些都只能算工具使用教程，大同小异，连逆向思维都体现不出来。像混淆过代码的Okhttp3 SSL Pinning、调用标准库进行AES解密的这种APP，只要有研究过Java层逆向、了解Xposed，有一点想法的都能自己写个工具出来直接爆破，打开APP操作到具体位置就可以复制粘贴结束了，根本不需要那么多步操作，这和你看到的这种工具使用教程是不一样的。很可惜的是，手机淘宝那一篇文章可能由于利益问题（鲲鹏这公司的头铁得很，没怕过律师函），文章中并没有写出具体的逆向过程，而是直接一笔带过了，所以你看起来的时候就觉得：“哦，就是个抓包加上自动化测试工具做点自动化操作而已嘛，看上去没什么技术含量”。但实际上阿里的安全团队是做了很多措施来防止别人像搞其他APP那样随意逆向的，只是你看不到相关的文章而已。具体难度你可以自己尝试一下，估计你连入口点都找不到。然后是你引用的那段WIKI中的描述，那段描述实际上是用来描述搜索引擎爬虫的，但现在大家所说的基本都是垂直爬虫，很多东西并不与搜索引擎爬虫相同。就拿你所说的规划和负载来说吧：你所说的规划在搜索引擎爬虫中就是通过算法来决定页面的更新频率、新页面的获取方式等；但在垂直爬虫中，规划（以下统称采集策略）并不像搜索引擎爬虫那么简单粗暴，因为垂直爬虫并不像搜索引擎爬虫那样是被开了白名单、拥有海量目标网站的，所以垂直爬虫并不能像搜索引擎爬虫那样想怎么搞就怎么搞。垂直爬虫的采集策略需要针对某个网站/APP（以下统称平台）的安全措施、反爬虫策略进行对抗，对于真正有难度的平台来说，现成的框架并不能帮你解决这种问题，而之所以很多专门做爬虫的公司或是对爬虫稳定性要求非常高的公司都会自己搞一套框架，原因就是因为现成的框架自由度不够高、太过生硬了，根本做不到仿真的效果，平台方随便一个日志分析都能看得出是爬虫。而负载的话，我不清楚你指的具体是什么，但根据你的语境来猜测估计是分布式的采集任务消费者，这方面确实没什么，随便找个框架都有，而且也不像采集策略那样会有特殊场景的要求。那么，实际的爬虫开发真的就是抓包、“数据漏洞分析”、体力活三部曲吗？并不是啊！这种事情为什么要人肉操作，既然都说到了体力活，那要爬的平台肯定不止一家两家，少说几十家应该有吧？一方面既然有那么多平台要搞，为什么不把那些步骤给自动/半自动化了？另一方面，你觉得那些平台都是阿里那种水平的？所以这个结论并不成立，要把那些步骤给自动/半自动化需要的干的是脑力活而不是体力活，和用Java写后端、大数据啥的应用一样，同样需要有良好的架构设计，但在这种工程基础上，还需要对安全领域的东西有着很深的了解。（接下面的“所谓的安全就是扫描与反编译再结合自己的抓包技术去找到自己想使用人家的代码”部分）举个例子，我不知道你做人工智能研究的时候有没有自己写过APP爬虫、有没有接触到过加固（又称加壳）了的APP，也不知道你有没有见过淘宝上那些卖脱壳服务的店铺。有些人开的那种店铺确实就是苦力活，手动安装、使用别人写好的工具去脱壳；但有些人不同，他们是直接写了个自动脱壳机，有的是运行后直接从内存里拖出来dex的，有的是直接写了个解析器，模拟壳的操作直接解dex出来的，你说这只是技巧么？并不是啊！要不你写一个试试？上面说了安全领域的，接下来说说人工智能领域的，你觉得打个码那么简单？现在的验证码什么骚东西都有：3D图形识别、拖过N个指定的图标/文字之类的，涉及到计算机视觉不过分吧？带杂音且语速极快的音频验证码之类的，涉及到计算机听觉不过分吧？按照语义选择特定文字之类的，涉及到自然语言处理不过分吧？用一个“就是去怎么打个码”就一笔带过了，说得可真简单，不愧是CTO、AI架构师，厉害厉害 。然后再来看看网络工程，你说的这些根本没说到点上，举几个例子（有与爬虫直接相关的也有很骚但暂时没见被用到反爬虫上的），先说说网络工程的软件方面：【通过SSL连接特征识别是否是浏览器发出的请求、是否有经过代理转发】的反爬；通过DNS解析来识别是否使用了代理，并能有概率识别出真实IP（即使没得到真实IP也能得到那片区域的IP）；上面这两个，不了解计算机网络相关的知识，并且脑子里没有那种思路的话，被反爬限制死了都不知道自己怎么死的。然后是结合上硬件领域与网络工程的硬件方面的产物：猫池、蜂窝网络代理、群控相关设备（除了硬件以外还会涉及到Android的底层相关知识），都是灰黑产用得多，但换个操作给爬虫用也行的东西。比如对于需要大量手机号注册并且手机号需要长期保留的场景，这对于灰黑产的那些用途来说是很少见的，直接用他们供应链中的短信平台来做是不可能的，要么找人定制服务要么自己搞；比如蜂窝网络代理，碰到对IP质量要求特别高的平台时，在现在这个国内没有搞这方面的代理IP商的情况下（多贝云因为特殊原因已经砍掉了这方面业务），你根本没有别的选择，要么用着代理IP商们的家宽拨号弄出来的代理IP硬刚，要么用别人没怎么用的基站IP做代理（黑产早就开始用了，但毕竟不多）。在需要定制化设计的时候，没有上述的相关领域知识根本玩不来，我和做硬件的朋友交流过，通常他们只接触硬件的部分，对网络工程相关的东西并不了解，所以如果想直接找人帮忙做，非常难，没有接触过实际业务人的很难理解你的需求。那么你现在还觉得，爬虫所用到的东西都是“技巧”而不是“技术”么？说真的，如果严格来说的话，上面这些其实都是结合了业务需求的对应某个特定领域的技术，但它们既然被爬虫用上了，那就可以算是爬虫的技术，否则还是那句话，如何定义“爬虫本身”这个技术？然后是收入问题，你怕是不知道做爬虫做得深了之后收入能有多高，据我所知一个对JS逆向做到顶端的人随随便便就能拿着4-5W月薪（非一线城市），而这还是在一个比较稳、不会被抓的那种公司做。如果做点别的，比如深入到一定程度后往安全领域发展（收入同上），或者是结合人工智能领域的相关知识做打码服务（随随便便月入几十万，但有风险），收入都并不低，即使是普通一点的中级爬虫工程师也是1-2W月薪的，跟同级别的后端开发、大数据开发的工资一致。差不多就是上面这些，我一开始反对你的“爬虫本身不是什么太难的技术”言论就是因为你的回答中所说的“http协议、html、js、css、python、request、scrapy、database”会了之后都只能算得上是入门水平，甚至如果说没有对JS逆向有着一定了解的话，连初级爬虫工程师的岗位恐怕都难以胜任，只能做个配置侠，写写页面解析、JSON解析就没别的事情了。不过也没关系，反正这个水平对你的使用场景来说完全足够了，你确实不需要更深入的东西，实在搞不定大不了用自动化测试弄一点出来用就行，其他方面都不用考虑。但是，请你不要随意评价，爬虫是一个入门容易、深入难的技术，不要见风就是雨。

以下为原回答：

反对 @亚东 所说的“爬虫本身不是什么太难的技术”和 @ybbzbb 所说的“爬虫没啥新技术”，理由如下：

爬虫领域没有像编程语言、网络工程之类的领域那样专门的技术社区，但是爬虫领域的各种交流群很多，像QQ上搜一下“爬虫”或者是进一些业界比较活跃的人自发组成的交流群都是可以的。

另外，爬虫工程师也分布在各个知名的综合性社区，比如、掘金、V2EX、思否、博客园、OSCHINA等（太多了）。

但是由于爬虫领域的特殊性（知识面涉及范围广、高阶内容很容易用于商业化赚钱、逆向工程不太方便写、低阶内容极其简单等），你并不一定能在上述的信息源中获取到优质的、最新的技术发展动态，这种信息大都存在于一些高质量的交流群中。

当然也不是说其他地方就没有了。

比如这个西安鲲之鹏（利益无关），做爬虫外包服务的，他们在自己官网上搞了这么一个文章专栏，里面内容都是很有质量的（我一直很好奇他们怎么没被搞），可以看一下：http://www.site-digger.com/html/articles/。

比如我们NightTeam团队（利益相关）的微信公众号和我们在各大社区的账号，我们团队的成员都是在爬虫领域内有建树、有知名度，并且不做割韭菜的事的人，输出的内容我不敢说是非常干，但绝对比那些很水的割韭菜公众号要好很多。

然后我们是有读者群的，现在已经有两个群了，每天都会看到爬虫相关的技术交流，偶尔还会有深藏不露的dalao出来发个自己做的东西，新手多看看这些交流内容的话，成长速度应该会很快。（群里还有些灰黑产大佬，偶尔冒出来聊一会儿就会透露出很多新鲜的东西）

哦对了，虽然爬虫领域涉及的知识面很广，但现在主要还是集中于人工智能和安全领域这两块，安全领域的话很多骚操作都是可以被用到爬虫上的，而人工智能的话主要是通过人机识别、内容智能提取之类的用途。我主要关注的是一些安全领域的，给你推荐一下：

差不多就这些，边吃饭边写的所以就想到啥说啥了，最后再插个小广告：

夜幕团队成立于 2019 年，团队包括崔庆才、周子淇、陈祥安、唐轶飞、冯威、蔡晋、戴煌金、张冶青和韦世东。

涉猎的编程语言包括但不限于 Python、Rust、C++、Go，领域涵盖爬虫、深度学习、服务研发、对象存储等。团队非正亦非邪，只做认为对的事情，请大家小心。

有哪些爬虫大佬或者活跃的爬虫社区？

差点忘了还有这个问题。我们NightTeam搞了个爬虫社区，可以了解一下：

回复一下 @亚东 ，字数3000左右，原答案请翻到最后再由下往上翻。

刚做PPT做得困了准备睡觉，结果顺手打开看了一眼消息就看到 @亚东 回了一大段的内容，本来是懒得回了的，但是想了想老哥你这么一大段东西很可能会影响到很多不明真相的小白，所以还是来解释清楚吧。你看的那几篇文章中，严格来说只有《手机淘宝APP关键词搜索采集方案介绍》这一篇文章内隐含的内容才算得上是高阶内容，其他的那些都只能算工具使用教程，大同小异，连逆向思维都体现不出来。像混淆过代码的Okhttp3 SSL Pinning、调用标准库进行AES解密的这种APP，只要有研究过Java层逆向、了解Xposed，有一点想法的都能自己写个工具出来直接爆破，打开APP操作到具体位置就可以复制粘贴结束了，根本不需要那么多步操作，这和你看到的这种工具使用教程是不一样的。很可惜的是，手机淘宝那一篇文章可能由于利益问题（鲲鹏这公司的头铁得很，没怕过律师函），文章中并没有写出具体的逆向过程，而是直接一笔带过了，所以你看起来的时候就觉得：“哦，就是个抓包加上自动化测试工具做点自动化操作而已嘛，看上去没什么技术含量”。但实际上阿里的安全团队是做了很多措施来防止别人像搞其他APP那样随意逆向的，只是你看不到相关的文章而已。具体难度你可以自己尝试一下，估计你连入口点都找不到。然后是你引用的那段WIKI中的描述，那段描述实际上是用来描述搜索引擎爬虫的，但现在大家所说的基本都是垂直爬虫，很多东西并不与搜索引擎爬虫相同。就拿你所说的规划和负载来说吧：你所说的规划在搜索引擎爬虫中就是通过算法来决定页面的更新频率、新页面的获取方式等；但在垂直爬虫中，规划（以下统称采集策略）并不像搜索引擎爬虫那么简单粗暴，因为垂直爬虫并不像搜索引擎爬虫那样是被开了白名单、拥有海量目标网站的，所以垂直爬虫并不能像搜索引擎爬虫那样想怎么搞就怎么搞。垂直爬虫的采集策略需要针对某个网站/APP（以下统称平台）的安全措施、反爬虫策略进行对抗，对于真正有难度的平台来说，现成的框架并不能帮你解决这种问题，而之所以很多专门做爬虫的公司或是对爬虫稳定性要求非常高的公司都会自己搞一套框架，原因就是因为现成的框架自由度不够高、太过生硬了，根本做不到仿真的效果，平台方随便一个日志分析都能看得出是爬虫。而负载的话，我不清楚你指的具体是什么，但根据你的语境来猜测估计是分布式的采集任务消费者，这方面确实没什么，随便找个框架都有，而且也不像采集策略那样会有特殊场景的要求。那么，实际的爬虫开发真的就是抓包、“数据漏洞分析”、体力活三部曲吗？并不是啊！这种事情为什么要人肉操作，既然都说到了体力活，那要爬的平台肯定不止一家两家，少说几十家应该有吧？一方面既然有那么多平台要搞，为什么不把那些步骤给自动/半自动化了？另一方面，你觉得那些平台都是阿里那种水平的？所以这个结论并不成立，要把那些步骤给自动/半自动化需要的干的是脑力活而不是体力活，和用Java写后端、大数据啥的应用一样，同样需要有良好的架构设计，但在这种工程基础上，还需要对安全领域的东西有着很深的了解。（接下面的“所谓的安全就是扫描与反编译再结合自己的抓包技术去找到自己想使用人家的代码”部分）举个例子，我不知道你做人工智能研究的时候有没有自己写过APP爬虫、有没有接触到过加固（又称加壳）了的APP，也不知道你有没有见过淘宝上那些卖脱壳服务的店铺。有些人开的那种店铺确实就是苦力活，手动安装、使用别人写好的工具去脱壳；但有些人不同，他们是直接写了个自动脱壳机，有的是运行后直接从内存里拖出来dex的，有的是直接写了个解析器，模拟壳的操作直接解dex出来的，你说这只是技巧么？并不是啊！要不你写一个试试？上面说了安全领域的，接下来说说人工智能领域的，你觉得打个码那么简单？现在的验证码什么骚东西都有：3D图形识别、拖过N个指定的图标/文字之类的，涉及到计算机视觉不过分吧？带杂音且语速极快的音频验证码之类的，涉及到计算机听觉不过分吧？按照语义选择特定文字之类的，涉及到自然语言处理不过分吧？用一个“就是去怎么打个码”就一笔带过了，说得可真简单，不愧是CTO、AI架构师，厉害厉害 。然后再来看看网络工程，你说的这些根本没说到点上，举几个例子（有与爬虫直接相关的也有很骚但暂时没见被用到反爬虫上的），先说说网络工程的软件方面：【通过SSL连接特征识别是否是浏览器发出的请求、是否有经过代理转发】的反爬；通过DNS解析来识别是否使用了代理，并能有概率识别出真实IP（即使没得到真实IP也能得到那片区域的IP）；上面这两个，不了解计算机网络相关的知识，并且脑子里没有那种思路的话，被反爬限制死了都不知道自己怎么死的。然后是结合上硬件领域与网络工程的硬件方面的产物：猫池、蜂窝网络代理、群控相关设备（除了硬件以外还会涉及到Android的底层相关知识），都是灰黑产用得多，但换个操作给爬虫用也行的东西。比如对于需要大量手机号注册并且手机号需要长期保留的场景，这对于灰黑产的那些用途来说是很少见的，直接用他们供应链中的短信平台来做是不可能的，要么找人定制服务要么自己搞；比如蜂窝网络代理，碰到对IP质量要求特别高的平台时，在现在这个国内没有搞这方面的代理IP商的情况下（多贝云因为特殊原因已经砍掉了这方面业务），你根本没有别的选择，要么用着代理IP商们的家宽拨号弄出来的代理IP硬刚，要么用别人没怎么用的基站IP做代理（黑产早就开始用了，但毕竟不多）。在需要定制化设计的时候，没有上述的相关领域知识根本玩不来，我和做硬件的朋友交流过，通常他们只接触硬件的部分，对网络工程相关的东西并不了解，所以如果想直接找人帮忙做，非常难，没有接触过实际业务人的很难理解你的需求。那么你现在还觉得，爬虫所用到的东西都是“技巧”而不是“技术”么？说真的，如果严格来说的话，上面这些其实都是结合了业务需求的对应某个特定领域的技术，但它们既然被爬虫用上了，那就可以算是爬虫的技术，否则还是那句话，如何定义“爬虫本身”这个技术？然后是收入问题，你怕是不知道做爬虫做得深了之后收入能有多高，据我所知一个对JS逆向做到顶端的人随随便便就能拿着4-5W月薪（非一线城市），而这还是在一个比较稳、不会被抓的那种公司做。如果做点别的，比如深入到一定程度后往安全领域发展（收入同上），或者是结合人工智能领域的相关知识做打码服务（随随便便月入几十万，但有风险），收入都并不低，即使是普通一点的中级爬虫工程师也是1-2W月薪的，跟同级别的后端开发、大数据开发的工资一致。差不多就是上面这些，我一开始反对你的“爬虫本身不是什么太难的技术”言论就是因为你的回答中所说的“http协议、html、js、css、python、request、scrapy、database”会了之后都只能算得上是入门水平，甚至如果说没有对JS逆向有着一定了解的话，连初级爬虫工程师的岗位恐怕都难以胜任，只能做个配置侠，写写页面解析、JSON解析就没别的事情了。不过也没关系，反正这个水平对你的使用场景来说完全足够了，你确实不需要更深入的东西，实在搞不定大不了用自动化测试弄一点出来用就行，其他方面都不用考虑。但是，请你不要随意评价，爬虫是一个入门容易、深入难的技术，不要见风就是雨。

以下为原回答：

反对 @亚东 所说的“爬虫本身不是什么太难的技术”和 @ybbzbb 所说的“爬虫没啥新技术”，理由如下：

爬虫领域没有像编程语言、网络工程之类的领域那样专门的技术社区，但是爬虫领域的各种交流群很多，像QQ上搜一下“爬虫”或者是进一些业界比较活跃的人自发组成的交流群都是可以的。

另外，爬虫工程师也分布在各个知名的综合性社区，比如、掘金、V2EX、思否、博客园、OSCHINA等（太多了）。

但是由于爬虫领域的特殊性（知识面涉及范围广、高阶内容很容易用于商业化赚钱、逆向工程不太方便写、低阶内容极其简单等），你并不一定能在上述的信息源中获取到优质的、最新的技术发展动态，这种信息大都存在于一些高质量的交流群中。

当然也不是说其他地方就没有了。

比如这个西安鲲之鹏（利益无关），做爬虫外包服务的，他们在自己官网上搞了这么一个文章专栏，里面内容都是很有质量的（我一直很好奇他们怎么没被搞），可以看一下：http://www.site-digger.com/html/articles/。

比如我们NightTeam团队（利益相关）的微信公众号和我们在各大社区的账号，我们团队的成员都是在爬虫领域内有建树、有知名度，并且不做割韭菜的事的人，输出的内容我不敢说是非常干，但绝对比那些很水的割韭菜公众号要好很多。

然后我们是有读者群的，现在已经有两个群了，每天都会看到爬虫相关的技术交流，偶尔还会有深藏不露的dalao出来发个自己做的东西，新手多看看这些交流内容的话，成长速度应该会很快。（群里还有些灰黑产大佬，偶尔冒出来聊一会儿就会透露出很多新鲜的东西）

哦对了，虽然爬虫领域涉及的知识面很广，但现在主要还是集中于人工智能和安全领域这两块，安全领域的话很多骚操作都是可以被用到爬虫上的，而人工智能的话主要是通过人机识别、内容智能提取之类的用途。我主要关注的是一些安全领域的，给你推荐一下：

差不多就这些，边吃饭边写的所以就想到啥说啥了，最后再插个小广告：

夜幕团队成立于 2019 年，团队包括崔庆才、周子淇、陈祥安、唐轶飞、冯威、蔡晋、戴煌金、张冶青和韦世东。

涉猎的编程语言包括但不限于 Python、Rust、C++、Go，领域涵盖爬虫、深度学习、服务研发、对象存储等。团队非正亦非邪，只做认为对的事情，请大家小心。

有哪些爬虫大佬或者活跃的爬虫社区？

个人写的一些关于爬虫的文章，献丑了

有哪些爬虫大佬或者活跃的爬虫社区？

个人写的一些关于爬虫的文章，献丑了

有哪些爬虫大佬或者活跃的爬虫社区？

推荐多逛一下各大论坛：

PS：很多搞易语言的对于逆向很拿手，可以逛逛易语言的一些论坛，重要的是思路，实现的语言无所谓，也可以关注 K 哥爬虫公众号，我会分享一些 JS 逆向知识，比较适合新手。

爬虫工程师的尽头是逆向安全工程师！

有哪些爬虫大佬或者活跃的爬虫社区？

推荐多逛一下各大论坛：

PS：很多搞易语言的对于逆向很拿手，可以逛逛易语言的一些论坛，重要的是思路，实现的语言无所谓，也可以关注 K 哥爬虫公众号，我会分享一些 JS 逆向知识，比较适合新手。

爬虫工程师的尽头是逆向安全工程师！

有哪些爬虫大佬或者活跃的爬虫社区？

反对 @亚东 的说法

重点，我已经标出来了，这种在爬虫方向，没做过出什么东西，又想在爬虫方向指点江山，真的醉了

我也做过验证码识别，很浅，我是不是也可以觉得人工智能不太难 ？然后也告诉别人ai 不太难？

有哪些爬虫大佬或者活跃的爬虫社区？

反对 @亚东 的说法

重点，我已经标出来了，这种在爬虫方向，没做过出什么东西，又想在爬虫方向指点江山，真的醉了

我也做过验证码识别，很浅，我是不是也可以觉得人工智能不太难 ？然后也告诉别人ai 不太难？

有哪些爬虫大佬或者活跃的爬虫社区？

目前这类社区真的很少，我主要是加一些QQ群，但是群里内容良莠不齐，而且不是很好的讨论的地方（因为别人不会免费告诉你答案）

有哪些爬虫大佬或者活跃的爬虫社区？

目前这类社区真的很少，我主要是加一些QQ群，但是群里内容良莠不齐，而且不是很好的讨论的地方（因为别人不会免费告诉你答案）