看360
2021年自学Python爬虫有前途吗？能找到工作吗？
学到能就业能接单那种程度肯定是有前途的，如果学一些皮毛肯定会觉得python爬虫没什么用。
python爬虫工程师1-3年能到15K薪资，一线城市更高。
python爬虫能做一些副业，比如接单，兼职老师等等，一个月挣几千块钱是没多大问题的。
你的情况学python爬虫就是为了转行，刚开始学会比较痛苦，以过来人的经历分享下应该怎么去学。
首先要确立目标、了解市场需求！
我们要先定位自己的目标，当然我们先以爬虫工程师来做个说明。去招聘网上看看需求都有哪些,直接做个拉勾网爬虫，结果如下：
通过以上信息我们要认清以下几点：
1、 Python 不是唯一可以做爬虫的，很多语言都可以，尤其是 Java,同时掌握它们和拥有相关开发经验是很重要的加分项；
2、 大部分的公司都要求爬虫技术有一定的深度和广度，深度就是类似反爬虫、加密破解、验证登录等等技术；广度就是分布式、云计算等等，这都是加分项；
3、 爬虫，不是抓取到数据就完事了，还有数据抽取、清洗、消重等方面经验，这些也是加分项；
4、 一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外最常做的工作就是维护爬虫系统，这点要有了解；
5、 最后一个加分项就是前端知识，尤其是常用的 JS、Ajax、html/xhtml、CSS 等相关技术为最佳，其中对 JS 代码的熟悉是很重要的；
6、 补充一条，随着手持设备的市场占比越来越高，app 的数据采集、抓包工具的熟练使用会越来越重要。
以上内容，不要求全部掌握，但是掌握的越多，那么你的重要性就越高。
那么应该如何学习呢：网上教程很多，就 Python 而言，只会 Requests 明显是不够的，起码 Scrapy 和Pyspider 这俩框架要掌握，Scrapy_Redis 原理要理解
多做全站爬虫，比如抓取一个小说网站， 能抓一本小说是基本功，你要想办法分类别把整站小说全部抓取下来，存到数据库，甚至自己建站，完全用你的方式将对方的网站 copy 下来！这个过程需要注意的是如何去重，Mongo 可以、Redis 也可以。
所以，方法，知识点都很重要，自己个人单打独斗想学好python肯定是有非常大的难度的，除非你觉得你学习能力超群，非常自律，那你可以去啃书，自己搜罗教程，但是大部分还是难以做到这样，反正我当时学是下了一番苦功夫，但还是要去找一些学习交流群，听一些爬虫直播课程，做一些项目实战，多写代码才算将这个技能学好。哪里有这样 群，我推荐一个，点击下方卡片申请进入↓↓↓
营销平台实战项目经验：
这个是在面试中经常会问到的：
1、 你抓过哪些网站？
2、 日均采集量有多少？
3、 遇到哪些问题，怎么解决的？
那么，怎么找项目呢？Github 你需要多去看看，项目多到超出你的想象！
如何判断能力是否足够：
很简单，去网上找一个爬虫的外包方案，自己去尝试做一下！当然你要能卖出去，那是最好了。实践是硬道理！
爬虫工程师的前景怎么样？
大数据和人工智能时代下，爬虫工程师这几年是路越走越宽的，但是初级爬虫工程师基本会被八爪鱼这类软件替代，高级爬虫工程师的能力重点不在于会写几个get，post请求，使用正则解析下文本这么简单，而是在对数据和业务本身的立即深刻，对于从数据中如何整合挖掘价值有一整套的思路和方法，包括精通数据分析，精通各种数据库。
从以上总结来看，Python爬虫工程师的薪资水平是非常可观的，所以说提升自己的技术技能才是拿高薪的王道。
2021年自学Python爬虫有前途吗？能找到工作吗？
学到能就业能接单那种程度肯定是有前途的，如果学一些皮毛肯定会觉得python爬虫没什么用。
python爬虫工程师1-3年能到15K薪资，一线城市更高。
python爬虫能做一些副业，比如接单，兼职老师等等，一个月挣几千块钱是没多大问题的。
你的情况学python爬虫就是为了转行，刚开始学会比较痛苦，以过来人的经历分享下应该怎么去学。
首先要确立目标、了解市场需求！
我们要先定位自己的目标，当然我们先以爬虫工程师来做个说明。去招聘网上看看需求都有哪些,直接做个拉勾网爬虫，结果如下：
通过以上信息我们要认清以下几点：
1、 Python 不是唯一可以做爬虫的，很多语言都可以，尤其是 Java,同时掌握它们和拥有相关开发经验是很重要的加分项；
2、 大部分的公司都要求爬虫技术有一定的深度和广度，深度就是类似反爬虫、加密破解、验证登录等等技术；广度就是分布式、云计算等等，这都是加分项；
3、 爬虫，不是抓取到数据就完事了，还有数据抽取、清洗、消重等方面经验，这些也是加分项；
4、 一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外最常做的工作就是维护爬虫系统，这点要有了解；
5、 最后一个加分项就是前端知识，尤其是常用的 JS、Ajax、html/xhtml、CSS 等相关技术为最佳，其中对 JS 代码的熟悉是很重要的；
6、 补充一条，随着手持设备的市场占比越来越高，app 的数据采集、抓包工具的熟练使用会越来越重要。
以上内容，不要求全部掌握，但是掌握的越多，那么你的重要性就越高。
那么应该如何学习呢：网上教程很多，就 Python 而言，只会 Requests 明显是不够的，起码 Scrapy 和Pyspider 这俩框架要掌握，Scrapy_Redis 原理要理解
多做全站爬虫，比如抓取一个小说网站， 能抓一本小说是基本功，你要想办法分类别把整站小说全部抓取下来，存到数据库，甚至自己建站，完全用你的方式将对方的网站 copy 下来！这个过程需要注意的是如何去重，Mongo 可以、Redis 也可以。
所以，方法，知识点都很重要，自己个人单打独斗想学好python肯定是有非常大的难度的，除非你觉得你学习能力超群，非常自律，那你可以去啃书，自己搜罗教程，但是大部分还是难以做到这样，反正我当时学是下了一番苦功夫，但还是要去找一些学习交流群，听一些爬虫直播课程，做一些项目实战，多写代码才算将这个技能学好。哪里有这样 群，我推荐一个，点击下方卡片申请进入↓↓↓
营销平台实战项目经验：
这个是在面试中经常会问到的：
1、 你抓过哪些网站？
2、 日均采集量有多少？
3、 遇到哪些问题，怎么解决的？
那么，怎么找项目呢？Github 你需要多去看看，项目多到超出你的想象！
如何判断能力是否足够：
很简单，去网上找一个爬虫的外包方案，自己去尝试做一下！当然你要能卖出去，那是最好了。实践是硬道理！
爬虫工程师的前景怎么样？
大数据和人工智能时代下，爬虫工程师这几年是路越走越宽的，但是初级爬虫工程师基本会被八爪鱼这类软件替代，高级爬虫工程师的能力重点不在于会写几个get，post请求，使用正则解析下文本这么简单，而是在对数据和业务本身的立即深刻，对于从数据中如何整合挖掘价值有一整套的思路和方法，包括精通数据分析，精通各种数据库。
从以上总结来看，Python爬虫工程师的薪资水平是非常可观的，所以说提升自己的技术技能才是拿高薪的王道。
2021年自学Python爬虫有前途吗？能找到工作吗？
这方向的工作岗位个人感觉还是很多的，大数据时代对数据采集的需求量只会越来越大，所需要的相关程序员也在增多，我所了解的很多大厂近来都在不断招收此方向的程序员，只不过可能不是这么叫的而已，相较于 18 年以前，现在数据采集的难度越来越高，所以专业性的要求也只会越来越高，不是只会简单爬虫操作或者使用自动化采集工具就可以的，这就使得专攻这个方向的程序员价值大大提高，会的不是谁都能做的，才是自己的核心竞争力。
如果没有 python 基础的话，从零开始自学爬虫到有一定的实力得半年吧，当然越用功所需要的时间肯定越短，工资范围各个公司各个城市也不一样，但肯定不会低的。
关于爬虫学习我可以给到以下推荐：
你在网上看到的，95%以上的都是爬虫基础，特别是各种营销号，有很多视频，没有更“高级”的东西，包括上你看到的回答，95%以上都是回答一些基础（可能回答的人自己都没进阶搞过爬虫，只是道听途说），基础你随便找资料学就行了，B站视频也很多，大同小异。进阶主要是逆向，你会发现基本上没有教程，也很少有人讲这方面的东西，爬虫入门简单，深入很难，我推荐你看以下书籍（我认为是必看的）：
小白未入门阶段 ：《Python 编程从入门到实践》第二版，作者埃里克·马瑟斯（Eric Matthes）爬虫入门阶段：《Python3 网络爬虫开发实战》第二版，作者崔庆才反爬套路总结：《Python3 反爬虫原理与绕过实战》，作者韦世东数据产品+数据产品思维：《爬虫实战：从数据到产品》，作者贺思聪爬虫逆向进阶：《反爬虫AST原理与还原混淆实战》，作者李岳阳，卓斌；《安卓Frida逆向与抓包实战》作者陈佳林，《爬虫逆向进阶实战》作者李玺视频方面，我只推荐进阶，也就是逆向相关的视频：免费：
JS 逆向：《K 哥爬虫》 K 哥的小助理带你由易到难学习逆向JS 逆向：《志远2021全新js逆向教程，学完这套就够了！（全套开源）》APP 逆向：《小肩膀 app逆向百集(105集)》收费：
夜幕出品 JS 逆向：《JavaScript 逆向系列课》 《JavaScript 逆向高阶课》猿人学：《爬虫高阶课程》志远和小肩膀 2022 最新的 JS 逆向和 APP 逆向课程，自己在 B 站找购买方式推荐多逛一下各大论坛：
看雪安全论坛精易逆向安全夜幕爬虫论坛穿甲兵技术社区PS：很多搞易语言的对于逆向很拿手，可以逛逛易语言的一些论坛，重要的是思路，实现的语言无所谓，也可以关注 K 哥爬虫公众号，我会分享一些 JS 逆向知识，比较适合新手。
爬虫工程师的尽头是逆向安全工程师！
2021年自学Python爬虫有前途吗？能找到工作吗？
这方向的工作岗位个人感觉还是很多的，大数据时代对数据采集的需求量只会越来越大，所需要的相关程序员也在增多，我所了解的很多大厂近来都在不断招收此方向的程序员，只不过可能不是这么叫的而已，相较于 18 年以前，现在数据采集的难度越来越高，所以专业性的要求也只会越来越高，不是只会简单爬虫操作或者使用自动化采集工具就可以的，这就使得专攻这个方向的程序员价值大大提高，会的不是谁都能做的，才是自己的核心竞争力。
如果没有 python 基础的话，从零开始自学爬虫到有一定的实力得半年吧，当然越用功所需要的时间肯定越短，工资范围各个公司各个城市也不一样，但肯定不会低的。
关于爬虫学习我可以给到以下推荐：
你在网上看到的，95%以上的都是爬虫基础，特别是各种营销号，有很多视频，没有更“高级”的东西，包括上你看到的回答，95%以上都是回答一些基础（可能回答的人自己都没进阶搞过爬虫，只是道听途说），基础你随便找资料学就行了，B站视频也很多，大同小异。进阶主要是逆向，你会发现基本上没有教程，也很少有人讲这方面的东西，爬虫入门简单，深入很难，我推荐你看以下书籍（我认为是必看的）：
小白未入门阶段 ：《Python 编程从入门到实践》第二版，作者埃里克·马瑟斯（Eric Matthes）爬虫入门阶段：《Python3 网络爬虫开发实战》第二版，作者崔庆才反爬套路总结：《Python3 反爬虫原理与绕过实战》，作者韦世东数据产品+数据产品思维：《爬虫实战：从数据到产品》，作者贺思聪爬虫逆向进阶：《反爬虫AST原理与还原混淆实战》，作者李岳阳，卓斌；《安卓Frida逆向与抓包实战》作者陈佳林，《爬虫逆向进阶实战》作者李玺视频方面，我只推荐进阶，也就是逆向相关的视频：免费：
JS 逆向：《K 哥爬虫》 K 哥的小助理带你由易到难学习逆向JS 逆向：《志远2021全新js逆向教程，学完这套就够了！（全套开源）》APP 逆向：《小肩膀 app逆向百集(105集)》收费：
夜幕出品 JS 逆向：《JavaScript 逆向系列课》 《JavaScript 逆向高阶课》猿人学：《爬虫高阶课程》志远和小肩膀 2022 最新的 JS 逆向和 APP 逆向课程，自己在 B 站找购买方式推荐多逛一下各大论坛：
看雪安全论坛精易逆向安全夜幕爬虫论坛穿甲兵技术社区PS：很多搞易语言的对于逆向很拿手，可以逛逛易语言的一些论坛，重要的是思路，实现的语言无所谓，也可以关注 K 哥爬虫公众号，我会分享一些 JS 逆向知识，比较适合新手。
爬虫工程师的尽头是逆向安全工程师！
2021年自学Python爬虫有前途吗？能找到工作吗？
Python 爬虫岗里最赚钱的岗位是 培训班爬虫讲师。--- 我说的。
我信你个鬼你说当时对编程没兴趣，那为什么你觉得你年轻时候学不下来的东西，现在就可以学的下来呢？如果你可以克服这一块，我还是建议你不要从爬虫学起，去学一学前后端或者测试（也是个割韭菜领域）更有出路一些。
简而言之爬虫前景不好，很不好。因为市场上已经有了超额的培训班练习生供应，但很多有要爬虫的地方都会由别的工程师兼职完成或者外包完成，毕竟简单的爬虫根本不需要单独雇个人来开发维护。
甚至现在市场上已经有了商业化的成熟爬虫低代码-无代码解决方案，重复体力活的初级爬虫岗的机会就更少了。
如果爬虫作为核心业务的数据分析公司，这块的确需要人才，但往往开发爬虫本体只是岗位需求的一小部分，你需要精通数据库 数据分析 业务需求，爬取效率怎么提升 怎么清洗 怎么高效率存储 怎么反反爬 怎么研发爬虫流水线。
如果是做算法的部门，爬虫多半会被搞机器学习的实习生包走并且长期维护。。。
那些卖python课的所谓学完爬虫课就能月薪上万那就是痴人说梦。市场平均价我看了下外包做一个简单爬虫就1-200块钱吧。
最后你的竞争对手不但有大量的科班出身程序员还有无数培训班割完的韭菜，虽然不能保证技术谁厉害，但是培训班的造假简历肯定比你的厉害。。
2021年自学Python爬虫有前途吗？能找到工作吗？
Python 爬虫岗里最赚钱的岗位是 培训班爬虫讲师。--- 我说的。
我信你个鬼你说当时对编程没兴趣，那为什么你觉得你年轻时候学不下来的东西，现在就可以学的下来呢？如果你可以克服这一块，我还是建议你不要从爬虫学起，去学一学前后端或者测试（也是个割韭菜领域）更有出路一些。
简而言之爬虫前景不好，很不好。因为市场上已经有了超额的培训班练习生供应，但很多有要爬虫的地方都会由别的工程师兼职完成或者外包完成，毕竟简单的爬虫根本不需要单独雇个人来开发维护。
甚至现在市场上已经有了商业化的成熟爬虫低代码-无代码解决方案，重复体力活的初级爬虫岗的机会就更少了。
如果爬虫作为核心业务的数据分析公司，这块的确需要人才，但往往开发爬虫本体只是岗位需求的一小部分，你需要精通数据库 数据分析 业务需求，爬取效率怎么提升 怎么清洗 怎么高效率存储 怎么反反爬 怎么研发爬虫流水线。
如果是做算法的部门，爬虫多半会被搞机器学习的实习生包走并且长期维护。。。
那些卖python课的所谓学完爬虫课就能月薪上万那就是痴人说梦。市场平均价我看了下外包做一个简单爬虫就1-200块钱吧。
最后你的竞争对手不但有大量的科班出身程序员还有无数培训班割完的韭菜，虽然不能保证技术谁厉害，但是培训班的造假简历肯定比你的厉害。。
2021年自学Python爬虫有前途吗？能找到工作吗？
同电信，现在做爬虫。学习能力强，几个月就够了，先过一遍Python基础和简单的调包xpath,bs4,requests,scrapy，thread等等，能做到没有反爬的网页都能爬下来，已经入门了，后面就是websocket,http协议，js逆向等涉及面比较广的，最好的成长就是使劲爬网站，爬的多了就有经验了，在后面就是app逆向，要会java，汇编等等。找工作这事也得看运气和简历，有些公司业务是抓取大量小网站，没啥难度的，有些公司是抓取大站，要有过硬的水平。会js逆向10-20k吧,弄app的可能更高。
2021年自学Python爬虫有前途吗？能找到工作吗？
同电信，现在做爬虫。学习能力强，几个月就够了，先过一遍Python基础和简单的调包xpath,bs4,requests,scrapy，thread等等，能做到没有反爬的网页都能爬下来，已经入门了，后面就是websocket,http协议，js逆向等涉及面比较广的，最好的成长就是使劲爬网站，爬的多了就有经验了，在后面就是app逆向，要会java，汇编等等。找工作这事也得看运气和简历，有些公司业务是抓取大量小网站，没啥难度的，有些公司是抓取大站，要有过硬的水平。会js逆向10-20k吧,弄app的可能更高。
2021年自学Python爬虫有前途吗？能找到工作吗？
同大学嵌入式专业，现在爬虫岗。只不过我是大学期间学的python，web和爬虫。
我先说学习成本吧，python基础语法，2-3个月；爬虫基础，了解和突破简单的反爬，数据清洗，入库，效率提升，1-2个月。以上是入门级爬虫岗需要掌握的内容，面试不止这些的，毕竟面试造火箭。
工资范围，别的城市不清楚，就说杭州吧，入门级：6-8k，1-3年：10-15k，再往后就看自己的发展了。更深入就是js逆向，安卓逆向，或者走管理岗
2021年自学Python爬虫有前途吗？能找到工作吗？
同大学嵌入式专业，现在爬虫岗。只不过我是大学期间学的python，web和爬虫。
我先说学习成本吧，python基础语法，2-3个月；爬虫基础，了解和突破简单的反爬，数据清洗，入库，效率提升，1-2个月。以上是入门级爬虫岗需要掌握的内容，面试不止这些的，毕竟面试造火箭。
工资范围，别的城市不清楚，就说杭州吧，入门级：6-8k，1-3年：10-15k，再往后就看自己的发展了。更深入就是js逆向，安卓逆向，或者走管理岗
