Python爬虫实战数据可视化分析_技术问答

首页 Python爬虫实战数据可视化分析问答

Python爬虫实战数据可视化分析

                
                大壮老师
            Python工程师

                    查看讲师更多课程 
                    大壮老师讲师的其他课程
                
移动端Python爬虫实战 数据抓取+数据可视化
实战·中级·1823

                                                                                                                                    ￥348.00
                                            
网络安全高薪人才培养计划-8大网络攻防场景实战
实战·中级·86

                                                                                                                                    ￥499.00
                                            
0基础开发简单爬虫
慕课微课·入门·3188

                                                                                                                                    ￥88.00
                                            
Python最火爬虫框架Scrapy入门与实践
初级·67418
免费课程
                                
                难度初级
            
                时长 3小时 0分
            
                学习人数

全部评论问答未解决精华

getbusyliving

虽然拉钩更新了，我们要学习的就是方法和思路。但是根据这个思路来，我抓取前10条数据都抓不到，直接返回了{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"182.108.60.100","state":2402}，继续看下一节。看怎么解决操作频繁的问题

0 2-2 分析拉勾网数据请求接口并请求岗位信息数据

2021-03-05

getbusyliving

2020-03-03评论：去年的代码今年就不能用了，抓取城市列表页面，返回的却是中间页面：加载中... 并且发现requests返回的页面编码格式为：
ISO-8859-1，需要在返回结果前增加代码：response.encoding='ut-8'，才不至于乱码

2 2-1 分析拉勾网网站结构并解析拉勾网城市列表

2021-03-05

神州晨曦

难度显示为：初级
初级都这么难，我太南了，怎么活

2020-07-08

qq_慕妹2519153

2-3 创建多进程时，按视频中的做法，出现报错AttributeError: module 'multiprocessing' has no attribute 'pool'，解决方法为：导入模块代码改为from multiprocessing.dummy import Pool，然后创建进程池处的代码改为pool = Pool(2)

0 2-3 加入代理逻辑隐藏爬虫使用多进程加速抓取

2020-06-29

qq_慕妹2519153

2-2 05：02处设置的第一个get请求（也就是保存cookie信息的get请求），抓取到的有些城市的URL形式为https://www.lagou.com/jobs/list_python/p-city_2?px=default，这里我不懂怎么进行城市匹配，后面通过抓取其他一些城市（如崇左、儋州）的URL形式为：https://www.lagou.com/jobs/list_python?&px=default&city=%E5%B4%87%E5%B7%A6，发现这里可以进行城市匹配，然后就使用该URL，经过实验，可以如视频中一样获取到相关信息。

0 2-2 分析拉勾网数据请求接口并请求岗位信息数据

2020-06-29