2-3 创建多进程时,按视频中的做法,出现报错AttributeError: module 'multiprocessing' has no attribute 'pool',解决方法为:导入模块代码改为from multiprocessing.dummy import Pool,然后创建进程池处的代码改为pool = Pool(2)
2020-06-29
2-2 05:02处设置的第一个get请求(也就是保存cookie信息的get请求),抓取到的有些城市的URL形式为https://www.lagou.com/jobs/list_python/p-city_2?px=default,这里我不懂怎么进行城市匹配,后面通过抓取其他一些城市(如崇左、儋州)的URL形式为:https://www.lagou.com/jobs/list_python?&px=default&city=%E5%B4%87%E5%B7%A6,发现这里可以进行城市匹配,然后就使用该URL,经过实验,可以如视频中一样获取到相关信息。
2020-06-29