特殊情境处理：
1.需要用户登录才能访问（HTTPCookieProcessor）
2.需要代理才能访问（ProxyHandler）
3.协议使用HTTPS加密访问（HTTPSHandler）
4.URL自动跳转（HTTPRedirectHandler）
1.需要用户登录才能访问（HTTPCookieProcessor）
2.需要代理才能访问（ProxyHandler）
3.协议使用HTTPS加密访问（HTTPSHandler）
4.URL自动跳转（HTTPRedirectHandler）
2017-09-04
视频教程要比文字教程好很多很多，一篇千字的文档内容可能会折磨你几个钟。但是慕课的视频教程都是几分钟，每个视频慢慢看，不明白就停顿或者多看几遍，总比看着文档钻牛角尖好！
学习就是一个纠错矫正的过程。个人觉得老师也不是万能的，老师的精力也是有限，哪些基础知识不懂，也就只能返回去看一些基础的，有征对性的教材。
根据二八定律，技能重要的是那20%的基础，往往要我们在整个学习的过程中付出80%的的精力和时间放在这上面。
学习就是一个纠错矫正的过程。个人觉得老师也不是万能的，老师的精力也是有限，哪些基础知识不懂，也就只能返回去看一些基础的，有征对性的教材。
根据二八定律，技能重要的是那20%的基础，往往要我们在整个学习的过程中付出80%的的精力和时间放在这上面。
2017-09-03
本来心情挺好，看了评论真是日 了 狗了，看不懂的地方搜一下不就知道了？非要老师全部咀嚼碎了再吐给你？
2017-09-03
最新回答 / 独孤翎竑
from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.common.by import By...
2017-09-01
最新回答 / freedom_X20A
def get_new_url(self):#从url管理器中获取一个新的带爬取得url new_url=self.new_urls.pop()#pop方法会从列表中获取url并会移除 self.old_urls.add(new_url)#将此url添加进old_url return new_url你多了个add
2017-08-31
其实没有必要分成两个add_url 和 add_urls， 直接写一个add_url函数，然后判断传入的urls是单个元素还是多个元素就好了。
def add_url(self, urls):
if url is None or len(url) == 0:
return
for url in urls:
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def add_url(self, urls):
if url is None or len(url) == 0:
return
for url in urls:
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
2017-08-31
