在自己做的案例中，我提供了200个网站链接,然后进行网络抓取,每抓取一个网站就保存一个值,但是最后总有一个网站没有存值,我的分析可能是因为这个网站一直处于链接状态,有没有什么方法可以判断链接网站的时候,如果超过多少秒还处于链接状态则退出并记录?
2 回答
开心每一天1111
TA贡献1836条经验 获得超13个赞
from selenium import webdriver
d= webdriver.PhantomJS()
d.set_page_load_timeout(10)
d.set_script_timeout(10)
try:
d.get(s)
except:
d.execute_script('window.stop()')- 2 回答
- 0 关注
- 277 浏览
添加回答
举报
0/150
提交
取消