python怎么爬取除了入口url以外的网页内容？

Question

python实现爬取除入口url以外的网页内容，首页米有我想爬取的内容

Answer 1

这个内容太大了。没有具体网页，只能跟你说下思路。

如果你想爬的网页能够通过首页url链入，那么直接先爬取首页，然后将首页的链接存入url管理函数，然后再从url管理函数里面调用你的目标url。

一般自己写爬虫建议以框架的方式写，比较清晰，最好写个url管理函数，方面url的管理和存储。