可能有很多种原因（语法错误啊，等等），一个方法是：

可以把主函数中的:

try:

except:

    print('craw failed')

改为：

try:

except Exception as e:

    print('craw failed',e)

这样就能把错误信息打印出来，然后根据错误信息就比较容易找到，错误原因。

我一开始也是这样！后来自己检查调试发现问题了。很多基本上是代码的原因，但是各人的错误不一样，建议再校对代码。或者新建一个把过程不用函数，直接在主函数内写爬取一个页面的过程。然后print多输出变量查看是否正确。