比如我自己写的有A B C 三个爬虫 如何三个爬虫并行？是一个函数里面三个爬虫执行吗？通过多线程调用这个函数？
1 回答
烙印99
TA贡献1829条经验 获得超13个赞
使用多线程方式调用你的爬虫启动函数， 不过首先你要保证你的爬虫是线程安全的。
最简单的基本写法如下：
import thread# 你的爬虫函数def crawler(param1, param2, param3):
pass# 启动两个线程调用爬虫函数并传参try:
thread.start_new_thread(crawler, (arg1, arg2, arg3))
thread.start_new_thread(crawler, (_arg1, _arg2, _arg3))except:
print("something wrong")添加回答
举报
0/150
提交
取消