PySpider如何去重？

Question

请问pyspider如何对某一个抓取值去重，不是url去重比如我抓了很多文章，同样文章标题的不去抓取，过滤掉请问怎么怎么设置，谢谢

Answer 1

写入mysql后主键自动去重

Answer 2

在脚本中覆盖get_taskid方法，相同文章标题的任务返回相同的taskid即可达到去重的效果