webmagic 爬取多个网页，内容重复

Question

webmagic  爬取多个网页，内容重复 ，用什么代码可以防止。if(page.getResultItems().get(page.getUrl().get())==null){     page.putField(page.getUrl().get(),page.getUrl()); }