几分钟后，Go crawler 在从输出通道中选择时停止

Question

我写了一个简单的爬虫，看起来像这样：type SiteData struct {    // ...}func downloadURL(url string) (body []byte, status int) {    resp, err := http.Get(url)    if err != nil {        return    }    status = resp.StatusCode    defer resp.Body.Close()    body, err = ioutil.ReadAll(resp.Body)    body = bytes.Trim(body, "\x00")    return}func processSiteData(resp []byte) SiteData {    // ...}    func worker(input chan string, output chan SiteData) {    // wait on the channel for links to process    for url := range input {        // fetch the http response and status code        resp, status := downloadURL(url)        if resp != nil && status == 200 {            // if no errors in fetching link            // process the data and send             // it back            output <- processSiteData(resp)        } else {            // otherwise send the url for processing            // once more            input <- url        }    }}func crawl(urlList []string) {    numWorkers := 4    input := make(chan string)    output := make(chan SiteData)    // spawn workers    for i := 0; i < numWorkers; i++ {        go worker(input, output)    }    // enqueue urls    go func() {        for url := range urlList {            input <- url        }    }()    // wait for the results    for {        select {        case data := <-output:            saveToDB(data)        }    }}func main() {    urlList := loadLinksFromDB()    crawl(urlList)}它抓取单个网站并运行良好 - 下载数据，处理它并将其保存到数据库中。然而，几分钟（5-10）左右后，它会“卡住”，需要重新启动。该站点没有将我列入黑名单，我已经与他们进行了验证，并且可以在程序阻止后随时访问任何 url。此外，它会在所有 url 完成处理之前阻止。显然它会在列表用完时阻塞，但它远不及那个。我在这里做错了吗？我使用for { select { ... } }而不是的原因for _, _ = range urlList { // read output }是，如果处理失败，任何 url 都可以重新排队。此外，数据库似乎也不是这里的问题。任何输入都会有所帮助 - 谢谢。