执行 GET 请求时程序在连续超时后停止

Question

我正在制作一个抓取 html、css 和 js 页面的爬虫。爬虫是一个典型的爬虫，有 4 个 go-routines 同时运行以获取资源。为了学习，我一直在使用 3 个测试站点。爬虫工作正常并在测试其中两个时显示程序完成日志。然而，在第三个网站中，在获取 css 链接时发生了太多超时。这最终导致我的程序停止。它获取链接，但在连续超过 20 次超时后，程序停止显示日志。基本上它会停止。我不认为这是事件日志控制台的问题。我需要单独处理超时吗？我不会发布完整的代码，因为它与我正在寻求的概念性答案无关。但是代码是这样的：for {    site, more := <-sites    if more {        url, err := url.Parse(site)        if err != nil {            continue        }        response, error := http.Get(url.String())        if error != nil {            fmt.Println("There was an error with Get request: ", error.Error())            continue        }        // Crawl function    }}