检查 URL 是否已失效或重定向，并不总是有效

Question

因此，我正在运行 URL 列表以检查它们是否已失效或重定向，然后记录结果。我也有一些例外，将重定向到 godaddy.com 或 hugedomains.com 等地方的域标记为已死，因为它们基本上是这样。我的问题是，它是参差不齐的。例如，域custommarbleproducts.comdanielharderandsons.com重定向到这些：http://danielharderandsons.com/?reqp=1&reqr=http://custommarbleproducts.com/?reqp=1&reqr=我尝试过滤掉 "?reqp=1&reqr=" 并且它有时会起作用。我可以运行脚本，在十个死/重定向 URL 中，四个将被标记为死，然后重新运行并有三个或五个标记为死（结果不同，上次标记为死的这次可能不会） ，我正在寻找更一致的结果。下面是函数：function get_url_status($url) {$cookie = realpath(dirname(__FILE__)) . "/cookie.txt";file_put_contents($cookie, "");$ch = curl_init($url);curl_setopt($ch, CURLOPT_NOBODY, 1);if ($curl = curl_init()) {    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // follow redirects    curl_setopt($ch, CURLOPT_AUTOREFERER, 1); // set referer on redirect    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie);    curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie);    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (X11; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0');    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 20);    curl_setopt($ch, CURLOPT_TIMEOUT, 30);    curl_exec($ch);    $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);    $final_url = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL);    curl_close($ch);    if ((strpos($final_url, "hugedomains.com") !== FALSE) ||            (strpos($final_url, "namecheap.com") !== FALSE) ||            (strpos($final_url, "uniregistry.com") !== FALSE) ||            (strpos($final_url, "afternic.com") !== FALSE) ||            (strpos($final_url, "buydomains.com") !== FALSE) ||            (strpos($final_url, "/?nr=0") !== FALSE) ||            (strpos($final_url, "?reqp=1&reqr=") !== FALSE) ||            (strpos($final_url, "godaddy.com") !== FALSE)) {        return 'dead';    }有没有人有任何想法使这更可靠？

Answer 1

也许比较原始 URL 和最终 URL 的域：

$orig_host = parse_url($url, PHP_URL_HOST);

$final_host = parse_url($final_url, PHP_URL_HOST);

$len = strlen($orig_host);

if (substr($final_host, 0 - $len) === $orig_host) {

    echo "$final_host ends with $orig_host";

}

}