怎样不让百度或者是谷歌等搜索引擎抓取到自己网站上的信息？

Question

前些日子，客户的一个网站，是一个内网。客户反映说是，自己网站上的信息泄漏到了网上。客户发过来关键词，我在谷歌里面检索，确实搜到了信息。可前几天我在网站中做了设置，加了robots文件，做了这样的设置：User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /User-agent: GooglespiderDisallow: /User-agent: googlespiderDisallow: /可还是能在谷歌上通过检索搜到本网站的信息。谷歌进行搜索时，求各位大神，想想办法。还有就是，通过网址，人们就可以直接下载，但是网站不想这样，因为本网站是一个内网，必须通过验证登陆，我应该怎样设置，才能在通过网址下载时，先进行登陆操作。

Answer 1

一般来说，你设置了robots后，可能要过段时间搜索结果才会消失吧。

另外下载的问题，你可以用IHttpHandler拦截下载的请求，并验证登录，如果没有登录则跳转到登录页面，如果有登录，则输出下载的内容。