如何防止网站刮刮？

Question

我有一个大型音乐网站，拥有大型艺术家数据库。我一直注意到其他音乐网站正在抓取我们网站的数据（我在这里和那里输入虚拟的艺术家名称，然后用google搜索它们）。如何防止屏幕刮擦？可能吗

Answer 1

我想你已经成立了robots.txt。

正如其他人提到的那样，抓取工具可以伪造其活动的几乎所有方面，并且很难识别来自坏人的请求。

我会考虑：

1. 设置页面/jail.html。

2. 禁止访问中的页面robots.txt（因此，尊敬的蜘蛛将永远不会访问）。

3. 将链接放在您的页面之一上，并用CSS（display: none）将其隐藏。

4. 记录访问者的IP地址/jail.html。

这可能有助于您快速识别来自刮板的请求，而这些请求显然无视您的robots.txt。

你可能也想使你的/jail.html整个整个网站具有相同的，准确的标记为正常的网页，而是用假数据（/jail/album/63ajdka，/jail/track/3aads8等）。这样，只有当您有机会完全阻止它们时，不良的刮板才会收到“异常输入”的警报。