爬虫的的目的就在于可以通过一定的方式把目标网站里面的数据都抓取下来，然后想怎么用都行。 对于一个网站来说，很多数据是有数据权限控制的，也就是需要登录或者甚至授权的方式才能够访问到这些敏感数据。因此，从外部（也就是我们的爬虫程序）来说，最直接的方式就是模拟已经有权限的用户去登录系统，然后访问这些敏感数。 我们常说，人的安全是最难控制的，家贼难防这个道理也是一样的。我们的爬虫就假装是一个正常的用户去访问网站，然后顺便把所有感兴趣的数据都抓取下来。这就是爬虫的核心思想。 当然，也可以没有账号密码，你把自己修炼称为黑客，通过黑客手段获取网站内部敏感信息。这个方式就不在这个课程的讨论范围之内了。