已采纳回答 / Peter
爬虫的的目的就在于可以通过一定的方式把目标网站里面的数据都抓取下来,然后想怎么用都行。
对于一个网站来说,很多数据是有数据权限控制的,也就是需要登录或者甚至授权的方式才能够访问到这些敏感数据。因此,从外部(也就是我们的爬虫程序)来说,最直接的方式就是模拟已经有权限的用户去登录系统,然后访问这些敏感数。
我们常说,人的安全是最难控制的,家贼难防这个道理也是一样的。我们的爬虫就假装是一个正常的用户去访问网站,然后顺便把所有感兴趣的数据都抓取下来。这就是爬虫的核心思想。
当然,也可以没有账号密码,你把自己修炼称...
2014-07-22
讲师回答 / Peter
我的印象中,每一行代码为什么这么写都已经在课程中进行了说明。唯一没有展开说的是post的参数是怎么获取的,这个要说清楚就是http协议相关的内容了,并非CURL的课程内容,因此没有展开。
如果同学觉得老师哪里说的不清楚,请指出,我也好单独给出一个回答。这样,其他的同学也可以得到解惑。
谢谢同学的批评。
2014-07-22