在做抓取前记得把php.ini中的max_execution_time设置的大点不然会报错的。

一、用Snoopy.class.php抓取页面

　　一个挺萌的类名。功能也很强大用来模拟浏览器的功能可以获取网页内容发送表单等。

　　1我现在要抓取一个网站的列表页的内容我要抓取的是全国的医院信息内容如下图

　　2我很自然的将URL地址复制下来用Snoopy类来抓取前10页的页面内容而且将内容放到本地来在本地建立html文件等下用于分析。

$snoopy=new Snoopy();//医院list页面 for($i = 1; $i <= 10; $i++) {   $url = 'http://www.guahao.com/hospital/areahospitals?p=全国&pageNo=' . $i;   $snoopy->fetch($url);   file_put_contents("web/page/$i.html", $snoopy->results); } echo 'success';

　　3很奇怪的是返回回来的不是全国的内容而是上海的相关内容

　　4后面怀疑是里面可能设置了cookie然后用firebug查看果然有惊人内幕

　　5在请求的时候将cookie的值也放进去就加了个设置语句$snoopy->cookies["_area_"]情况就大不一样了顺利返回全国信息。

$snoopy=new Snoopy();//医院list页面$snoopy->cookies["_area_"] = '{"provinceId":"all","provinceName":"全国","cityId":"all","cityName":"不限"}';for($i = 1; $i <= 10; $i++) {

}

二、用phpQuery.php分析页面

　　用了这个类能像jQuery那样操作DOM不必为采集网站内容而使用那些头疼的正则算法了用法上与jQuery相似只是$()换成了pq()。主页放在google的code中被屏蔽了得FQ一下下面的附件中我分享了一个最新版本的fgFQ软件。用法很简单只要打开fg742p.exe文件就可以了。

　　1我要获取每一页内容中的每个具体医院的信息例如要获取301医院的信息。

　　每页的内容页面已经在前面的操作中抓取到了本地。所以可以直接用localhost了。

  $snoopy=new Snoopy();　for($i = 1; $i <= 10; $i++) {    $url = "http://localhost/spider/web/page/$i.html";    $snoopy->fetch($url);    $html = $snoopy->results;  }

　　2用phpQuery获取到节点信息如下图的DOM结构

　　使用一些phpQuery的方法结合DOM结构读取每个医院信息的URL地址。

for($i = 1; $i <= 10; $i++) {    //...抓取本地页面...    phpQuery::newDocument($html);  //初始化对象    $urls = array();    foreach(pq('.search-hos-info dl dt a') as $item) {      array_push($urls, pq($item)->attr('href')); //医院详情    }}

　　3根据读取到的URL地址列表抓取指定的页面。

$detailIndex = 1;for($i = 1; $i <= 10; $i++) {    //...抓取本地页面...    //...获取指定节点的href地址信息...    $len = count($urls);    for($row = 1; $row <= $len; $row++) {      $snoopy->fetch($urls[$row - 1]);      file_put_contents("web/hospital/$detailIndex.html", $snoopy->results);      $detailIndex++;    }}

FQ工具下载

翻越障碍.rar

demo下载

http://download.csdn.net/detail/loneleaf1/8089507

Snoopy类的一些说明

类方法

类属性