-
添加特殊场景的处理器，第三种网页下载方法查看全部
-
第二种网页下载器查看全部
-
第一种网页下载器urllib2查看全部
-
网页下载器查看全部
-
url管理器查看全部
-
用表来存储待爬取和已爬取url查看全部
-
python set可以自动去除集合中重复的元素查看全部
-
URL管理器查看全部
-
简单爬虫架构，运行流程查看全部
-
URL管理器、下载器、解析器查看全部
-
爬虫的价值：可以充分利用互联网这一开放平台，抓取满足自己需求的数据，进行分析研究，得到有意义，有价值的研究结果查看全部
-
爬虫：一段自动抓取互联网信息的程序查看全部
-
基础课程，主要是针对静态加载的网页进行爬虫抓取查看全部
-
简单爬虫架构，URL管理模块，下载模块，解析模块（爬虫三大模块）查看全部
-
class HtmlOutputer(object): def __init__(self): self.datas=[]#列表 #收集数据 def collect_data(self,data): if data is None: return self.datas.append(data) #输出HTML内容 def output_html(self): fout=open('output.html','w')#输出到output.html中,w为写模式 fout.write("<html>") fout.write("<body>") fout.write("<table>") #ASCI for data in self.datas: fout.write("<tr>") fout.write("<td>s%</td>" % data["url"]) fout.write("<td>s%</td>" % data["title"].encode("UTF-8")) fout.write("<td>s%</td>" % data["summary"].encode("UTF-8")) fout.write("</tr>") fout.write("</table>") fout.write("</body>") fout.write("</html>")查看全部
举报
0/150
提交
取消