1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序
创建自己的爬虫工作目录,我个人工作目录位置:
/home/damu/work_spider/spider_01/
创建第一个爬虫程序:demo01_hw.py
目标:采集新浪网首页数据
资源:url地址(http://www.sina.com.cn)
程序开发:编辑demo01_hw.py
# coding:utf-8
# 引入爬虫模块
import urllib2
# 访问服务器,获取服务器返回的响应数据
response = urllib2.urlopen(‘http://www.sina.com.cn’)
# 控制台打印展示数据
print(response.read())
运行程序:python demo01.py,控制台可以看到采集到的数据
小结:urllib2是Python2版本中专门用于进行网络数据请求访问的一个基础模块,包含了最基本的操作网络数据的各种类型和函数,如上述程序中访问新浪网并获取响应数据的函数urlopen就是一个非常核心重要的操作函数!
点击查看更多内容
1人点赞
评论
共同学习,写下你的评论
评论加载中...
作者其他优质文章
正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦