-
urllib2下载网页方法2：添加data：用于接收用户输入的数据，添加http header查看全部
-
urllib2 下载网页最简洁的方法：urllib2.urlopen(url)查看全部
-
python两种网页下载器，urllib2，官方自带模块；requests，第三方模块，功能更强大查看全部
-
网页下载器的简介查看全部
-
URL管理器的实现方式有三种，小型使用内存，set（）可去除列表中重复的元素，永久存储使用关系数据库MY SQL，大型公司出于性能考虑，使用缓存数据库redis查看全部
-
URL管理器查看全部
-
简单的爬虫架构的运行流程查看全部
-
简单爬虫架构查看全部
-
网页解析器查看全部
-
getit~查看全部
-
python查看全部
-
mysql查看全部
-
mysql查看全部
-
简单爬虫架构查看全部
-
程序开发过程中出现的错误： 1.输出一个链接后就进入了“锁定词条”界面 def _get_new_urls(self, page_url, soup): new_urls = set() links = soup.find_all('a', href=re.compile(r"/view/\d+\.htm")) for link in links: new_url = link['href'] new_full_url = urlparse.urljoin(page_url, new_url) new_urls.add(new_full_url) return new_urls 这是因为return new_urls写进了for循环，导致返回结果错误。 2.在爬取过程中如果失败就自动结束了当前爬取。这是因为try模块写入了while之外，while应该作为主循环来进行实现。 3.输入数据库 错误方法：sql = "INSERT INTO baike VALUES(%s, %s, %s)",(data['url'],data['title'],data['summary']) 或者 sql = "INSERT INTO baike VALUES(%s, %s, %s)" %(data['url'],data['title'],data['summary']) 正确写法：sql = "INSERT INTO baike VALUES(%s, %s, %s)" cursor.execute(sql, (data['url'],data['title'],data['summary']))查看全部
举报
0/150
提交
取消