Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

allen97

谢谢老师，讲的好棒，让我这么短的时间就可以会写一个简单爬虫，老师要继续更视频！！！

0 7-7 开始运行爬虫和爬取结果展示

2016-08-02

求告知如何配置PYTHON IDE啊?

最新回答 / 龙德梦

这种问题问度娘啊，谷哥都不用的。传送门来一个eclipse下配置python。如果实在还是不行就换 Pycharm吧

1 回答 337 浏览

2016-08-02

流浪在海洋

还是要多敲代码

0 6-3 BeautifulSoup的语法

2016-08-02

肖普

天，终于搞得差不多了，都是自己不小心写错造成的问题，照着老师打有错误的的自己多检查几遍就好

2016-08-01

Ladder3227016

自己写的代码，https://github.com/Yan15/SimpleCrawSpider

2016-08-01

九楼的金鱼少年3758671

这个老师讲解的非常牛逼

0 4-1 Python爬虫URL管理

2016-08-01

扑虫写完了，但是运行不了啊！？？

已采纳回答 / YYLQ

还有更多信息么？可以设置count = 1那设置一个断点，debug找一下数据到哪个方法时候没传过去？

1 回答 620 浏览 7-6 HTML输出器

2016-08-01

肖普

File "E:\Python code\imooc_spider\baike_spider\url_manager.py", line 14, in add_new_url
if url not in self.add_new_urls and url not in self.old_urls:
TypeError: argument of type 'instancemethod' is not iterable

呃。。。。。。把代码看了又看一遍，不懂错在哪里， win10，2.7.12，pycharm

1 7-6 HTML输出器

2016-08-01

肖普

Traceback (most recent call last):
File "E:/Python code/imooc_spider/baike_spider/spider_main.py", line 47, in <module>
obj_spider.craw(root_url)
File "E:/Python code/imooc_spider/baike_spider/spider_main.py", line 22, in craw
self.urls.add_new_url(root_url)

1 7-6 HTML输出器

2016-08-01

肖普

open那么多的页面了不close么？

1 7-4 HTML下载器html_downloader

2016-07-31

AttributeError: 'UrlManager' object has no attribute 'add_new_url'

最新回答 / 慕函数0019356

ok了

1 回答 848 浏览

2016-07-31

from bs4 import beautifulsoup时错误

最新回答 / 慕用7450272

请问是怎么解决的？

6 回答 7879 浏览

2016-07-31

weibo_自恋狂学长_0

前面加上
import urllib2
import cookielib

1 5-3 Python爬虫urlib2实例代码演示

2016-07-31

平__凡

老师用的是2.7版本的，我用3.5版本的重新写了一下，只有一个文件，100多行代码，实现同样的功能。有兴趣的童鞋可以copy下来运行一下~
我用的是lxml库和requests库。开了四个线程，速度极快。
http://www.kongpingfan.com/?p=790

1 8-1 课程总结

2016-07-31

流浪在海洋

老师说话铿锵有力，但是感觉怎么突然语速就加快了不少

3 5-2 Python爬虫urlib2下载器网页的三种方法

2016-07-31

流浪在海洋

python 3.x中urllib库和urilib2库合并成了urllib库。。
其中urllib2.urlopen()变成了urllib.request.urlopen()
urllib2.Request()变成了urllib.request.Request()

43 5-1 Python爬虫网页下载器简介

2016-07-31

首页上一页 150 151 152 153 154 155 156 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空