Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

输出器中为什么要新建一个列表，self.datas = [] 和for data in self.datas: 为什么加一个循环

最新回答 / frgo_03360772

data是一个对象，它有三个属性，分别是{url:xx, title:xx, summary:xx}datas里面存放很多这样的data对象，data['xxx']是获取data元素的xxx属性

3 回答 2493 浏览 7-6 HTML输出器

2016-08-03

进行正则匹配捕捉的时候报错

最新回答 / qq_191_0

在开头import re就可以了

1 回答 585 浏览

2016-08-03

求告知如何配置PYTHON IDE啊?

最新回答 / 龙德梦

这种问题问度娘啊，谷哥都不用的。传送门来一个eclipse下配置python。如果实在还是不行就换 Pycharm吧

1 回答 336 浏览

2016-08-02

AttributeError: 'UrlManager' object has no attribute 'add_new_url'

最新回答 / 慕函数0019356

ok了

1 回答 847 浏览

2016-07-31

from bs4 import beautifulsoup时错误

最新回答 / 慕用7450272

请问是怎么解决的？

6 回答 7879 浏览

2016-07-31

每次运行爬取到的结果都不想相同，都到不了设置的数量，怎么回事？

最新回答 / 一颗菠萝

首先你需要知道程序在哪里报错，报的什么错，所以你可以在处理except部分打印出异常错误的信息，便于查看后续找错，比如这样<...code...>然后运行程序，发现报<...code...>错误，字面意思是HtmlDownloader对象没有dowload这个的属性，找到这个对象：<...code...>然后仔细观察你就会发现你的方法名字拼写错误，少了一个n，应该是download，而不是dowload，改正后运行就可以了。同是python小白，一起加油哈哈！！！

1 回答 709 浏览 7-7 开始运行爬虫和爬取结果展示

2016-07-29

我写的代码运行不出结果？代码都是按照老师讲的写的啊

最新回答 / weibo_漫河乡_03621568

pydev debugger: starting (pid: 5204)，没运行一次，pid后边的数就变一次

3 回答 585 浏览 7-7 开始运行爬虫和爬取结果展示

2016-07-29

结果为什么只有两条数据，求解释

最新回答 / 慕粉2224079903

同问？

3 回答 692 浏览 7-7 开始运行爬虫和爬取结果展示

2016-07-28

page_url是从哪里出现的？

最新回答 / AttesaLee

spider_main中的 root_url 通过urls.get_new_url()获取的可爬取的URL<...code...>

1 回答 532 浏览 7-5 HTML解析器html_parser

2016-07-28

java 下载完整网页（爬虫爬取动态完整网页）

最新回答 / 书海行舟

import urllib.requestimport http.cookiejarprint('third method')cj=http.cookiejar.CookieJar()opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))urllib.request.install_opener(opener)response3=urllib.request.urlopen(url)print(cj)print(...

1 回答 3299 浏览 1-1 Python开发简单爬虫课程介绍

2016-07-27

执行这个爬虫时，会有卡住的现象

最新回答 / 书海行舟

kaka

2 回答 1567 浏览 6-4 BeautifulSoup实例测试

2016-07-26

没报错，只输出了第一条记录，然后就craw failed，跳出循环了，怎么回事？

最新回答 / NormanG

一个函数一个函数的对照，问题出在downloader里面没有import urllib2这个模块。

9 回答 1791 浏览 7-7 开始运行爬虫和爬取结果展示

2016-07-24

AttributeError: module 'urllib' has no attribute 'request'

最新回答 / 漫漫浮华3908981

import urllib.request或者from urllib import request

2 回答 4140 浏览 6-3 BeautifulSoup的语法

2016-07-23

总是报错name 'fout' is not defined,不知道怎么改

最新回答 / 谦谦向上

最后终于发现是最后四行前面的空格不对

1 回答 1932 浏览 7-6 HTML输出器

2016-07-22

global name 'r_date' is not defined

最新回答 / Lvnux

r_date['summary'] = node2.get_text()这行写错了！！！r_data

1 回答 905 浏览 7-5 HTML解析器html_parser

2016-07-20

首页上一页 57 58 59 60 61 62 63 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫