Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

关于程序没有报错但是只输出1条网页的，请看下面代码

最新回答 / 紫若寒璿

只爬出来两条。。看不出是哪错了。。。

5 回答 897 浏览 7-7 开始运行爬虫和爬取结果展示

2017-01-28

关于安装BS后运行错误的问题

已采纳回答 / chaowanghn

安装beautifulsoup4$ easy_install beautifulsoup4$ pip install beautifulsoup4然后from bs4 import BeautifulSoup

3 回答 764 浏览 6-4 BeautifulSoup实例测试

2017-01-26

第三个代码出现问题，没有办法获取，用的是2.76版本的

最赞回答 / 摩登卡卡夫

添加了import cookielib之后又可以了，不知道为什么

2 回答 510 浏览 5-3 Python爬虫urlib2实例代码演示

2017-01-22

html_parser

最新回答 / Hello_see_you

最佳答案，把html_parser 改成 html.parser ，搜索里说是语法错误，可能是版本与环境的不同导致的。

4 回答 1183 浏览 7-5 HTML解析器html_parser

2017-01-21

问题-----

已采纳回答 / 慕用0833797

出于代码严谨的考虑，如果url管理器里的url来源不止一处呢，或者有多人协作时，你无法保证他人加入的数据是什么样子的

1 回答 824 浏览 7-4 HTML下载器html_downloader

2017-01-21

terminate

+ 我来回答回答最高可+2积分

2 回答 580 浏览 7-5 HTML解析器html_parser

2017-01-20

用“中国”这个字符串作为判断条件，爬虫主程序里if那里要怎么改？（主要是想看看经过多少次循环可以循环到中国）

最新回答 / dooliu

你可以在获取data时做一次判断，data中在find一次，并返回FALSE，结束循环

1 回答 644 浏览 7-2 调度程序

2017-01-19

视频中用来实现代码的平台这是什

最新回答 / _LittleDawg

eclipse

1 回答 556 浏览 7-2 调度程序

2017-01-18

能爬取但是输出的html还是入口的URL

最新回答 / 猛萌猛萌的

能看一下你的outputer的代码吗，你这个是parser的代码

1 回答 717 浏览 7-7 开始运行爬虫和爬取结果展示

2017-01-18

一个网页可以有不一样的url吗

最新回答 / __Unparalle_

我也发现了

1 回答 836 浏览 7-1 Python爬虫实例-分析目标

2017-01-18

self.urls.add_new_url(root_url) AttributeError: 'SpiderMain' object has no attribute 'urls'

+ 我来回答回答最高可+2积分

2 回答 423 浏览 7-7 开始运行爬虫和爬取结果展示

2017-01-13

看你提问时间感觉你应该在用python3，最后输出到html页面后标题和摘要两部分如果有中文显示出来都是 b'anfdsfsfds'这样的字节串，解决办法是在outputer.html中修改两个地方：1. 打开文件时直接指定编码fout = open('output.html', 'w', encoding='utf-8')2.写如内容时取消编码 fout.write('<td>%s</td>' % data['title']) fout.write('<td>%s...

2 回答 1321 浏览 7-7 开始运行爬虫和爬取结果展示

2017-01-13

node指的是什么啊

已采纳回答 / litf

<...code...>node只是和link_组成的一个变量名，不是soup的代称。

1 回答 1129 浏览 6-3 BeautifulSoup的语法

2017-01-13

运行过后没输出

+ 我来回答回答最高可+2积分

5 回答 845 浏览 7-7 开始运行爬虫和爬取结果展示

2017-01-11

python2.7.9安装scrapy怎么安装

最新回答 / qq_不曾说如果_03345635

用pip来安装，好像可以的

1 回答 629 浏览 5-1 Python爬虫网页下载器简介

2017-01-11

首页上一页 53 54 55 56 57 58 59 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫