Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

南区大表哥

来学学如何爬

0 1-1 Python开发简单爬虫课程介绍

2017-06-22

艾兔

老师讲的很好啊，说实话你想学爬虫html是必须的技能树啊。
建议老师开始前先说明下需要哪些前置课程，这样评论区就可以少很多抱怨的声音。
有些零基础的确实是不知道。

6 6-3 BeautifulSoup的语法

2017-06-21

慕尼黑6392526

@qq_巴图鲁_03964589 搜一下，转换下字符编码就可以了。

0 5-3 Python爬虫urlib2实例代码演示

2017-06-21

qq__9254

这是在window下开发的么

0 7-2 调度程序

2017-06-20

mk充满爱与正义

P3改后实测有效
1. root_url = 'http://baike.baidu.com/item/Python'
2. with open('output.html','w',encoding='utf-8') as fout:
fout.write(unquote("<td>%s</td>" % data['url']))
fout.write("<td>%s</td>" % data['title'])
fout.write("<td>%s</td>" % data['summary'])

2 7-7 开始运行爬虫和爬取结果展示

2017-06-20

慕哥7927659

GitHub: https://github.com/fengtimo/baike_spider
Python 3.6.1运行正常
保存1000条数据html打开不显示简介，不知道为啥

0 7-7 开始运行爬虫和爬取结果展示

2017-06-19

远游骑士

非常不错，受教了

0 7-6 HTML输出器

2017-06-18

等不到的年华

使用第三方库
import requests

class HtmlDownloader(object):

def download(self, url):
if url is None:
return None
response = requests.get(url)
response.encoding = 'utf-8'
if response.status_code != 200:
return None
return response.text

0 7-4 HTML下载器html_downloader

2017-06-18

zero4eva

设置两个集合没用到啊，并不能判断是否已经爬取过，也没用到数据库。

0 8-1 课程总结

2017-06-15

慕粉和点心

import sys
import urllib
url="http://www.baidu.com"
wp=urllib.urlopen(url)
content=wp.read()
fp=open("E:\\python\\web.txt","w")
fp=write(content)
fp.close()

1 6-2 BeautifulSoup模块介绍和安装

2017-06-13

你的微笑温暖了我的世界

pip install beautifulsoup4 失败的话，可以加sudo尝试下

0 6-2 BeautifulSoup模块介绍和安装

2017-06-13

蓼蓝青青yunge

ImportError: No module named 'cookielib'1
Python3中，改成 import http.cookiejar,然后方法里也改成 http.cookiejar，查找替换就行我做出来了。

3 5-2 Python爬虫urlib2下载器网页的三种方法

2017-06-13

白色的白色

2x才够味

0 5-1 Python爬虫网页下载器简介

2017-06-13

刀画刀花

安装失败的大部分应该是因为我大天朝网络访问pip库异常缓慢吧，提供一个修改pip源为阿里云源的方式。
http://mirrors.aliyun.com/help/pypi

0 6-2 BeautifulSoup模块介绍和安装

2017-06-13

刀画刀花

python3需要安装使用pip install BeautifulSoup4进行安装，因为BeautifulSoup3已经停止维护了。

10 6-1 Python爬虫网页解析器简介

2017-06-13

首页上一页 41 42 43 44 45 46 47 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫