Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

ChenforCode

2018-10-30，Python开始

0 1-1 Python开发简单爬虫课程介绍

2018-10-30

幕布斯4533103

nice !!!

0 8-1 课程总结

2018-10-20

龚世绅

非常好的视频，我用Python3.7，requests库，也实现了，虽然花了半天时间才调试出来，但也很值了。可以到https://github.com/gongshishen/a_very_very_little_spider看到

3 7-5 HTML解析器html_parser

2018-10-19

龚世绅

很 nice

0 8-1 课程总结

2018-10-17

慕盖茨61523

SyntaxError: invalid syntax 提示错误了

1 5-2 Python爬虫urlib2下载器网页的三种方法

2018-10-12

xusiman

ctrl + 1,很好

0 7-2 调度程序

2018-10-10

慕少4929721

刚开始学，python3做完了这个东西，碰到了几个问题，不知道有没有和我一样的小伙伴_init_和__init__ 的区别，当碰到异常 craw failed 可以debug看下流程，目前是可以跑的，不止只打印一个url,如果只打印了一个就是异常了，最后的解析，HTML打印汉字为16进制，data['title'].encode('utf-8').decode('utf-8')可以改为汉字代码https://github.com/luckly1/baike.git

4 7-6 HTML输出器

2018-10-03

慕UI5033278

python3错误之NameError: name 'cookielib' is not defined
问题：
Python 3 改成 http.cookiejar了
改进办法
print('第三种方法，cookie处理')
import http.cookiejar
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)

1 5-3 Python爬虫urlib2实例代码演示

2018-09-26

慕神9391553

我用pycharm 编写的：
import re

from bs4 import BeautifulSoup
html_doc = """
...
"""
soup = BeautifulSoup(html_doc,'html.parser',from_encoding='utf-8')
print '获取所有的链接'
links = soup.find_all('a')
for link in links:
print link.name,link['href'],link.get_text()
.....
遇到的坑，新建的文件名不能包含bs4不然系统报错

2 6-4 BeautifulSoup实例测试

2018-09-20

婉如心生1_Yner

思路很清晰，但是。。老师的语气停顿太多了，听起来不适应，刚有点感觉就停顿住了。。

1 6-3 BeautifulSoup的语法

2018-09-19

qq_Blizzardliu_0

三年前的视频好多都out了

0 7-2 调度程序

2018-09-18

1607439239

有可能包含在bs4里面了

0 6-4 BeautifulSoup实例测试

2018-09-16

慕尼黑8853887

博主是陕西人吧

0 6-1 Python爬虫网页解析器简介

2018-09-14

过丶河

爬虫挺有意思的

0 7-1 Python爬虫实例-分析目标

2018-09-13

qq__9416

在进行添加url集合的时候应该判断该集合中的url是否与已存在的url重复

1 7-3 URL管理器

2018-08-27

首页上一页 5 6 7 8 9 10 11 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫