Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

慕粉3165058

beautifulsoup就是解析html语言的东西

1 6-3 BeautifulSoup的语法

2018-02-05

慕粉3165058

都是死程序员，互相叫什么劲2333

2 6-3 BeautifulSoup的语法

2018-02-05

慕粉3165058

悄悄说一句，我学过c，c++，java，js，html再看这个根本乌鸦梨，应该没有人会发现

4 6-3 BeautifulSoup的语法

2018-02-05

老弓250

百度百科目前url 没有htm结尾，需要修改正则匹配规则为re.compile(r"/item/+")
类似 url https://baike.baidu.com/item/%E7%99%BE%E5%BA%A6%E7%99%BE%E7%A7%91%EF%BC%9A%E9%94%81%E5%AE%9A%E8%AF%8D%E6%9D%A1

1 8-1 课程总结

2018-02-05

慕粉3165058

这软件是eclipse小兄弟们，要配置jer，jdk的哦？

2 5-3 Python爬虫urlib2实例代码演示

2018-02-05

慕粉3165058

到这一节开始慌了吧，小兄弟们，#笑#笑#笑#笑

12 5-2 Python爬虫urlib2下载器网页的三种方法

2018-02-05

慕用8912214

python -m pip install bs4

from bs4 import BeautifulSoup

3 6-2 BeautifulSoup模块介绍和安装

2018-02-05

慕用8912214

print("第三种方法")
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(cj)
print(response3.read())

8 5-3 Python爬虫urlib2实例代码演示

2018-02-05

慕用8912214

print("第二种方法")
request = urllib.request.Request(url)
request.add_header("user-agent", 'Mozilla/5.0')
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))

8 5-3 Python爬虫urlib2实例代码演示

2018-02-05

慕用8912214

# coding:utf-8
import urllib.request,http.cookiejar

url = "http://www.baidu.com"
print("第一种方法")
response1 = urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))

8 5-3 Python爬虫urlib2实例代码演示

2018-02-05

慕用8912214

#coding=utf-8
import urllib, http.cookiejar
#创建cookie容器
cj = http.cookiejar.CookieJar()
#创建1个opener
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
#给urlib安装opener
urllib.request.install_opener(opener)
response = urllib.request.urlopen("http://www.baidu.com")

1 5-2 Python爬虫urlib2下载器网页的三种方法

2018-02-05

老弓250

老师是带你入门，以后靠自己，谢谢老师分享

0 6-3 BeautifulSoup的语法

2018-02-05

老弓250

6666666

0 6-1 Python爬虫网页解析器简介

2018-02-05

xunlingzi

1.25倍速听的好激动

0 4-1 Python爬虫URL管理

2018-02-05

请问你是3426834

先看3遍这种思维走向，再写代码。
重要的是举一反三

5 7-2 调度程序

2018-02-04

帝国游侠

简单易懂，受益非浅

0 8-1 课程总结

2018-02-04

首页上一页 42 43 44 45 46 47 48 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫