python菜鸟 想做一个简单的爬虫 求教程

Question

python菜鸟 想做一个简单的爬虫 求教程 ps:一般公司做爬虫采集的话常用什么语言

Answer 1

• 爬内容，通常来说就是HTTP请求，requests +1
• 爬下来的网页就是做一些字符串处理，获取你要的信息。beautifulsoup、正则表达式、str.find()都可以

一般网页以上两点就可以了，对于ajax请求的网站，你可能爬不到想要内容，去找他的Api可能更方便。

Answer 2

以前学习的时候整理的一份教程：

Python 爬虫教程

Answer 3

简单的，不用框架的，可以看看requests和beautifulsoup这两个库，如果熟悉python语法，看完这两个，差不多能写个简单的爬虫了。

---

一般公司搞爬虫，我见过的，多用java或者python。

Answer 4

简单的爬虫，其实用框架最简单了，看看网上的入门贴
推荐scrapy

Answer 5

网终上确实有许多的关于Python如何写一个简单爬虫的文章，但这些文章大多只能算是一个例子，能真正应用的还是挺少的。爬虫我认为就是获取内容、分析内容、再存储就OK了，如果只是才接触的话，可以直接Google之就行了。如果是深入的研究的话，可以在Github上找找代码来看下。

我自己对于Python也只是一知半解，希望有所帮助。

Answer 6

scrapy 节约你大量时间
github上有很多例子

Answer 7

Scrapy是比较好的选择，相对比较简单，这里有入门教程

Answer 8

可以先用一个爬虫框架实现业务逻辑，如scrapy，然后根据自己的需求，慢慢的替换掉框架。最后，你就会发现， 你自己实现了一个爬虫框架

Answer 9

抓取内容可以使用 urllib/urllib2/requests，推荐requests。
分析内容可以使用 BeautifulSoup，也可以使用正则或者暴力的字符串解析。

Answer 10

http://cuiqingcai.com/1052.html

最近在学习Python爬虫，感觉非常有意思，真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来，还记录了一些自己实际写的一些小爬虫，在这里跟大家一同分享，希望对Python爬虫感兴趣的童鞋有帮助，如果有机会期待与大家的交流。

一、Python入门

1. Python爬虫入门一之综述

2. Python爬虫入门二之爬虫基础了解

3. Python爬虫入门三之Urllib库的基本使用

4. Python爬虫入门四之Urllib库的高级用法

5. Python爬虫入门五之URLError异常处理

6. Python爬虫入门六之Cookie的使用

7. Python爬虫入门七之正则表达式

二、Python实战

1. Python爬虫实战一之爬取糗事百科段子

2. Python爬虫实战二之爬取百度贴吧帖子

3. Python爬虫实战三之计算大学本学期绩点

4. Python爬虫实战四之抓取淘宝MM照片

5. Python爬虫实战五之模拟登录淘宝并获取所有订单

三、Python进阶

1. Python爬虫进阶一之爬虫框架Scrapy安装配置

目前暂时是这些文章，随着学习的进行，会不断更新哒，敬请期待~

希望对大家有所帮助，谢谢！

转载请注明：静觅 » Python爬虫学习系列教程

Answer 11

爬取Konachan上面的动漫图片，这个是我刚学爬虫的时候做的，入门看看还凑活

Answer 12

简单的话可以用：获取网页可以用beautifulsoup,正则，urllib2,来获取
深入的话，可以看一些开源框架，比如Python的scrapy等等
也可以看看一些视频教程，比如极客学院的
一句话，多练。。。

Answer 13

这里有个现有的例子，你可以参考一下：
如何爬取大众点评网上的商家信息（有栗子、附代码）

Answer 14

可以看看崔庆才大神的《Python3网络爬虫开发实战》

Answer 15

楼主需要这个
零基础12天从入门到精通Python爬虫