python遇见数据采集_技术问答

首页免费课 python遇见数据采集问答

python遇见数据采集

                
                秋名山车神
            全栈工程师

                    查看讲师更多课程 
                    秋名山车神讲师的其他课程
                
浏览器开发者工具使用技巧
初级·41710
免费课程
                                
                难度初级
            
                时长 2小时 5分
            
                学习人数
            
综合评分9.63
                            95人评价
                        查看评价
                                9.7
                                内容实用
                            
                                9.5
                                简洁易懂
                            
                                9.7
                                逻辑清晰

全部评论问答未解决精华

读取PDF文档的目的是啥？

讲师回答 / 秋名山车神

比如说你想收集所有上市公司历年来资产负债，资产增长，股份变革等等这些情况，你不可能通过人工的方法来查找，因为单单深沪都有几千家公司，只能依靠程序来完成，但是这些信息大部分都是以PDF文件保存的，如果不读取PDF文件还有什么好的方法来完成呢？而且大部分的文件都是以PDF保存的，如果你想从这些文件里面查找信息，一两个文件可能还能人工去查找统计，如果是一百个，一万个文件，依靠人工不知道要到什么时候才能完成，而且还可能会统计错误。

2 回答 1050 浏览 5-5 python读取PDF文档(二)

2016-09-15

东围居士

老师用的win10，这视频看来挺新的吖

0 5-3 验证pdfminer3k是否安装成功

2016-09-15

东围居士

不知道老师为什么要import pymysql.cursors
我平时都是这样写的：
import pymysql

conn = pymysql.connect()
cur = conn.cursor()

这样就行了，后面就可以用cur来执行sql语句

楼上有错误的同学可以试试

4 4-1 存储数据到MySQL

2016-09-14

秋名山车神

@Hankong
我已经私信给你了，其他同学下不了的也可以在这里下：
http://pan.baidu.com/s/1qYeXrWS

2016-09-14

Hankong

能否给个python的安装包

3 2-1 python开发环境搭建

2016-09-13

Cxy2

找个post登陆的站呗怎么爬虫换页判断已经抓取的URL呢车神

2016-09-10

老师用的是什么工具啊

+ 我来回答回答最高可+2积分

3 回答 2264 浏览 3-1 urllib基本用法

2016-09-10

这节课的意思是要干嘛？

最新回答 / 孤独的小猪

其实主要是为了解决以后出现乱码做基础知识，因为python爬取数据，由于编码格式问题，常常导致爬下来的数据是乱码，所以讲了一些Unicode知识。

2 回答 798 浏览 5-1 python读取TXT文档

2016-09-09

游泳的石头

车身讲课棒棒哒，充满磁性的声音和清晰的步骤说明，很不错！

2016-09-09

grimreaper3437243

成功‘不过google被墙了。。。

0 3-2 使用urllib发送post请求

2016-09-08

beautifulsoup这节课到底在讲？

讲师回答 / 秋名山车神

他就是方便从网页中提取数据的，只要会用基本的用法就可以了。如果以后真的有什么特殊的需求，可以去网上搜一下就行了，Python不需要把每个库的所有东西都学完，只需要在用到的时候查一下资料就可以了，也不需要去了解它内部的实现。Python开发的特点就是快，简单。如果前期花费大量的时间去学习这些库所有的东西，实际上很多都用不到，有的可能用一次就不再用了，所以没有必要花太大的信息去把一个库所有的东西研究一遍。

2 回答 1016 浏览 3-4 BeautifulSoup使用

2016-09-08

qq_路人甲_11

class_='xxx' 更加方便

11 3-4 BeautifulSoup使用

2016-09-08

qq_路人甲_11

好少人啊

2 5-4 python读取PDF文档(一)

2016-09-08

秋名山车神

@不打伞的人

检查一下你的代码，如果找不到的话，把代码发出来看看。

2016-09-08

不打伞的人

恕我直言，直接把string和get_text()方法的区别列出来也不用举这么多例子，乱七八糟的

5 3-4 BeautifulSoup使用

2016-09-07

不打伞的人

台湾高铁是反爬虫了吗，并没有数据……

3 3-2 使用urllib发送post请求

2016-09-07

首页上一页 29 30 31 32 33 34 35 下一页尾页

开始学习

课程须知: 熟悉Python语言的语法，掌握Python的正则表达式模块，懂得如何使用Python操作数据库

老师告诉你能学到什么？: 使用Python内置urllib模块和第三方BeautifulSoup模块进行数据采集和提取、MySQL数据库的操作、TXT和PDF文档的读取，以及robots协议和相关注意事项

微信扫码，参与3人拼团

热搜

最近搜索清空