如此修改可以解决乱码/只爬一条等问题：
1 在每个module开头都加上：# -*- coding: utf-8 -*-
2 html_parser模块中找到links那行，改为：links = soup.find_all('a', href = re.compile(r"/item/.*"))
3 在outputer模块开头加上：
import io
import sys
reload(sys)
sys.setdefaultencoding('utf-8' )
并把open那行改为io.open('output.html', 'w', encoding='utf-8')
4 标签双引号前加u
1 在每个module开头都加上：# -*- coding: utf-8 -*-
2 html_parser模块中找到links那行，改为：links = soup.find_all('a', href = re.compile(r"/item/.*"))
3 在outputer模块开头加上：
import io
import sys
reload(sys)
sys.setdefaultencoding('utf-8' )
并把open那行改为io.open('output.html', 'w', encoding='utf-8')
4 标签双引号前加u
2019-04-15
最新回答 / l不二l
cj = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) urllib.request.install_opener(opener) response3 = urllib.request.urlopen(url) print(response3.getcode()) print(len(response3.read())) pr...
2019-04-11
互联网是有很多的网页组成的，每个网页我们通过url来访问。使用程序对url进行下载、解析并在其中找到我们需要的数据，比如价格，图片，相关的url等，并把这些数据保存起来形成数据集。下载，解析，再下载，再解析的过程就是爬虫的过程。我们把这种通过url找寻数据的方法叫做爬虫。
2019-04-02
错误运行spider_main: Coverage is not importable in this environment. Please install coverage.py to selected interpreter or enable 'Use bundled coverage' in Settings | Coverage
2019-03-25
最新回答 / 衍冷凝
<...code...>先在这里点击UrlManager/HtmlDownloader等，按下快捷键"Alt + Enter"生成对应的类然后再在下面的方法，按下"Alt + Enter"生成方法即可<...code...>
2019-03-25