行python爬虫时，MySQL版本是5.7，总是报错

Question

运行python爬虫时，MySQL版本是5.7，总是报错C:\Python34\lib\site-packages\pymysql\cursors.py:166: Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...'  for column 'VARIABLE_VALUE' at row 480") result = self._query(query)数据库格式已经设置为utf8问题出在什么地方？怎么解决呢？

Answer 1

你爬了gbk编码的内容，应该先判断页面的编码，如果是gbk编码的，就decode('gbk')再encode('utf-8')。

>>> print '\xD6\xD0\xB9\xFA\xB1\xEA'.decode('gbk').encode('utf-8')
中国标

至于怎么快速准确地判断页面的编码，这是技术活。