将XML/HTML实体转换为Python中的Unicode字符串

Question

将XML/HTML实体转换为Python中的Unicode字符串我正在做一些Web抓取，网站经常使用HTML实体来表示非ascii字符。Python是否有一个带有HTML实体的字符串并返回Unicode类型的实用程序？例如：我回来了：ǎ表示带有音调标记的“ǎ”。在二进制文件中，这被表示为16位01ce。我希望将html实体转换为值。u'\u01ce'

Answer 1

标准库本身的HTMLParser有一个无文档的函数unaway()，它执行您认为它所做的事情：

import HTMLParserh = HTMLParser.HTMLParser()h.unescape('© 2010') # u'\xa9 2010'h.unescape('© 2010') # u'\xa9 2010'

Answer 2

使用内置unichr-美容汤是不必要的：

>>> entity = '&#x01ce'>>> unichr(int(entity[3:],16))u'\u01ce'

Answer 3

如果您有lxml，另一种选择是：

>>> import lxml.html>>> lxml.html.fromstring('&#x01ce').text
u'\u01ce'