如何确定文本的编码？

Question

如何确定文本的编码？我收到了一些编码的文本，但我不知道使用了什么字符集。是否有方法使用Python确定文本文件的编码？如何检测文本文件的编码/代码页处理C#。

Answer 1

计算编码的另一个选项是使用利布魔术(这是档案指挥)。有大量的python绑定可用。

驻留在文件源树中的python绑定可作为Python-魔术(或python 3-魔法)Debian包。它可以通过执行以下操作来确定文件的编码：

import magic

blob = open('unknown-file').read()m = magic.open(magic.MAGIC_MIME_ENCODING)m.load()encoding = m.buffer(blob)  # "utf-8" "us-ascii" etc

有一个同名但不相容的，Python-魔术pypi上的PIP包，该包还使用libmagic..它还可以通过执行以下操作获得编码：

import magic

blob = open('unknown-file').read()m = magic.Magic(mime_encoding=True)encoding = m.from_buffer(blob)