共计 1193 个字符，预计需要花费 3 分钟才能阅读完成。
字符串编码一直是令人非常头疼的问题，尤其是我们在处理一些不规范的第三方网页的时候。虽然 Python 提供了 Unicode 表示的 str 和bytes两种数据类型，并且可以通过 encode() 和decode()方法转换，但是，在不知道编码的情况下，对 bytes 做decode()不好做。
对于未知编码的bytes，要把它转换成str，需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。
当然，我们肯定不能从头自己写这个检测编码的功能，这样做费时费力。chardet这个第三方库正好就派上了用场。用它来检测编码，简单易用。
安装 chardet
如果安装了 Anaconda，chardet就已经可用了。否则，需要在命令行下通过 pip 安装：
$ pip install chardet
如果遇到 Permission denied 安装失败，请加上 sudo 重试。
使用 chardet
当我们拿到一个 bytes 时，就可以对其检测编码。用 chardet 检测编码，只需要一行代码：
>>> chardet.detect(b'Hello, world!')
{'encoding': 'ascii', 'confidence': 1.0, 'language': ''}
检测出的编码是 ascii，注意到还有个confidence 字段，表示检测的概率是 1.0（即 100%）。
我们来试试检测 GBK 编码的中文：
>>> data = '离离原上草，一岁一枯荣'.encode('gbk')
>>> chardet.detect(data)
{'encoding': 'GB2312', 'confidence': 0.7407407407407407, 'language': 'Chinese'}
检测的编码是 GB2312，注意到 GBK 是 GB2312 的超集，两者是同一种编码，检测正确的概率是 74%，language 字段指出的语言是'Chinese'。
对 UTF- 8 编码进行检测：
>>> data = '离离原上草，一岁一枯荣'.encode('utf-8')
>>> chardet.detect(data)
{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}
我们再试试对日文进行检测：
>>> data = '最新の主要ニュース'.encode('euc-jp')
>>> chardet.detect(data)
{'encoding': 'EUC-JP', 'confidence': 0.99, 'language': 'Japanese'}
可见，用 chardet 检测编码，使用简单。获取到编码后，再转换为str，就可以方便后续处理。
chardet支持检测的编码列表请参考官方文档 Supported encodings。
小结
使用 chardet 检测编码非常容易，chardet支持检测中文、日文、韩文等多种语言。
