Python字符编码常识

Unicode是被所有主要计算机公司接受的非官方字符集，而ISO 10646（UCS）是被视为全球法定标准。两个标准包括相同的字符库和二进制表示。

为了方便传输和存储，一般要对Unicode进行编码转换。常见的编码有ISO8859-1、GB2312、GBK、UTF-8，和UTF-16等，其中UTF-16直接就是Unicode编码，未做转换。Unicode 5.0如果不算兼容区共包含70217个汉字。GB2312有6763个汉字，GBK有21003个汉字，GB18030-2000有27533个汉字，GB18030-2005有70244个汉字。

Python中的str和unicode类型分别对应字节码字符串（Byte string，不提扩展ASCII字符集了）和最多占据4字节的数字（Unicode字符集）。任何时候仅在程序内部使用Unicode对象进行保存和计算，I/O时需要进行编码。decode(encoding)可以把字节码字符串转换为Unicode，encode(encoding)可以把Unicode转换为字节码字符串。

>>> '海生'
'\xba\xa3\xc9\xfa'
>>> u'海生'
u'\u6d77\u751f'
>>> '海生'.decode('gbk')
u'\u6d77\u751f'

要工作在UTF-8下，需要将Python源代码以带BOM的UTF-8编码保存，并在文件头部添加：

#!/usr/bin/env python
# -*- coding: UTF-8 -*-

Windows上大量应用程序以代码页（Code page）为基础，简体中文Windows XP的默认代码页是936，即编码是GBK，在不指定编码时使用。

>>> u'\u9fa5'.encode('gbk')
'\xfd\x9b'
>>> print u'\u9fa5'.encode('gbk')
龥
>>> print u'\u9fa5'
龥

同样的数据经过不同的编码可以得到不同的二进制结果，如果查询同样的GBK代码页可能对应于不同的字符。也就是说，使用与环境不兼容的编码是引入乱码的原因。

>>> u'\u9fa5'.encode('utf-8')
'\xe9\xbe\xa5'
>>> print u'\u9fa5'.encode('utf-8')
榫
>>> '榫'
'\xe9\xbe'

在GB18030中新添加的汉字不能使用GBK编码，即便通过GB18030编码后也不能在未配置相应代码页的终端上正常显示。

>>> print u'\u3400'.encode('gbk')
Traceback (most recent call last):
File "", line 1, in
UnicodeEncodeError: 'gbk' codec can't encode character u'\u3400' in position 0:
illegal multibyte sequence
>>> print u'\u3400'.encode('gb18030')
??