1 Python中的编码python在多语言处理方面具有优势,可以处理当前任意编码的字符。 这里详细讨论python处理多种不同语言。
有一点需要弄清楚的是,python在进行编码转换时,会利用内部编码。 转换过程请参考上图。
有两种Unicode编码。 一个是UCS-2,用2字节编码,共65536码位;另一个是UCS-4,用4字节编码,共2147483648码位。
所有python都受支持。 这是在编译时由--enable- unicode=ucs2或--enable-unicode=ucs4指定的。 那么,我们自己默认安装的python上的什么样的编码是如何决定的呢? 一种方法是根据sys.maxunicode的值进行判断:
import sysprint sys.maxunicode
如果输出值为65535,则为UCS-2;如果输出为1114111,则为UCS-4编码。
import sys# python idle的默认编码方法sys.getdefaultencoding (
将字符串转换为内部编码后,请识别它不是str类型。 这是unicode类型
a='风卷残云' printtype(a ) b=unicode(a ) a,'‘GB 2312 ' ' print type (b ) )。
执行结果:
type 'str'type 'unicode '
2 Codecs编解码器--- encoding : gb2312---import codecs,sysprint ' - ' * 60#创建GB 2312编码器look=codecs.lookup (' ) 创建utf-8编码器look2=codecs.lookup('utf-8 ' ) a='我a#被编码为内部unicode,为什么方法名是decode呢? 我的理解是,将gb2312的字符串解码为unicodeb=look.decode(a ),返回的b[0]是数据,b[1]是长度,此时的类型是unicode是pr rode。type (b [0] encode方法发现了与字符串类型b2=look.encode(b[0] )不同的地方吧? 转换后,字符串的长度从14变为了7! 的返回长度是真正的字符数。 原为字节数print b2[ 1 ]、b2[0]、type(b2[0] )。 以上返回了字符数,但这并不意味着用len计算b2[0]的长度为7,而是只有14,codecs.encode会计算字符数。Python具有内置的读写文件的函数,用法为c和
读文件
打开文件,导入后使用close (),为了确保无论有无错误都正确关闭文件,我们可以使用try . finally实现以下操作:
3358 www.Sina.com/viewplaincopyprint?
try:f=open((/path/to/file ),((r ) ) (printf.read ) (finally:iff:f.close ) ) Python自动关闭
3358 www.Sina.com/viewplaincopyprint?
pre name=' code ' class=' python ' withopen ('/path/to/file ),' r ' ) asf:printf.read )和之前的try . finalinaled Python将内容读入内存,用str对象表示
阅读大文件时,建议使用以下方法:
3358 www.Sina.com/viewplaincopyprint?
withopen('/path/to/file ',' r ' ) ASF : forlineinf : printline这种迭代方法不会一次将所有大文件读入内存。
二进制文件
上面的默认设置是读取文本文件
,并且是ASCII编码的文本文件。要读取二进制文件,比如图片、视频等等,用'rb'模式打开文件即可。
[python] view plain copy print?
>>> f = open('/Users/myddt/test.jpg', 'rb') >>> f.read() 'xffxd8xffxe1x00x18Exifx00x00...' # 十六进制表示的字节字符编码
要读取非ASCII编码的文本文件,就必须以二进制模式打开,再解码。比如GBK编码的文件:
[python] view plain copy print?
>>> f = open('/Users/myddt/gbk.txt', 'rb') >>> u = f.read().decode('gbk') >>> u u'u6d4bu8bd5' >>> print u 测试如果每次都这么手动转换编码嫌麻烦(写程序怕麻烦是好事,不怕麻烦就会写出又长又难懂又没法维护的代码),Python还提供了一个codecs模块帮我们在读文件时自动转换编码,直接读出unicode:
[python] view plain copy print?
import codecs with codecs.open('/Users/myddt/gbk.txt', 'r', 'gbk') as f: f.read() # u'u6d4bu8bd5'以gbk编码打开文件/Users/myddt/gbk.txt,读取后直接自动转换成python内部的unicode编码。
写文件写文件和读文件是一样的,唯一区别是调用open()函数时,传入标识符'w'或者'wb'表示写文本文件或写二进制文件:
[python] view plain copy print?
>>> f = open('/Users/myddt/test.txt', 'w') >>> f.write('Hello, world!') >>> f.close()你可以反复调用write()来写入文件,但是务必要调用f.close()来关闭文件。当我们写文件时,操作系统往往不会立刻把数据写入磁盘,而是放到内存缓存起来,空闲的时候再慢慢写入。只有调用close()方法时,操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘,剩下的丢失了。所以,还是用with语句来得保险:
[python] view plain copy print?
with open('/Users/myddt/test.txt', 'w') as f: f.write('Hello, world!')要写入特定编码的文本文件,请效仿codecs的示例,在open()指定以什么编码打开文件,在写入时将待写入内容先解码成unicode,既(str.decode("unicode_escape")),那么在write()时,codecs就会自动将内容转换成指定编码写入文件。
读写文件是最常见的IO操作。Python内置了读写文件的函数,用法和C是兼容的。
读文件
打开一个文件,读取后应该close(),为了保证无论是否出错都能正确地关闭文件,我们可以使用try ... finally来实现:
[python] view plain copy print?
try: f = open('/path/to/file', 'r') print f.read() finally: if f: f.close()Python引入了with语句来自动帮我们调用close()方法:
[python] view plain copy print?
<pre name="code" class="python">with open('/path/to/file', 'r') as f: print f.read()这和前面的try ... finally是一样的,但是代码更佳简洁,并且不必调用f.close()方法。调用read()方法可以一次读取文件的全部内容,Python把内容读到内存,用一个str对象表示
读大文件时,建议下面的方式:
[python] view plain copy print?
with open('/path/to/file', 'r') as f: for line in f: print line这种迭代的方式不会一次性的把大文件都读入内存。
二进制文件
前面讲的默认都是读取文本文件,并且是ASCII编码的文本文件。要读取二进制文件,比如图片、视频等等,用'rb'模式打开文件即可。
[python] view plain copy print?
>>> f = open('/Users/myddt/test.jpg', 'rb') >>> f.read() 'xffxd8xffxe1x00x18Exifx00x00...' # 十六进制表示的字节
字符编码
要读取非ASCII编码的文本文件,就必须以二进制模式打开,再解码。比如GBK编码的文件:
[python] view plain copy print?
>>> f = open('/Users/myddt/gbk.txt', 'rb') >>> u = f.read().decode('gbk') >>> u u'u6d4bu8bd5' >>> print u 测试如果每次都这么手动转换编码嫌麻烦(写程序怕麻烦是好事,不怕麻烦就会写出又长又难懂又没法维护的代码),Python还提供了一个codecs模块帮我们在读文件时自动转换编码,直接读出unicode:
[python] view plain copy print?
import codecs with codecs.open('/Users/myddt/gbk.txt', 'r', 'gbk') as f: f.read() # u'u6d4bu8bd5'以gbk编码打开文件/Users/myddt/gbk.txt,读取后直接自动转换成python内部的unicode编码。
写文件
写文件和读文件是一样的,唯一区别是调用open()函数时,传入标识符'w'或者'wb'表示写文本文件或写二进制文件:
[python] view plain copy print?
>>> f = open('/Users/myddt/test.txt', 'w') >>> f.write('Hello, world!') >>> f.close()你可以反复调用write()来写入文件,但是务必要调用f.close()来关闭文件。当我们写文件时,操作系统往往不会立刻把数据写入磁盘,而是放到内存缓存起来,空闲的时候再慢慢写入。只有调用close()方法时,操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘,剩下的丢失了。所以,还是用with语句来得保险:
[python] view plain copy print?
with open('/Users/myddt/test.txt', 'w') as f: f.write('Hello, world!')要写入特定编码的文本文件,请效仿codecs的示例,在open()指定以什么编码打开文件,在写入时将待写入内容先解码成unicode,既(str.decode("unicode_escape")),那么在write()时,codecs就会自动将内容转换成指定编码写入文件。