首页 > 编程知识 正文

python字符编码和文件处理,关于python字符编码

时间:2023-12-27 22:28:07 阅读:327309 作者:XIKN

本文目录一览:

Python 字符集编码 - UTF-8 编码

Unicode 的编码范围为 0~0x10FFFF ,如此大的范围,显然没办法像 ASCII 编码一样使用一个字节存储。为此,Unicode 制定了各种储存编码的方式,如: UTF-8 、 UTF-16 和 UTF-32 ,这些存储格式被称为 Unicode 转换格式 UTF 。

每种 Unicode 转换格式都会把一个编码存储为一到多个编码单元,如 UTF-8 的编码单元为 8 位的字节; UTF-16 的编码单元为 16 位,即 2 个字节; UTF-32 的编码单元为 32 位,即 4 个字节。

其中, UTF-8 是在互联网上使用最广泛的一种 Unicode 转换格式,具有以下显著的优势。下面,我们就先来看看 UTF-8 具有哪些有点吧~

1. UTF-8 中每个 ASCII 字符只需要一个字节去存储,因此一个 ASCII 文本本身也是一个 UTF-8 文本,即做到了向后兼容。

比如 A 的 ASCII 码对应为 0x41 , a 的 ASCII 码对应为 0x61 ,那么 UTF-8 兼容 ASCII 也就意味着:

这里,需要再次提醒一下:Unicode 是表现形式,UTF-8 是存储形式;即 UTF-8 解码之后为 Unicode ,Unicode 可以编码成 UTF-8 。

2. UTF-8 采用字节为存储单元,因此不存在字节的大端和小段的问题。

UTF-16 和 UTF-32 的存储单元分别是 2 字节和 4 字节,因此在存储时会涉及到大小端的问题。那什么是大小端模式呢?下面我们来暂停补充一下~

关于如何获知你的环境使用的是大端模式还是小端模式,这里有个简单的方式:定义一个 short 类型的数组即可:

数字 1 在 short 类型中表示为 0x0001 ,高位为 0x00 ,低位为 0x01 。我们可以很直观地看到,数组在保存数据时,将高位 0x00 放在了高地址处,将低位 0x01 放在了低地址处。因此使用的就是小端模式。

那 UTF-8 为什么可以使用字节来作为存储单元,而不用担心字节序的问题呢?这就涉及到了 UTF-8 巧妙的编码规则~

UTF-8 最大的一个特点,就是它是一种变长的编码方式。它可以使用 1~4 个字节表示一个符号,根据不同的符号而变化字节长度。UTF-8的编码规则很简单,只有二条:

1)对于单字节符号,字节的第一位设为 0 ,后 7 位为这个符号的 Unicode 码。也就是我们上文提到的向后兼容:对于英文字母,UTF-8 编码和 ASCII 码是相同的。

2)对于使用 X 个字节存储的符号,第一个字节的前 X 位设置为 1 ,第 X+1 位设置为 0 ,后面字节的前 2 位一律设置为 10 ,剩下的位置一次填充这个符号的 Unicode 码。

下表总结了编码规则,字母 x 表示可用于编码的位:

跟据上表,解读 UTF-8 编码也非常简单:如果一个字节的第一位是 0 ,则这个字节单独就是一个字符;如果第一位是 1 ,则连续有多少个 1 ,就表示当前字符占用多少个字节。

下面,我们就来演示一下 UTF-8 编码的过程。

首先,获取汉字 鱼 的 Unicode 码:

我们不妨先对 鱼 这个汉字使用 utf-8 编码看看使用几个字节存储:

鱼 在 UTF-8 编码中使用 3 个字节存储,因此其存储的二进制的形式为 1110xxxx 10xxxxxx 10xxxxxx ,将 Unicode 1001 110001 111100 依次填充到占位符 x 的位置就得到: 11101001 10110001 10111100 。

下面,我们将上述推导得出的 11101001 10110001 10111100 转换为十六进制,验证一下是否为 b'xe9xb1xbc' :

验证无误!

Python-lesson 2 数据类型、字符编码、文件处理

什么是垃圾:当一个值身上没有人绑定任何变量名(该值的引用计数=0)时,该值就是一个垃圾,会将该值内存空间释放掉。

引用计数增加

age=18 //18的引用计数等于1

x=age //18的引用计数等于2

引用计数减少

age=19 //18的引用计数等于1

del x //解除值与变量名的绑定关系;18的引用计数变为0

1、 为何数据要分不同的类型?

数据是用来表示状态的,不同的状态就应该用不同的类型的数据去表示

2、数据类型

数字(整形,长整形,浮点型,复数)

字符串

字节串:在介绍字符编码时介绍字节bytes类型

列表

元组

字典

集合

3、按照以下几个点展开数据类型的学习

==========================基本使用============================

1、用途

2、定义方式

3、常用操作+内置的方法

==========================该类型总结==========================

存一个值or存多个值

有序or无序

可变or不可变(1、可变:值变,id不变。可变==不可hash 2、不可变:值变,id就变。不可变==可hash)

1、整型int

作用:年纪,等级,身份证号,qq号等整型数字相关

定义:age=10 #本质age=int(10)

2、浮点型float

作用:薪资,身高,体重,体质参数等浮点数相关

salary=3000.3 #本质salary=float(3000.3)

类型转换

a=('123') //字符串类型

a=int('123') //字符串转成整型类型

a=float('12.3') //字符串转成浮点型

作用:记录多个值

定义方式:在[ ]内用逗号分隔开多个任意类型的值;原材料可以是字符串,列表,字典;可变类型

1、按索引存取值(正向存取+反向存取);可存也可以修改;对于赋值操作必须是已存在的索引

l=['a','b','c','d','e']

print(l[0]) =a

print(l[-1]) =e

l[0]='A' //修改列表

print(l) =['A','b','c','d','e']

2、切片(顾头不顾尾,步长),步长与字符串一样;原列表不会修改

print(l[1:4]) =['b','c','d']

3、长度

print(len(l)) =5

4、成员运算in和not in

print('a' in l) =True

print('sss' not in l) =True

5、追加插入

l.append(333) //append最后追加

print(l) =['a','b','c','d','e','333']

l.insert(0,111) //第一个位置添加值

print(l) =['111','a','b','c','d','e']

6、删除remove ,有返回值;del也可删,但是没有返回值;pop 剪切一个值,返回剪切的值

l.remove('a') //()内为值,不能为索引

print(l) =['b','c','d','e']

del l[0] //[ ] 内为索引

l.pop(0) // () 内为索引,不指定索引默认时-1

res=l.pop(0)

print(res) =a

7、循环

for item in l

print(item)

1、count 统计次数

print(l.count('a')) =1

2、extend 一次性往列表末尾追加多个值,一个参数:可以被 for 循环的列表

item=[1,2,3,4,5]

l.extend(item)

print(l) =['a','b','c','d','e',1,2,3,4,5]

3、index 找索引,以找到的第一个值为准,不存在的值会报错,可以用成员运算判断查找的值是否存在,以避免报错;列表没有find

print(l.index('a')) =0

print(l.index('c',2,5)) =2 //指定查找范围,第二个开始,第五个结束

4、sort 排序,默认从小到大排序

l=[4,6,2,9,10,3,1]

l.sort()

print(l) =[1, 2, 3, 4, 6, 9, 10]

l.sort(reverse=True) //从大到小排序

print(l) =[10, 9, 6, 4, 3, 2, 1]

作用:就是一个不可变的列表(是可以当做字典的key的),主要是用来读

定义:在()内用逗号分隔开多个任意类型的元素

t=(1,2,3,('a','b'),['q','w','e'])

本质age=tuple(t=(1,2,3,('a','b'),['q','w','e']))

如果元组只有一个值,必须加一个逗号

t=('a',)

元组总结

1、存多个值

2、有序

3、不可变

1、按索引取值(正向取+反向取):只能取,不能添加、减少、修改

t=(1,2,3,('a','b'),['q','w','e'])

print(t[0]) =1

print(t[-1]) =['q','w','e']

2、切片(顾头不顾尾,步长),步长与字符串一致

print(t[1:4]) =(2, 3, ('a', 'b'))

3、长度

print(len(t)) =5

4、成员运算in和not in

print(1 in t) =True

5、循环

for item in t:

print(item)

t=(1,2,3,('a','b'),3,['q','w','e'])

作用:记录多个值,key对应值,key对value有描述性功能;取值速度快

定义:在{ } 内用逗号隔开多个元素,每个元素都是key:value的形式;key必须是不可变类型,value可以是任意类型

info={'name':'egon','age':18,'sex':'male'}

本质

info=dict(name='egon',age=18,sex='male')

info=dict([['name','egon'],('age',18)])

{}.fromkeys(('name','age','sex'),None)

总结

1、存多个值

2、无序

3、可变

1、将值导入字典

2、按key存取值:可存可取

dic={'name': 'egon', 'age': '18', 'gender': 'male'}

print(dic['name']) =egon //当key不存在时会报错

print(dic.get('name')) =egon

print(dic.get('xxx')) =None //当key不存在时会返回一个None

dic['name']='Egon' //修改value

dic['hight']=18 //如果key不存在,就是一个加值的操作

print(dic) ={'name': 'egon', 'age': '18', 'gender': 'male', 'hight': 18}

3、长度len,统计key:value的个数; 不能有重复的key,后面的key会覆盖前面的key

print(len(dic)) =3

4、成员运算in和not in,以字典的key为准

print('name' in dic) =True

print('dasda' not in dic) =True

5、删除

第一种:del dic['name']

第二种:res=dic.pop('name') //根据key删除,有返回值,返回值为key对应的value值

第三种:res=dic.popitem() //随机删,返回值是(key:value),返回值格式是元组

6、键keys(),值values(),键值对items()

print(dic.keys()) =dict_keys(['name', 'age', 'gender']) //取索引

print(dic.values()) =dict_values(['egon', '18', 'male']) //取值

print(dic.items()) =dict_items([('name', 'egon'), ('age', '18'), ('gender', 'male')]) //取键值对

7、循环

for item in dic:

print(item) //输出的是key

for item in dic.values():

print(item) //输出的是值

for item in dic.items():

print(ietm) //输出的是 (key:value) 的元组

1、update 新字典中已经存在的以新的为准,不存在的增加

dic={'name': 'egon', 'age': '18', 'gender': 'male'}

dic.update({'age':19,'hight':180})

print(dic) ={'name': 'egon', 'age': 19, 'gender': 'male', 'hight': 180}

2、setdefault 加入一个键值对,如果key已存在,则保留字典里的原值,如果key不存在,则加入键值对;返回字典里key对应的value值

作用:关系运算,去重

定义方式:在{ }内用逗号分隔开多个元素,但是元素的特点是

1、每个元素必须是不可变类型(可hash,可作为字典的key)

2、没有重复的元素

3、无序

注意:集合的目的是将不同的值存放到一起,不同的集合间用来做关系运算,无需纠结于集合中单个值

类型转换

res=set('hello') //字符串转集合

rds=set([1,'a','b']) //列表转集合

print(res) ={'h', 'l', 'e', 'o'} //去重

print(rds) ={1, 'a', 'b'}

总结:

1、有多个值

2、无序

3、可变

pythons={'alex','egon','yuanhao','wupeiqi','gangdan','biubiu'}

linuxs={'wupeiqi','oldboy','gangdan'}

1、长度len

2、成员运算in和not in

3、合集

print(pythons | linuxs)

4、交集

print(pythons linuxs)

5、两个集合差集,以第一个集合为准

print(pythons - linuxs) //求只报名python的学生

print(linuxs - pythons) //求只报名linux的学生

6、对称差集;求没有报名两门课程的学生

第一种:res=(pythons - linuxs) | (linuxs - pythons)

第二种:res=pythons ^ linuxs

print(res)

7、== ,集合值相等即可,无需顺序一致

s1={1,2,3}

s2={3,2,1}

print(s1 == s2) =True

8、父集:,= ;子集:,=

s1={1,2,3}

s2={3,2,1,4,6}

print(s2 = s1) =True

print(s1 = s2) =True

介绍:计算机系统分为:计算机硬件,操作系统,应用程序三部分。

1、什么是文件?

文件是操作系统为应用程序或者用户提供一种操作硬盘的虚拟单位。

window系统默认为GBK编码

2、为什么要用文件?

文件对应的硬盘空间,如果需要考虑永久保存数据那必须使用文件

3、如何用文件?

(1)打开文件

f=open(r'D:untitled1a.txt',mode='r',encoding='utf-8')

第一个小r,表示原生的字符串,没有转义的意思,防止a、n转义

第二个小r,以读的模式打开,rb以二进制格式读,rt会把文本文件二进制解码成unicode格式存到内存,针对文本文件用rt模式;w为写操作;

赋值给一个变量,变量指定该文件对象,文件对象占的是应用程序的资源

(2)读/写文件

(3)关闭文件

f.close() //向操作系统发送指令,让操作系统关闭打开的文件,回收操作系统资源

1、控制文件读写操作模式

r 只读模式,以该模式打开文件,当文件不存在时报错;

w 只写模式,如果该文件存在则覆盖,如果该文件不存在,创建新文件写入;文件打开不关闭的情况下,连续写入自动追加;

a 追加,如果该文件存在则文件结尾追加内容,如果该文件不存在,创建新文件写入;

w+ 读写,如果该文件存在则覆盖,如果该文件不存在,创建新文件写入

2、控制文件读写内容的模式(不能单独使用,必须与r、w、a连用)

t (默认) 读写只能是文本文件,都是字符串类型,会自动解码文本文件;必须指定encoding参数

b 对于非文本文件,我们只能使用b模式,linux可忽略;"b"表示以字节的方式操作;以b方式打开时,读取到的内容是byte字节类型,写入时也需要提供字节类型,不能指定编码

为了避免打开文件后忘记关闭,可以通过管理上下文,即:

with open('log','r') as f:

3、文件的修改

f.seek(3,0) //3指移动的字节数,0是模式

1、三种模式,以字节为单位;只有0模式既可以在t模式下用也可以在b模式下用,而1、2两种模式只能在b模式下用

0 (默认模式):永远参照文件开头往后数

1:参照指针当前所在位置

2:参照文件末尾,倒着数

注意:t 模式下的read(n) 是以字符为单位;意思为从哪个字符开始读

学习Python应该从什么方面下手?

学习python不难,但想学好python进入比较好的岗位是有难度的,需要进行系统性阶段学习。

想要学习Python,需要掌握的内容还是比较多的,对于自学的同学来说会有一些难度,不推荐自学能力差的人。我们将学习的过程划分为4个阶段,每个阶段学习对应的内容,具体的学习顺序如下:

Python学习顺序:

①Python软件开发基础

掌握计算机的构成和工作原理

会使用Linux常用工具

熟练使用Docker的基本命令

建立Python开发环境,并使用print输出

使用Python完成字符串的各种操作

使用Python re模块进行程序设计

使用Python创建文件、访问、删除文件

掌握import 语句、From…import 语句、From…import* 语句、方法的引用、Python中的包

②Python软件开发进阶

能够使用Python面向对象方法开发软件

能够自己建立数据库,表,并进行基本数据库操作

掌握非关系数据库MongoDB的使用,掌握Redis开发

能够独立完成TCP/UDP服务端客户端软件开发,能够实现ftp、http服务器,开发邮件软件

能开发多进程、多线程软件

③Python全栈式WEB工程师

能够独立完成后端软件开发,深入理解Python开发后端的精髓

能够独立完成前端软件开发,并和后端结合,熟练掌握使用Python进行全站Web开发的技巧

④Python多领域开发

能够使用Python熟练编写爬虫软件

能够熟练使用Python库进行数据分析

招聘网站Python招聘职位数据爬取分析

掌握使用Python开源人工智能框架进行人工智能软件开发、语音识别、人脸识别

掌握基本设计模式、常用算法

掌握软件工程、项目管理、项目文档、软件测试调优的基本方法

想要系统学习,你可以考察对比一下开设有IT专业的热门学校,好的学校拥有根据当下企业需求自主研发课程的能,南京北大青鸟、中博软件学院、南京课工场等都是不错的选择,建议实地考察对比一下。

祝你学有所成,望采纳。

请点击输入图片描述

python解决csv文件用excel打开乱码问题

【问题】

python输出的csv文件用excel打开,里面的中文会变成乱码,但用window下的记事本或mac下的numbers打开就正常显示。

原因是python输出的文件是utf-8编码写入的,excel默认以gbk方式读取,导致乱码发生。

【解决方法1】文件产出时encoding设置为utf-8-sig    

用excel打开csv时,excel会先检查文件的第一个字符,来了解这个文件是什么编码方式,如果这个字符是BOM,excel就知道用utf-8的方式打开这个文件。python自带了处理BOM的编码方式uft-8-sig,因此只需要在文件产出时将encoding设置为utf-8-sig。

如果文件不是由python产出的,只需要以utf-8方式读入再以utf-8-sig方式存储即可

【解决方法2】懒人法,适用只含简体中文的文件

用记事本打开,点击另存为,右下角编码方式选择“ANSI”,这个过程是把这个文件改成gbk编码格式,excel就是默认用gbk方式打开的。

参考: Python写的csv文件,如何让 Excel 双击打开不乱码? - 云+社区 - 腾讯云

对编码格式一窍不通的可以阅读以下网页

python笔记——二进制和文件编码_砍柴姑娘Jourosy的博客-CSDN博客

编码方式之ASCII、ANSI、Unicode概述 - 蓝海人 - 博客园

【简单总结】:

1. 首先需要了解 字符集 和 字符编码 两个概念,字符集定义了字符和二进制的一一对应关系,字符编码规定了如何将字符的编号存储到计算机中。

2. Unicode是字符集,包含了全球文字的唯一编码,utf-8是编码方式,将unicode以某种方式存储到计算机中。

3. 有些字符集和编码是结合在一起的,称作字符集还是编码都无所谓,比如ASCII,GBK

4. ANSI是各个国家地区不同扩展编码方式的总称,互不兼容(可以看出来通用性没有utf好)

5. 不同编码方式在转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。