对python3编码那些事的小小总结

发布时间：2019-09-26 07:36:40编辑：auto阅读（1636）

一、了解一下编码的发展。
1、计算机只能处理数字，如果需要处理文本，需要先将文本转换为数字。因为计算机是美国梆子发明的，所以他们发明了最早的编码--ASCII编码，也就是将他们的大小写字符数字和一些符号编码得到计算机中。比如A的编码是65。
2、随着计算机在中国发展起来，拿ASCII去处理中文，显然是不够的，因为英文需要一个字节处理，而中文是需要两个字节。为了满足需求我们中国发明了自己的编码GB2312。将中文编进去。
3、我们中国如此，世界上那么多语言岂不是每种语言都需要一种编码标准，如果一个文本中有多种语言，到时候产生的结果就是出现乱码。
4、为顺应发展，比较叼的Unicode编码出生了，这个东西将所有的语言都统一到一套编码中。这样就不会再出现乱码的问题。虽然这个东西够强大，但是却有一个不能小觑的缺点。相比于ASCII编码要多出一倍的储存空间。例如：A ascii:65 二进制：01000001 unicode:00000000 01000001
5、所以秉承着节约的原则，UTF-8应运而生，好处编码可变长。例如A的UTF-8：01000001，可以将unicode编码中的前面的零节约掉。
二、在计算机系统中通用编码的工作方式
1、当我们编辑文档的时候，读取文档内容将UTF-8字符转换为unicode字符到内存中。因为这里需要显示，为了避免乱码，使用通用的Unicode编码。
2、当编码编辑完成后，再将Unicode的编码转换为UTF-8保存到文件中。因为这里是需要存入磁盘中的，为节约储存空间，使用可变编码长度的UTF-8编码。
三、 python3字符编码
python的字符串类型是str，在内存中以Unicode表示。
1、如果需要在网络上传输，或者保存到存储设备上，就需要将str变成以字节为单位的bytes。可以使用encode()方法。通过第一大点的了解，我们知道Unicode表示的str可以通过ASCII和utf-8编码转换。但是转换中文的时候，一定使用utf-8，因为含有中文的str无法用ASCII编码，超出了ASCII编码的范围。例如：
对python3编码那些事的小小总结
2、如果我们从网络上或磁盘上读取数据，就是将bytes变为str。可以使用decode()方法。

通过上述了解，可以看出，utf-8编码，不管是读取数据，还是传输数据都不会出错，所以很多情况下utf-8使用的更为广泛一些。

四、解析我实际遇到的问题
使用socket模块编写通信的脚本，原服务端：

#!/usr/bin/python3
import socket

s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
s.bind(('',6000))
s.listen(1)
client,addr=s.accept()
print ("Connected by",addr)
client.send("welcome")
text=client.recv(1024)
print(text)
client.close()
s.close()

原客户端：

#!/usr/bin/python3
import socket

c=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
c.connect(("192.168.80.128",6000))
ans=c.recv(1024)
print(ans)
c.send("hello")
c.close()

执行结果
对python3编码那些事的小小总结
send()方法用来传递数据，将hello传递给服务端。
错误提示需要将str类型的字符串转换为bytes。在我们传递数据的时候应该先将str转换为bytes类型的数据方可。使用encode(‘utf-8’)或encode(‘ascii’)；同时服务端的send()方法传递的数据也应该转换一下。
服务端修改代码：

client.send("welcome".encode('utf-8'))

客户端修改代码：

c.send("hello".encode('utf-8'))

修改后执行结果：
对python3编码那些事的小小总结

执行成功。
执行过程中，str被转换为bytes传递给对方。因为这里传递的是字母，内容上看不出是bytes，但是字符串前有个字母b，表示bytes。如果传递的是中文：

因为我们将str转换为了bytes。所以当我们接受数据的时候，应当将bytes转换为str
服务端修改代码：
text=client.recv(1024).decode('utf-8')
客户端修改代码：
ans=c.recv(1024).decode('utf-8')
执行结果：
对python3编码那些事的小小总结
总结完毕！！！