【精品课件教案PPT】 谈谈Python编码问题和Unicode.ppt

文档介绍：谈谈Python编码问题和Unicode
******@tencent
outline
Unicode基础知识
Python的str和unicode
Json编码工具
实例
Unicode
Ascii时代
7位,最高位是校验位
MBCS时代(多字节字符集)
中文CP963,GBK,GB2312,BIG5
Unicode
Unicode16,Unicode32
题外话:存在与表示
Big Endian & Little Endian
SPARK, x86, ARM
Host Byte Order & Network Byte Order
htonl, ntohl, htons, ntohs
Object Persistence & Serialize
MFC, java serialiable interface and persistence api, protobuf
Unicode & UTF, UCS
Several mechanisms have been specified for implementing Unicode.
unicode & utf
unicode
unicode16, unicode32

Unicode Transformation Format (UTF)
UTF16(Big/Little Endian)
UTF32(Big/Little Endian)
UTF8
变长方案
思考?为什么是变长的?如何实现?
Python str & unicode
str对象
存储ascii字符串,以及二进制数据
unicode对象
存储unicode字符串,采用的是utf16或utf32
str用来存储各种utf数据,包括gbk等
可以认为:unicode对象是理想的unicode,str是丑陋的现实(各种utf)
str与unicode的转化
使用时机
拇指定律
IO时用str
. network, file read write
内部处理时用unicode
json encode, string process
例子
从外部读入时它是str
转为unicode进行必要处理
再转为str输出
demo

import json
我懂了上面说的,为什么json还是搞不定?
嗯,因为json帮你encode,decode了一些东西
需要仔细阅读json模块的文档