1. 現(xiàn)狀
- 后端接收到前端上傳的文件
- 文件編碼格式赤嚼？
- 我 ？株灸？萧福？
file = request.files["file"].read()
2. 可能接收的格式拉鹃？
-
打開文件
dakaiwenjian
-
-
點擊文件選項卡的另存為按鈕
lingcunwei
-
-
查看可選編碼格式
chakan
-
3. 解決現(xiàn)狀
def string_encoding(data: bytes):
"""
獲取字符編碼類型
:param data: 字節(jié)數(shù)據(jù)
:return:
"""
UTF_8_BOM = b'\xef\xbb\xbf'
CODES = ['UTF-8', 'GB18030', 'BIG5']
# 遍歷編碼類型
for code in CODES:
try:
data.decode(encoding=code)
if 'UTF-8' == code and data.startswith(UTF_8_BOM):
return 'UTF-8-SIG'
return code
except UnicodeDecodeError:
continue
return 'unknown'
file = request.files["test"].read()
format = string_encoding(file)
# 通過返回的編碼格式做不同處理
if format == "GB18030":
file = file.decode("gbk")
elif format == "UTF-8-SIG":
file = file.decode("utf-8")
- 不同編碼格式的字節(jié)內(nèi)容
GB18030 編碼文件字節(jié)內(nèi)容
b'\xd3\xce\xcf\xb7\xc3\xfb\xb3\xc6,\xb9\xe3\xb8\xe6\xc3\xfb\xb3\xc6,\xca\xb1\xbc\xe4,\xbc\xc6\xb7\xd1\xb7\xbd\xca\xbd,\xb7\xb5\xc7\xb0\xcf\xfb\xba\xc4\r\n\xcd\xf2\xb9\xfa\xbe\xf5\xd0\xd1,RoC_And_T1_FR,2018-10-12,\xbc\xa4\xbb\xee,1000'
UTF-8-SIG 編碼文件字節(jié)內(nèi)容
b'\xef\xbb\xbf\xe6\xb8\xb8\xe6\x88\x8f\xe5\x90\x8d\xe7\xa7\xb0,\xe5\xb9\xbf\xe5\x91\x8a\xe5\x90\x8d\xe7\xa7\xb0,\xe6\x97\xb6\xe9\x97\xb4,\xe8\xae\xa1\xe8\xb4\xb9\xe6\x96\xb9\xe5\xbc\x8f,\xe8\xbf\x94\xe5\x89\x8d\xe6\xb6\x88\xe8\x80\x97\r\n\xe4\xb8\x87\xe5\x9b\xbd\xe8\xa7\x89\xe9\x86\x92,RoC_And_T1_FR,2018-10-12,\xe6\xbf\x80\xe6\xb4\xbb,1000'
- 拓展
- UTF-8以字節(jié)為編碼單元，它的字節(jié)順序在所有系統(tǒng)中都是一様?shù)啮耆蹋瑳]有字節(jié)序的問題膏燕，也因此它實際上并不需要BOM(“ByteOrder Mark”), 但是UTF-8 with BOM即utf-8-sig需要提供BOM（"ByteOrder Mark"）。
- 在windows上使用open打開utf-8編碼的txt文件時開頭會有一個多余的字符
它叫BOM,是用來聲明編碼等信息的 - 為什么windows的記事本要強行給utf8加bom的原因——為了兼容舊系統(tǒng)的編碼問題饲窿，unix陣營放棄帶bom的utf8——為了讓它們的上古程序能繼續(xù)運行下去煌寇，這個各自有自己利益訴求的差異決定其實并不對錯
- python3.5之后可以對參數(shù)指定類型
