csv文件及json數(shù)據(jù)處理
-
讀寫csv文件
讀與寫常用函數(shù)
- csv.reader(),讀取為一個元組的序列
- csv.DictReader() ,讀取為一個字典序列
- csv.writer()
- csv.DictWriter()
??讀取csv文件
import csv
from collections import namedtuple
with open("country.csv","r") as f:
csv_r=csv.reader(f)
headers=next(csv_r)
Row=namedtuple("Row",headers)
for r in csv_r:
row=Row(*r)
print(row)
??寫csv文件，通常情況下醒颖，寫入csv文件內容會空一行，為了解決該問題，python3，需要添加參數(shù)newline=''；python2將模式改成wb即可
#示例：寫入字典的序列驻民，使用DictWriter（）
headers = ['Symbol', 'Price', 'Date', 'Time', 'Change', 'Volume']
rows = [{'Symbol':'AA', 'Price':39.48, 'Date':'6/11/2007',
'Time':'9:36am', 'Change':-0.18, 'Volume':181800},
{'Symbol':'AIG', 'Price': 71.38, 'Date':'6/11/2007',
'Time':'9:36am', 'Change':-0.15, 'Volume': 195500},
{'Symbol':'AXP', 'Price': 62.58, 'Date':'6/11/2007',
'Time':'9:36am', 'Change':-0.46, 'Volume': 935000}]
with open("text.csv","w",,newline='') as f:
f_csv=csv.DictWriter(f,headers)
f_csv.writeheader()
f_csv.writerows(rows)
??值得注意的是，csv產生的數(shù)據(jù)為字符串類型履怯，如需要轉化成對應數(shù)據(jù)類型回还，必現(xiàn)做一個數(shù)據(jù)類型的轉換，此時推導式排上用場
#示例1：轉化成特定數(shù)據(jù)類型的元組
data_type=[str,float,str,str,float,int]
with open("text.csv","r") as f:
f_csv=csv.reader(f)
headers=next(f_csv)
for item in f_csv:
row=tuple((convert(value)for convert,value in zip(data_type,item)))
print(row)
#示例2：轉化成字典序列
field_types = [
('Symbol',str),
('Price',float),
('Date',str),
('Time',str),
('Change',float),
('Volume',int)]
with open('text.csv') as f:
for row in csv.DictReader(f):
print(row)
row.update((key, conversion(row[key]))for key, conversion in field_types)
print(row)
-
讀寫json數(shù)據(jù)
Json 即JavaScript Object Notation的簡稱, 支持的基本數(shù)據(jù)類型有bool叹洲、int柠硕、float、str运提、None蝗柔、以及包含這些基本數(shù)據(jù)類型的lists闻葵、dictionaries（keys需要字符類型）、tuples癣丧。
python中槽畔，json編碼與解碼字符串，主要函數(shù)是json.dumps()和json.loads()
>>> import json
>>> data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
>>> json.dumps(data)
'{"shares": 100, "name": "ACME", "price": 542.23}'
>>> json_str=json.dumps(data)
>>> json.loads(json_str)
{'shares': 100, 'name': 'ACME', 'price': 542.23}
>>>
??如果要處理的是文件坎缭，而不是字符串竟痰，則使用json.dump()、json.load()
import json
data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}
with open("json.json","w") as f:
json.dump(data,f)
??JSON 編碼的格式對于 python 語法而已幾乎是完全一樣的掏呼，除了一些小的差異之外坏快。比如， True 會被映射為 true憎夷， False 被映射為 false莽鸿，而 None 會被映射為 null。
>>> import json
>>> d = {'a': True, 'b': 'Hello', 'c': None}
>>> json.dumps(d)
'{"c": null, "a": true, "b": "Hello"}'
>>>
??格式化json編碼后的數(shù)據(jù)拾给，尤其對于數(shù)據(jù)結構嵌套深或者包含大量字段祥得，通常直接打印來看的話，可讀性比較差蒋得，可以通過格式化的方式级及、提高可讀性。
- pprint()應用
- dumps()函數(shù)中使用indent參數(shù)
>>> strs={
'employee':
{
'firstName': "John",
'lastName' : "Doe",
'employeeNumber' : 123,
'title' : "Accountant"
}
}
>>> json_Str=json.dumps(strs,indent=4)
>>> print(json_Str)
{
"employee": {
"employeeNumber": 123,
"lastName": "Doe",
"firstName": "John",
"title": "Accountant"
}
}
>>>
??一般來說额衙，json編碼loads()會根據(jù)指定數(shù)據(jù)創(chuàng)建lists或者dictionaries饮焦，如果你想要創(chuàng)建其他類型的對象，可以給 json.loads() 傳遞 object pairs hook 或 object hook 參數(shù)窍侧。
>>>#__dict__（）將字典轉化成對象屬性
>>> class JSONObject:
def __init__(self, d):
self.__dict__ = d
>>> s = '{"name": "ACME", "shares": 50, "price": 490.1}'
>>> data = json.loads(s, object_hook=JSONObject)
>>> data.name
'ACME'
>>>
參考文章：
http://www.cnblogs.com/to-creat/p/7215510.html
https://www.crifan.com/python_csv_writer_writerow_redundant_new_line/
