使用 Python 处理 Json 数据
一、引言：什么是 JSON
JSON (Java Script Object Notation) 是一种很常用的数据格式，它常常用在 web 应用程序中。它可以表示结构化的数据。
下面是常见的 JSON 文件结构
{"name":"Kamishiro Rize","age":"22","occupation":"firefighter","traits":["Eagle Eyed","Fast Healer","High Thirst","Hearty Appetite"]}它看起来与 Python 的 字典非常类似，也是由 key - value 结对组成，其中key是字符串形式,value是字符串、数字、布尔值、数组、对象或null。key/value间均使用逗号进行区分。
在 Python 中，JSON 作为字符串存在
json_get="_blank">str={"name": "Kamishiro Rize", "age": "22", "profession": "firefighter", "traits": ["Eagle Eyed", "Fast Healer", "High Thirst", "Hearty Appetite"]}JSON 与 Python 的数据结构和对应关系如下：
JSONPYTHONobjectdictarraylist, tuplestringstr, unicodenumberint, long, floattrue / falseTrue / FalsenullNone要使用 JSON ，字符串或者包含 JSON 对象的文件，都可以使用 Python 的内置包json模块。
importjson二、示例：在 Python 中解析 JSON
JSON 模组的常用方法
load / loads: 把 JSON 转换为 Pythonloads()# some jsonsomebody_info={"name": "Wenjie Ye", "age": 75, "nationality": "China"}# parse to dictj=json.loads(somebody_info)# show resultprint(j["name"])print(j["age"])print(type(j))结果
WenjieYe75<classdict>将 JSON 转换为 Python 后，其结果的类型为字典
load()# some jsonsomebody_info={"name": "Wenjie Ye", "age": 75, "nationality": "China"}# use json.load# j = json.load(somebody_info) # AttributeError: str object has no attribute readfromioimportStringIOio=StringIO(somebody_info)j=json.load(io)print(type(j))print(j)load() 是从json格式的文件中读取数据并转换为python的类型。适用于文件读取，所以我们按 loads() 的例子来操作是会出错的，可以使用 StringIO 转换一下。load()的结果也是返回字典
转换后的结果返回字符串
{"name":"Wenjie Ye","age":75,"nationality":"China"}<classstr>dump()有了load()的经验，你应该知道，不带 s 的 dump 方法是用来将python数据类型转换并保存到json格式的文件内的。
fromioimportStringIOio=StringIO()json.dump({"name": "Wenjie Ye", "age": 75, "nationality": "China"},io)content=io.getvalue()print(content)结果
"{\"name\": \"Wenjie Ye\", \"age\": 75, \"nationality\": \"China\"}"总结
dumps / dump: 将 Python 转换 JSON，返回的 type 为 strloads / load: 将 JSON 转换为 Python，返回的 type 为 Dict如果要根据字符串转化方法中使用带有s的，要从文件进行转化就不加s优雅的使用 json 模块
格式化 JSON 结果不难发现，dumps 获得的 str 结果并不是很好看，如果数据量大，或者数据结构复杂，没有缩进和换行将使得 JSON 数据变得不容易阅读。
所以 dumps() 方法提供了一些令结果更易读的参数，这些参数在实际工作中也常常用到。
indent参数：定义缩进数python_dict={name:Wenjie Ye,age:75,nationality:China,occupations:[Astrophysicist,University Professor],}res=json.dumps(python_dict,indent=4)print(res)转换的结果将按照 indent 缩进 4 格
{"name":"Wenjie Ye","age":75,"nationality":"China","occupations":["Astrophysicist","University Professor"]}separators参数：更改默认分隔符我们先来看看官方对其的定义：
If specified,separatorsshould be an(item_separator, key_separator)tuple. The defaultis(, , : )ifindentisNoneand(,, : )otherwise. To get the most compact JSON representation, you should specify(,, :)to eliminate whitespace.
类型应该传入元组其默认值是(,, : )元组的第一个分隔符为 key-value 之间的分隔，默认是逗号；第二个分隔符为 key 与 value 之间的分隔，默认是冒号。
我们可以更改分隔符的样式：
res=json.dumps(python_dict,indent=4,separators=(". "," = "))print(res)结果
{"name"="Wenjie Ye"."age"=75."nationality"="China"."occupations"=["Astrophysicist"."University Professor"]}sort_keys参数： 对结果排序，布尔值res=json.dumps(python_dict,indent=4,sort_keys=True)print(res)结果
{"age":75,"name":"Wenjie Ye","nationality":"China","occupations":["Astrophysicist","University Professor"]}json 模块不支持转换 bytes 类型需要注意的是对于 bytes，json 模块并不能顺利转换，要先将bytes转换为str格式。
b=b"bytes content"# j = json.dumps(b) # TypeError: Object of type bytes is not JSON serializablej=json.dumps(b.decode())print(j)# "bytes content"直接转换 bytes 的结果是 TypeError，会告知你 bytes 不可JSON序列化， 只有转换为 str 类型后才可以序列化。
json 文件读写import jsonpython_dict={"k1":"v1","k2":123,"k3":["Im","NutCat"]}#writef_json=json.dump(python_dict,open("E:\\temp\\temp.json","w"))print(f_json)#returnNone#readimport osos.chdir("E:\\temp\\")#check temp.json existprint(os.listdir())#read json fileprint(json.load(open("E:\\temp\\temp.json")))结果
None[temp.json]{k1:v1,k2:123,k3:["Im",NutCat]}当然，我还是推荐使用 with open 的方式来写入数据
withopen("E:\\temp\\temp.json","w")asf:json.dump(python_dict,f)利用 pandas 读取 JSONimportpandasaspddf=pd.read_json("E:\\temp\\temp.json")print(df.head())如果你想利用 DataFrame 的特性来处理数据，你还可以使用 Pandas 库来读取数据，它读取我们之前生成的 temp.json 的结果如下：
k1 k2 k30v1123Im1 v1 123 NutCat毫无疑问，我们可以用上强大的 pandas 的特性来处理 json 数据了。
但是，实际工作中，json 文件的内容可不像我们 temp.json 文件一样简单到朴实无华，我们需要知道怎么处理嵌套的 JSON 数据
有如下的 JSON 数据，保存在 json_test.json 文件中，members 字段中保存有 object 类型的数据，这些嵌套的数据在读取到 DataFrame 后会被转换为字典。
{"system_id":707077,"system_name":"account_system","formed":2022,"update_time":"2022-06-06","members":[{"username":"Kamishiro Rize","age":"22","account":"12345678","nationality":"Japan","active":false},{"username":"Wenjie Ye","age":"75","account":"87654321","nationality":"China","active":true}]}现在，我们按照以前的方法读取它
importosimportpandasaspddf=pd.read_json("json_test.json")print(df)读取的结果如下
system_id system_name formed update_time \0707077account_system20222022-06-061707077account_system20222022-06-06members0{username:Kamishiro Rize,age:22,a...1 {username:WenjieYe,age:75,accoun...其中的 members 字段是保存了一整个字典的，那么应该如何把他拆分开呢？其实，这一步已经和 json 无关了，是依靠 pandas 来处理这些嵌套的数据了。
我们可以在 members 列上，使用apply方法
df["members"].apply(pd.Series)返回了 DataFrame 结果
username age account nationality active0KamishiroRize2212345678JapanFalse1WenjieYe7587654321ChinaTrue但是，使用apply方法后生成了一个新 DataFrame，那我们还得想个办法给拼回去原来的 DataFrame。
其实，pandas 库中还有一个函数json_normalize()
importjsonimportpandasaspdwithopen("json_test.json")asf:acct_info=json.load(f)res=pd.json_normalize(acct_info,record_path=["members"],meta=["system_id","system_name","formed","update_time"],)print(res)它会将 members 拆分并拼接到 DataFrame 结果中
username age account nationality active system_id system_name \0KamishiroRize2212345678JapanFalse707077account_system1WenjieYe7587654321ChinaTrue707077account_systemformed update_time020222022-06-06120222022-06-06record_path： 需要拆分的列的名字meta： 其他要加入到结果的列名的list，其顺序就是输出的顺序meta_prefix： 这个参数可以给 meta 的字段名前加个前缀
