使用JsonPath解析數(shù)據(jù)基礎(chǔ)案例

  • JsonPath基礎(chǔ)
    #安裝JsonPath
    pip install jsonpath
    
    #基本語法
    obj = json.load(open('json文件', 'r', encoding='utf-8'))
    ret = jsonpath.jsonpath(obj, 'jsonpath語法')
    
    #json對象的轉(zhuǎn)換
    json.loads()
    #1.是將字符串轉(zhuǎn)化為python對象
    json.dumps()
    #2.將python對象轉(zhuǎn)化為json格式的字符串
    json.load()
    #3.讀取json格式的文本
    json.load(open(a.json))
    
  • 案例:爬取騰訊招聘
    class TXJob():
      def __init__(self,jobname,position,department):
          self.jobname = jobname
          self.position = position
          self.department = department
    
    import urllib.request
    from Item import TXJob
    import ssl
    import json
    import jsonpath
    #SSL報(bào)錯(cuò)解決
    ssl._create_default_https_context = ssl._create_unverified_context
    #請求接口
    url = 'https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1562846963612&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=cn'
    #請求對象
    response = urllib.request.urlopen(url=url)
    #解碼讀取數(shù)據(jù)
    content = response.read().decode('utf-8')
    #數(shù)據(jù)讀取并保存
    with open('騰訊json數(shù)據(jù).json','w',encoding='utf-8') as fp:
        fp.write(content)
    
    #JsonPath解析數(shù)據(jù)源
    obj = json.load(open('騰訊json數(shù)據(jù).json', 'r', encoding='utf-8'))
    #JsonPath解析
    ret = jsonpath.jsonpath(obj, '$.Data.Posts')
    
    TXJobs = []
    for tr in ret[0]:
        jobname = tr['RecruitPostName']
        position = tr['CountryName']
        department = tr['BGName']
        txjob = TXJob(jobname,position,department)
        TXJobs.append(txjob.__dict__)
    
    #保存解析后的數(shù)據(jù)
    with open('TX解析后數(shù)據(jù).json','w',encoding='utf-8') as fp:
        fp.write(str(TXJobs))
    
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末球碉,一起剝皮案震驚了整個(gè)濱河市被廓,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,386評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)济欢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來小渊,“玉大人法褥,你說我怎么就攤上這事〕晏耄” “怎么了挖胃?”我有些...
    開封第一講書人閱讀 164,704評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長梆惯。 經(jīng)常有香客問我酱鸭,道長,這世上最難降的妖魔是什么垛吗? 我笑而不...
    開封第一講書人閱讀 58,702評論 1 294
  • 正文 為了忘掉前任凹髓,我火速辦了婚禮,結(jié)果婚禮上怯屉,老公的妹妹穿的比我還像新娘蔚舀。我一直安慰自己饵沧,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評論 6 392
  • 文/花漫 我一把揭開白布赌躺。 她就那樣靜靜地躺著狼牺,像睡著了一般。 火紅的嫁衣襯著肌膚如雪礼患。 梳的紋絲不亂的頭發(fā)上是钥,一...
    開封第一講書人閱讀 51,573評論 1 305
  • 那天,我揣著相機(jī)與錄音缅叠,去河邊找鬼悄泥。 笑死,一個(gè)胖子當(dāng)著我的面吹牛肤粱,可吹牛的內(nèi)容都是我干的弹囚。 我是一名探鬼主播,決...
    沈念sama閱讀 40,314評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼领曼,長吁一口氣:“原來是場噩夢啊……” “哼鸥鹉!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起庶骄,我...
    開封第一講書人閱讀 39,230評論 0 276
  • 序言:老撾萬榮一對情侶失蹤毁渗,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后瓢姻,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體祝蝠,經(jīng)...
    沈念sama閱讀 45,680評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡音诈,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評論 3 336
  • 正文 我和宋清朗相戀三年幻碱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片细溅。...
    茶點(diǎn)故事閱讀 39,991評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡褥傍,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出喇聊,到底是詐尸還是另有隱情恍风,我是刑警寧澤,帶...
    沈念sama閱讀 35,706評論 5 346
  • 正文 年R本政府宣布誓篱,位于F島的核電站朋贬,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏窜骄。R本人自食惡果不足惜锦募,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望邻遏。 院中可真熱鬧糠亩,春花似錦虐骑、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,910評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至垂寥,卻和暖如春颠黎,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背矫废。 一陣腳步聲響...
    開封第一講書人閱讀 33,038評論 1 270
  • 我被黑心中介騙來泰國打工盏缤, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蓖扑。 一個(gè)月前我還...
    沈念sama閱讀 48,158評論 3 370
  • 正文 我出身青樓唉铜,卻偏偏與公主長得像,于是被迫代替她去往敵國和親律杠。 傳聞我的和親對象是個(gè)殘疾皇子潭流,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評論 2 355

推薦閱讀更多精彩內(nèi)容

  • mean to add the formatted="false" attribute?.[ 46% 47325/...
    ProZoom閱讀 2,698評論 0 3
  • 常用模塊 認(rèn)識模塊 什么是模塊 什么是模塊灰嫉? 常見的場景:一個(gè)模塊就是一個(gè)包含了python定義和聲明的文件,文...
    go以恒閱讀 1,947評論 0 6
  • pyspark.sql模塊 模塊上下文 Spark SQL和DataFrames的重要類: pyspark.sql...
    mpro閱讀 9,456評論 0 13
  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5嗓奢? 答:HTML5是最新的HTML標(biāo)準(zhǔn)讼撒。 注意:講述HT...
    kismetajun閱讀 27,486評論 1 45
  • 操作環(huán)境: [root@bogon ~]#uname-a Linux #localhost.localdomain...
    JokerJin閱讀 580評論 0 0