JSON是一個標(biāo)記符序列。這套標(biāo)記符包括： 構(gòu)造字符、字符串、數(shù)字和三個字面值 。

構(gòu)造字符

JSON包括六個構(gòu)造字符，分別是：左方括號、右方括號、左大括號、右大括號、冒號與逗號。

JSON值

JSON值可以是對象、數(shù)組、數(shù)字、字符串或者三個字面值（false、true、null），并且字面值必須是小寫英文字母。

對象

對象是由花括號括起來，逗號分割的成員構(gòu)成，成員是字符串鍵和上面所說的JSON值構(gòu)成，例如：

{"name":"jack","age":18,"address":{"country"}}

數(shù)組

數(shù)組是由方括號括起來的一組數(shù)值構(gòu)成，例如：

[1,2,32,3,6,5,5]

字符串與數(shù)字想必就不用我過多敘述吧。

下面我就舉例一些合法的JSON格式的數(shù)據(jù)：

{"a":1,"b":[1.2.3]}
[1,2,"3",{"a":4}]
3.14
"json_data"

為什么要使用JSON

JSON是一種輕量級的數(shù)據(jù)交互格式，它使得人們很容易的進(jìn)行閱讀和編寫。同時也方便機器進(jìn)行解析和生成。適用于進(jìn)行數(shù)據(jù)交互的場景，比如網(wǎng)站前臺與后臺之間的數(shù)據(jù)交互。

JSON的使用方法

json.loads()

把JSON格式字符串解碼轉(zhuǎn)成Python對象，從JSON到Python類型轉(zhuǎn)換表如下：

• 將數(shù)組轉(zhuǎn)成列表對象

import json


strList = "[1,2,3,3,4]"
print(json.loads(strList))
print(type(json.loads(strList)))

試著運行上面的代碼，你會發(fā)現(xiàn)已經(jīng)成功的將strList轉(zhuǎn)換為列表對象。

• 將對象轉(zhuǎn)換成字典

import json


strDict = '{"city":"上海","name":"jack","age":18}'
print(json.loads(strDict))
print(type(json.loads(strDict)))

試著運行上面的代碼，你會發(fā)現(xiàn)已經(jīng)成功的將object轉(zhuǎn)換為dict類型的數(shù)據(jù)。

json.dumps()

其實這個方法也很好理解，就是將Python類型的對象轉(zhuǎn)換為json字符串。從Python類型向JSON類型轉(zhuǎn)換的對照表如下：

• 將Python列表對象轉(zhuǎn)換為JSON字符串

import json


list_str = [1,2,3,6,5]
print(json.dumps(list_str))
print(type(json.dumps(list_str)))

試著運行上面的代碼，你會發(fā)現(xiàn)成功的將列表類型轉(zhuǎn)換成了字符串類型。

• 將Python元組對象轉(zhuǎn)換為JSON字符串

import json


tuple_str = (1,2,3,6,5)
print(json.dumps(tuple_str))
print(type(json.dumps(tuple_str)))

試著運行上面的代碼，你會發(fā)現(xiàn)成功的將元組類型的數(shù)據(jù)轉(zhuǎn)換成了字符串。

• 將Python字典對象轉(zhuǎn)換為JSON字符串

import json 


dict_str = {"name": "小明", "age":18, "city": "中國深圳"}
print(json.dumps(dict_str))
print(type(json.dumps(dict_str)))

輸出結(jié)果：

{"name": "u5c0fu660e", "age": 18, "city": "u4e2du56fdu6df1u5733"}
< class 'str' >

看到上面的輸出結(jié)果也許你會有點疑惑，其實不需要疑惑，這是ASCII編碼方式造成的，因為**json.dumps()**做序列化操作時默認(rèn)使用的就是ASCII編碼，因此我們可以這樣寫：

import json


dict_str = {"name": "小明", "age":18, "city": "中國深圳"}
print(json.dumps(dict_str, ensure_ascii=False))
print(type(json.dumps(dict_str)))

輸出結(jié)果：

{"name": "小明", "age": 18, "city": "中國深圳"}
< class 'str' >

因為ensure_ascii的默認(rèn)值是True，因此我們可以添加參數(shù)ensure_ascii將它的默認(rèn)值改成False，這樣編碼方式就會更改為utf-8了。

json.load()

該方法的主要作用是將文件中JSON形式的字符串轉(zhuǎn)換為Python類型。

具體代碼示例如下：

import json

str_list = json.load(open('position.json', encoding='utf-8'))
print(str_dict)
print(type(str_dict))

運行上面的代碼，你會發(fā)現(xiàn)成功的將字符串類型的JSON數(shù)據(jù)轉(zhuǎn)換為了dict類型。

代碼中的文件position.json我也會分享給大家。

• json.dump()

將Python內(nèi)置類型序列化為JSON對象后寫入文件。具體代碼示例如下所示：

import json

list_str = [{'city':'深圳'}, {'name': '小明'},{'age':18}]
dict_str = {'city':'深圳','name':'小明','age':18}

json.dump(list_str, open('listStr.json', 'w'), ensure_ascii=False)
json.dump(list_str, open('dictStr.json', 'w'), ensure_ascii=False)

jsonpath

XML的優(yōu)點是提供了大量的工具來分析、轉(zhuǎn)換和有選擇地從XML文檔中提取數(shù)據(jù)。Xpath是這些功能強大的工具之一。

對于JSON數(shù)據(jù)來說，也出現(xiàn)了jsonpath這樣的工具來解決這些問題：

• 數(shù)據(jù)可以通過交互方式從客戶端上的JSON結(jié)構(gòu)提取，不需要特殊的腳本。
• 客戶端請求的JSON數(shù)據(jù)可以減少到服務(wù)器的上的相關(guān)部分，從而大幅度減少服務(wù)器響應(yīng)的帶寬使用。

jsonpath表達(dá)式始終引用JSON結(jié)構(gòu)的方式與Xpath表達(dá)式與XML文檔使用的方式相同。

jsonpath的安裝方法

pip install jsonpath

jsonpath與Xpath

下面表格是jsonpath語法與Xpath的完整概述和比較。

下面我們就通過幾個示例來學(xué)習(xí)jsonxpath的使用方法。

我們先來看下面這段json數(shù)據(jù)

{ "store": {
    "book": [
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}

獲取符合條件的節(jié)點

假如我需要獲取到作者的名稱該怎么樣寫呢？

如果通過Python的字典方法來獲取是非常麻煩的，所以在這里我們可以選擇使用jsonpath.。

具體代碼示例如下所示：

import jsonpath


author = jsonpath.jsonpath(data_json, '$.store.book[*].author')
print(author)

運行上面的代碼你會發(fā)現(xiàn)，成功的獲取到了所有的作者名稱，并保存在列表中。

或者還可以這樣寫：

import jsonpath

author = jsonpath.jsonpath(data_json, '$..author')
print(author)

使用指定索引

還是使用上面的json數(shù)據(jù)，假如我現(xiàn)在需要獲取第三本書的價格。

third_book_price = jsonpath.jsonpath(data_json, '$.store.book[2].price')
print(third_book_price)

運行上面的代碼，你會發(fā)現(xiàn)成功的獲取到了第三本書的價格。

使用過濾器

isbn_book = jsonpath.jsonpath(data_json, '$..book[?(@.isbn)]')
print(isbn_book)
print(type(isbn_book))

通過運行上面的代碼，你會發(fā)現(xiàn)，成功的將含有isbn編號的書籍過濾出來了。

同樣的道理，根據(jù)上面的例子，我們也可以將價格小于10元的書過濾出來。

book = jsonpath.jsonpath(data_json, '$..book[?(@.price< 10)]')
print(book)
print(type(book))

通過運行上面的代碼，你會發(fā)現(xiàn)這里已經(jīng)成功的將價格小于10元的書提取出來了。

jsonpath其實是非常適合用來獲取json格式的數(shù)據(jù)的一款工具，最重要的是這款工具輕量簡單容使用。關(guān)于jsonpath的介紹到這里就結(jié)束了，下面我們就進(jìn)入實戰(zhàn)演練吧！

項目實戰(zhàn)

前言

每年的6月份都是高校學(xué)生的畢業(yè)季，作為計算機專業(yè)的你來說，如果剛剛畢業(yè)就可以進(jìn)入大廠，想必是一個非常不錯的選擇。因此，今天我?guī)淼捻椖烤褪桥廊◎v訊招聘的網(wǎng)站，獲取 職位名稱、職位類別、工作地點、工作國家、職位的更新時間、職位描述 。

爬取內(nèi)容一共有329頁，在前329頁的職位都是在這個月發(fā)布的，還是比較新，對大家來說更有參考的價值。

網(wǎng)頁鏈接：https://careers.tencent.com/search.html

準(zhǔn)備

工欲善其事，必現(xiàn)利其器 。首先我們要準(zhǔn)備好幾個庫：pandas、requests、jsonpath

如果沒有安裝，請參考下面的安裝過程：

pip install requests
pip install pandas
pip install jsonpath

需求分析與功能實現(xiàn)

獲取所有的職位信息

對網(wǎng)頁進(jìn)行分析的時候，我發(fā)現(xiàn)想從網(wǎng)頁上直接獲取信息是是做不到的，該網(wǎng)頁的響應(yīng)信息如下所示：

< !DOCTYPE html >< html >< head >< meta charset=utf-8 >< meta http-equiv=X-UA-Compatible content="IE=edge" >< meta name=viewport content="initial-scale=1,maximum-scale=1,user-scalable=no" >< meta name=keywords content="" >< meta name=description content="" >< meta name=apple-mobile-web-app-capable content=no >< meta name=format-detection content="telephone=no" >< title >搜索 | 騰訊招聘< /title >< link rel=stylesheet href=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/css/main.css >< link rel=stylesheet href=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/css/jquery-ui.min.css >< /head >< body >< div id=app >< /div >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/careersmlr/HeadFoot_zh-cn.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/careersmlr/HostMsg_zh-cn.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/careersmlr/Search_zh-cn.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/vendor/config.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/vendor/jquery.min.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/vendor/jquery.ellipsis.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/vendor/report.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/vendor/qrcode.min.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/manifest.build.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/vendor.build.js >< /script >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/p_zh-cn_search.build.js >< /script >< /body >< script type=text/javascript src=https://cdn.multilingualres.hr.tencent.com/tencentcareer/static/js/vendor/common.js >< /script >< /html >

因此我判斷，這個是動態(tài)Ajax加載的數(shù)據(jù)，因此就要去網(wǎng)頁控制器上查找職位數(shù)據(jù)是否存在。

經(jīng)過一番查找，果然發(fā)現(xiàn)是動態(tài)加載的數(shù)據(jù)，信息如下所示：

格式化之后的數(shù)據(jù)如下所示：

{
    "Code":200,
    "Data":{
        "Count":8500,
        "Posts":[
            {
                "Id":0,
                "PostId":"1346716678288842752",
                "RecruitPostId":71330,
                "RecruitPostName":"41071-騰訊會議項目經(jīng)理（西安）（CSIG全資子公司）",
                "CountryName":"中國",
                "LocationName":"西安",
                "BGName":"CSIG",
                "ProductName":"騰訊云",
                "CategoryName":"產(chǎn)品",
                "Responsibility":"1、負(fù)責(zé)研發(fā)項目及研發(fā)效能的計劃制定、進(jìn)度驅(qū)動和跟蹤、風(fēng)險識別以及應(yīng)對，確保項目按計劃完成；
2、負(fù)責(zé)組織項目各項評審會議及項目例會，制定并推廣項目流程規(guī)范，確保項目有序進(jìn)行；
3、負(fù)責(zé)與項目外部合作伙伴進(jìn)行溝通，制定流程規(guī)范雙方合作，并推動合作事宜；
4、及時發(fā)現(xiàn)并跟蹤解決項目問題，有效管理項目風(fēng)險。
",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=1346716678288842752",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1346716729744564224",
                "RecruitPostId":71331,
                "RecruitPostName":"41071-騰訊會議產(chǎn)品策劃（平臺方向）（CSIG全資子公司）",
                "CountryName":"中國",
                "LocationName":"西安",
                "BGName":"CSIG",
                "ProductName":"騰訊云",
                "CategoryName":"產(chǎn)品",
                "Responsibility":"1、負(fù)責(zé)騰訊會議企業(yè)管理平臺的產(chǎn)品策劃工作，包括企業(yè)運營平臺、運維、會控平臺和工具的產(chǎn)品設(shè)計和迭代優(yōu)化；
2、協(xié)調(diào)和推動研發(fā)團隊完成產(chǎn)品開發(fā)、需求落地，并能在需求上線后進(jìn)行持續(xù)數(shù)據(jù)分析和反饋跟進(jìn)，不斷提升產(chǎn)品競爭力；
3、根據(jù)行業(yè)場景抽象用戶需求，沉淀面向不同類型客戶的云端管控平臺解決方案；
 ",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=1346716729744564224",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1346062593894129664",
                "RecruitPostId":71199,
                "RecruitPostName":"41071-騰訊會議產(chǎn)品策劃（CSIG全資子公司）",
                "CountryName":"中國",
                "LocationName":"西安",
                "BGName":"CSIG",
                "ProductName":"騰訊云",
                "CategoryName":"產(chǎn)品",
                "Responsibility":"負(fù)責(zé)騰訊會議的產(chǎn)品策劃工作：
1、研究海外用戶辦公習(xí)慣及SaaS市場動態(tài)，調(diào)研海外相關(guān)SaaS產(chǎn)品并輸出產(chǎn)品調(diào)研結(jié)論，綜合市場情況和用戶需求輸出高質(zhì)量的產(chǎn)品需求或解決方案；
2、負(fù)責(zé)騰訊會議各產(chǎn)品線的英文版的功能同步和產(chǎn)品設(shè)計工作，把關(guān)產(chǎn)品功能同步和國際版需求改造等；
3、協(xié)調(diào)和推動研發(fā)團隊完成產(chǎn)品開發(fā)、需求落地，并能在需求上線后進(jìn)行持續(xù)數(shù)據(jù)分析和反饋跟進(jìn)，不斷提升產(chǎn)品競爭力； ",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=1346062593894129664",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1352161575309418496",
                "RecruitPostId":72134,
                "RecruitPostName":"CSIG16-推薦算法高級工程師",
                "CountryName":"中國",
                "LocationName":"北京",
                "BGName":"CSIG",
                "ProductName":"",
                "CategoryName":"技術(shù)",
                "Responsibility":"1. 參與地圖場景下推薦算法優(yōu)化，持續(xù)提升轉(zhuǎn)化效果和用戶體驗；
2. 負(fù)責(zé)地圖場景下推薦引擎架構(gòu)設(shè)計和開發(fā)工作；
3. 跟進(jìn)業(yè)界推薦領(lǐng)域最新進(jìn)展，并推動其在地圖場景下落地。",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=0",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1352158432852975616",
                "RecruitPostId":72133,
                "RecruitPostName":"41071-騰訊云SDK 終端研發(fā)工程師(CSIG全資子公司)",
                "CountryName":"中國",
                "LocationName":"西安",
                "BGName":"CSIG",
                "ProductName":"",
                "CategoryName":"技術(shù)",
                "Responsibility":"1. 負(fù)責(zé)騰訊云 GME SDK（游戲多媒體引擎）的開發(fā)和優(yōu)化工作，并配套開發(fā)相應(yīng)的場景解決方案業(yè)務(wù)流程，以滿足不同場景和不同行業(yè)的客戶需求; 
2. 全流程參與客戶需求咨詢、需求評估、方案設(shè)計、方案編碼實施及交付工作; 
3. 負(fù)責(zé)優(yōu)化騰訊云GME產(chǎn)品易用性，并跟蹤客戶的接入成本、完善服務(wù)體系，解決客戶使用產(chǎn)品服務(wù)和解決方案過程中的技術(shù)問題，不斷完善問題處理機制和流程。",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=0",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1352155053116366848",
                "RecruitPostId":72131,
                "RecruitPostName":"40931-智慧交通數(shù)據(jù)平臺前端開發(fā)工程師（北京）",
                "CountryName":"中國",
                "LocationName":"北京",
                "BGName":"CSIG",
                "ProductName":"",
                "CategoryName":"技術(shù)",
                "Responsibility":"負(fù)責(zé)騰訊智慧交通領(lǐng)域的平臺前端開發(fā)工作；
負(fù)責(zé)規(guī)劃與制定前端整體發(fā)展計劃與基礎(chǔ)建設(shè)；
負(fù)責(zé)完成前端基礎(chǔ)架構(gòu)設(shè)計與組件抽象。",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=0",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1306860769169645568",
                "RecruitPostId":66367,
                "RecruitPostName":"35566-HRBP（騰訊全資子公司）",
                "CountryName":"中國",
                "LocationName":"武漢",
                "BGName":"CSIG",
                "ProductName":"",
                "CategoryName":"人力資源",
                "Responsibility":"負(fù)責(zé)區(qū)域研發(fā)公司的HR政策、制度、體系與重點項目在部門內(nèi)部的落地與推動執(zhí)行；
深入了解所負(fù)責(zé)領(lǐng)域業(yè)務(wù)與人員發(fā)展?fàn)顩r，評估并明確組織與人才發(fā)展對HR的需求；
驅(qū)動平臺資源提供HR解決方案，并整合內(nèi)部資源推動執(zhí)行；提升管理干部的人力資源管理能力，關(guān)注關(guān)鍵人才融入與培養(yǎng)，確保持續(xù)的溝通與反饋；
協(xié)助管理層進(jìn)行人才管理、團隊發(fā)展、組織氛圍建設(shè)等，確保公司文化在所屬業(yè)務(wù)領(lǐng)域的落地；
負(fù)責(zé)所對接部門的人才招聘工作；
",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=1306860769169645568",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1351353005709991936",
                "RecruitPostId":71981,
                "RecruitPostName":"35566-招聘經(jīng)理（騰訊云全資子公司）",
                "CountryName":"中國",
                "LocationName":"武漢",
                "BGName":"CSIG",
                "ProductName":"",
                "CategoryName":"人力資源",
                "Responsibility":"1、負(fù)責(zé)CSIG區(qū)域研發(fā)公司相關(guān)部門的社會招聘及校園招聘工作，制定有效的招聘策略并推動落地執(zhí)行，保障人才開源、甄選和吸引;
2、負(fù)責(zé)相關(guān)部門人力資源市場分析，有效管理并優(yōu)化招聘渠道；
3、參與招聘體系化建設(shè)，甄選相關(guān)優(yōu)化項目，有效管理及優(yōu)化招聘渠道。",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=1351353005709991936",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1351838518279675904",
                "RecruitPostId":72081,
                "RecruitPostName":"35566-雇主品牌經(jīng)理（騰訊云全資子公司）",
                "CountryName":"中國",
                "LocationName":"武漢",
                "BGName":"CSIG",
                "ProductName":"",
                "CategoryName":"人力資源",
                "Responsibility":"1、負(fù)責(zé)騰訊云區(qū)域研發(fā)公司雇主品牌的規(guī)劃和建設(shè)工作，結(jié)合業(yè)務(wù)招聘需求，制定有效的品牌方案；
2、負(fù)責(zé)訊云區(qū)域研發(fā)公司的公眾號、媒體賬號的內(nèi)容策劃、撰寫，協(xié)調(diào)相關(guān)資源完成高質(zhì)量內(nèi)容輸出；
3、負(fù)責(zé)招聘創(chuàng)意項目的策劃和項目統(tǒng)籌，借助各種平臺渠道，完成創(chuàng)意內(nèi)容的傳播觸達(dá)，提升人選對騰訊云區(qū)域研發(fā)公司的認(rèn)知和意向度；",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=1351838518279675904",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            },
            {
                "Id":0,
                "PostId":"1199244591342030848",
                "RecruitPostId":55432,
                "RecruitPostName":"22989-數(shù)據(jù)庫解決方案架構(gòu)師（北京/上海/深圳）",
                "CountryName":"中國",
                "LocationName":"上海",
                "BGName":"CSIG",
                "ProductName":"",
                "CategoryName":"產(chǎn)品",
                "Responsibility":"支持客戶的應(yīng)用架構(gòu)設(shè)計，了解客戶的業(yè)務(wù)邏輯和應(yīng)用架構(gòu)，給出合理的產(chǎn)品方案建議； 
支持客戶的數(shù)據(jù)庫方案設(shè)計，從運維、成本、流程等角度主導(dǎo)云數(shù)據(jù)庫產(chǎn)品落地； 
梳理客戶的核心訴求，提煉為普適性的產(chǎn)品能力，推動研發(fā)團隊提升產(chǎn)品體驗；
根據(jù)客戶的行業(yè)屬性，定制行業(yè)場景的解決方案，提升云數(shù)據(jù)庫的影響力；",
                "LastUpdateTime":"2021年01月21日",
                "PostURL":"http://careers.tencent.com/jobdesc.html?postId=1199244591342030848",
                "SourceID":1,
                "IsCollect":false,
                "IsValid":true
            }
        ]
    }
}

經(jīng)過對比發(fā)現(xiàn)上面的json數(shù)據(jù)與網(wǎng)頁信息是完全相同的。

看到j(luò)son數(shù)據(jù)你有沒有一絲的驚喜，終于到了可以大顯身手的時候了。

你會發(fā)現(xiàn)，上面每一個節(jié)點的參數(shù)都是獨立的，不會存在重復(fù)，那我們可以這樣寫：

def get_info(data):
    recruit_post_name = jsonpath.jsonpath(data, '$..RecruitPostName')
    category_name = jsonpath.jsonpath(data, '$..CategoryName')
    country_name= jsonpath.jsonpath(data, '$..CountryName')
    location_name = jsonpath.jsonpath(data, '$.Data.Posts..LocationName')
    responsibility = jsonpath.jsonpath(data, '$..Responsibility')
    responsibility = [i.replace('n', '').replace('r', '') for i in responsibility]
    last_update_time = jsonpath.jsonpath(data, '$..LastUpdateTime')

運行上面的代碼，你會發(fā)現(xiàn)成功的獲取到了每一組數(shù)據(jù)。

關(guān)于翻頁

打開網(wǎng)頁之后你會發(fā)現(xiàn)騰訊的職位信息一共有850頁，但是前面的json數(shù)據(jù)僅僅只有第一頁的數(shù)據(jù)怎么辦呢？

不用擔(dān)心，直接點擊第二頁看看網(wǎng)絡(luò)數(shù)據(jù)有什么變化。

如上圖所示，當(dāng)點擊第二頁的時候，又加載出來了一個數(shù)據(jù)，點擊進(jìn)去之后你就會發(fā)現(xiàn)，這個數(shù)據(jù)剛好就是第二頁的職位信息。

那接下來就是發(fā)現(xiàn)規(guī)律的時候了，第一頁與第二頁保存JSON數(shù)據(jù)的URL如下所示：

# 第一頁
https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1611215870971&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=&pageIndex=1&pageSize=10&language=zh-cn&area=cn

# 第二頁
https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1611217026103&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=&pageIndex=2&pageSize=10&language=zh-cn&area=cn

經(jīng)過測試發(fā)現(xiàn)，可以將URL地址進(jìn)行簡化，簡化后的URL如下所示：

# 第一頁
https://careers.tencent.com/tencentcareer/api/post/Query?pageIndex=1&pageSize=10

# 第二頁
https://careers.tencent.com/tencentcareer/api/post/Query?pageIndex=1&pageSize=10

數(shù)據(jù)保存

將爬取下來的數(shù)據(jù)保存至csv文件，核心代碼如下所示：

df = pd.DataFrame({
        'country_name': country_name,
        'location_name': location_name,
        'recruit_post_name':recruit_post_name,
        'category_name': category_name,
        'responsibility':responsibility,
        'last_update_time':last_update_time
    })

if __name__ == '__main__':
    tengxun = TengXun()
    df = pd.DataFrame(columns=['country_name', 'location_name', 'category_name','recruit_post_name', 'responsibility', 'last_update_time'])

    for page in range(1, 330):
        print(f'正在獲取第{page}頁')
        url = tengxun.get_url(page)
        data = tengxun.get_json(url)
        time.sleep(0.03)

        df1 = get_info(data)
        df = pd.concat([df, df1])
        df = df.reset_index(drop=True)
    # pprint.pprint(data)

    df.to_csv('../data/騰訊招聘.csv', encoding='utf-8-sig')

最后結(jié)果