模塊安裝

pip3 install beautifulsoup4

模塊導(dǎo)入

from bs4 import BeautifulSoup

示例html內(nèi)容

獲取html內(nèi)容代碼

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36 115Browser/9.0.0"
}
response = requests.get("https://www.xbiquge6.com/xbqgph.html",headers=headers)
response.encoding = "utf-8"
html = response.text
print(html)

獲取的html內(nèi)容

構(gòu)建BeautifulSoup對象

常用四種解釋器

soup = BeautifulSoup(html, 'html.parser')

還可以解析本地html文件

soup1 = BeautifulSoup(open('index.html'))

.prettify()格式化輸出節(jié)點(diǎn)

略

通過 . 獲取節(jié)點(diǎn)

title = soup.head.title
print(type(title))
print(title)

結(jié)果是

對于名稱唯一的節(jié)點(diǎn)，可以省略層級

title = soup.title
print(type(title))
print(title)

結(jié)果同樣是

名稱不唯一的節(jié)點(diǎn)，直接獲取只會獲取第一個匹配的節(jié)點(diǎn)

li = soup.li
print(li)

結(jié)果是

• 首頁

find_all根據(jù)條件獲取節(jié)點(diǎn)

find_all( name , attrs , recursive , text , **kwargs )

name ：查找所有名字為 name 的tag,字符串對象會被自動忽略掉；
attrs：根據(jù)屬性查詢，使用字典類型；
text ：可以搜搜文檔中的字符串內(nèi)容.與 name 參數(shù)的可選值一樣, text 參數(shù)接受 字符串 , 正則表達(dá)式 , 列表, True ；
recursive：調(diào)用tag的 find_all() 方法時,Beautiful Soup會檢索當(dāng)前tag的所有子孫節(jié)點(diǎn),如果只想搜索tag的直接子節(jié)點(diǎn),可以使用參數(shù) recursive=False ；
limit：find_all() 方法返回全部的搜索結(jié)構(gòu),如果文檔樹很大那么搜索會很慢.如果我們不需要全部結(jié)果,可以使用 limit 參數(shù)限制返回結(jié)果的數(shù)量.效果與SQL中的limit關(guān)鍵字類似,當(dāng)搜索到的結(jié)果數(shù)量達(dá)到 limit 的限制時,就停止搜索返回結(jié)果；
class_ ：通過 class_ 參數(shù)搜索有指定CSS類名的tag，class_ 參數(shù)同樣接受不同類型的 過濾器 ,字符串,正則表達(dá)式,方法或 True。

根據(jù)標(biāo)簽名字

lis = soup.find_all(nam)
for item in lis:
    print(item)

結(jié)果是

• 首頁
• 永久書架
• 玄幻奇幻
• 武俠仙俠
• 都市言情
• 歷史軍事
• 科幻靈異
• 網(wǎng)游競技
• 女頻頻道
• 完本小說
• 排行榜單
• 臨時書架
• 作品分類作品名稱最新章節(jié)作者更新時間狀態(tài)
• [都市言情]我能舉報萬物第九十六章 巡撫視察【第三更】必火2019-11-16連載中
• [科幻靈異]女戰(zhàn)神的黑包群第3046章 惡毒女配，在線提刀45二謙2019-11-16連載中
• [玄幻奇幻]花崗巖之怒第一百五十二章 意外到來的斷劍咱的小刀2019-11-16連載中
• [網(wǎng)游競技]超神機(jī)械師1090 韭菜的自覺齊佩甲2019-11-16連載中
• [武俠仙俠]無量真途第六百三十二章 突然出現(xiàn)的神智燕十千2019-11-16連載中
• [科幻靈異]我的細(xì)胞監(jiān)獄第四百五十九章 白霧穿黃衣的阿肥2019-11-16連載中
• [武俠仙俠]前任無雙第三百章 事急速辦躍千愁2019-11-16連載中
• [武俠仙俠]元陽道君第四十章 洞開劍扼虛空2019-11-16連載中
• [歷史軍事]逆成長巨星655：不是辦法的辦法葛洛夫街兄弟2019-11-16連載中
• [歷史軍事]承包大明第一百九十三章 真會玩南希北慶2019-11-16連載中

根據(jù)標(biāo)簽屬性

屬性和值以字典形式傳入

lis = soup.find_all(attrs={"class":"s2"})
for item in lis:
    print(item)

結(jié)果是
作品名稱
我能舉報萬物
女戰(zhàn)神的黑包群
花崗巖之怒
超神機(jī)械師
無量真途
我的細(xì)胞監(jiān)獄
前任無雙
元陽道君
逆成長巨星
承包大明

限制搜索范圍

find_all 方法會搜索當(dāng)前標(biāo)簽的所有子孫節(jié)點(diǎn),如果只想搜索直接子節(jié)點(diǎn),可以使用參數(shù) recursive=False

遍歷獲取子節(jié)點(diǎn)

.contents獲取所有子節(jié)點(diǎn)

以列表形式返回所有子節(jié)點(diǎn)，要注意，列表里面還會摻雜 '/n'

ul = soup.ul
print(ul)
print(ul.contents)

結(jié)果是

• 首頁
• 永久書架
• 玄幻奇幻
• 武俠仙俠
• 都市言情
• 歷史軍事
• 科幻靈異
• 網(wǎng)游競技
• 女頻頻道
• 完本小說
• 排行榜單
• 臨時書架

• 首頁 , '/n',
• 永久書架 , '/n',
• 玄幻奇幻 , '/n',
• 武俠仙俠 , '/n',
• 都市言情 , '/n',
• 歷史軍事 , '/n',
• 科幻靈異 , '/n',
• 網(wǎng)游競技 , '/n',
• 女頻頻道 , '/n',
• 完本小說 , '/n',
• 排行榜單 , '/n',
• 臨時書架 , '/n']

.children獲取所有子節(jié)點(diǎn)

返回一個list生成器對象

ul = soup.ul
print(ul.children)
print(list(ul.children))

結(jié)果是
['/n', 

• 首頁 , '/n',
• 永久書架 , '/n',
• 玄幻奇幻 , '/n',
• 武俠仙俠 , '/n',
• 都市言情 , '/n',
• 歷史軍事 , '/n',
• 科幻靈異 , '/n',
• 網(wǎng)游競技 , '/n',
• 女頻頻道 , '/n',
• 完本小說 , '/n',
• 排行榜單 , '/n',
• 臨時書架 , '/n']

.descendants遍歷所有子孫節(jié)點(diǎn)

ul = soup.ul
for item in ul.descendants:
    print(item)

結(jié)果是（中間很多'/n'空行我刪掉了）

• 首頁

• 永久書架

• 玄幻奇幻

• 武俠仙俠

• 都市言情

• 歷史軍事

• 科幻靈異

• 網(wǎng)游競技

• 女頻頻道

• 完本小說

• 排行榜單

• 臨時書架

獲取其父節(jié)點(diǎn)

a = soup.li.a
print(a)
p = a.parent
print(p)

結(jié)果是
首頁

• 首頁

提取節(jié)點(diǎn)信息

節(jié)點(diǎn)名稱

感覺沒什么用

title = soup.title
print(title.name)

結(jié)果是
title

節(jié)點(diǎn)屬性

a = soup.li.a
print(a)
print(a.attrs)    # 獲取所有屬性，返回字典形式
print(a['href'])# 獲取a節(jié)點(diǎn)的href屬性值

結(jié)果是
首頁
{'href': '/'}
/

節(jié)點(diǎn)文本

a = soup.li.a
print(type(a.string)) # 節(jié)點(diǎn)內(nèi)文本的類型
print(a.string) # 獲取節(jié)點(diǎn)內(nèi)的文本內(nèi)容
print(a.get_text())    # 也是獲取節(jié)點(diǎn)內(nèi)的文本內(nèi)容
結(jié)果是

首頁

注意！！！如果節(jié)點(diǎn)內(nèi)文本是注釋，則用string取出文本時會自動去除注釋標(biāo)記
注釋的類型：，可以通過類型判斷

遍歷獲取所有子孫節(jié)點(diǎn)中的文本

for string in soup.stripped_strings:  # 去除多余空白內(nèi)容
    print(repr(string))

想進(jìn)一步了解編程開發(fā)相關(guān)知識，與我一同成長進(jìn)步，請關(guān)注我的公眾號“松果倉庫”，共同分享宅&程序員的各類資源，謝謝！！！

審核編輯 黃昊宇