女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Python爬蟲(chóng)繞過(guò)登錄的小技巧

馬哥Linux運(yùn)維 ? 來(lái)源:lq ? 2019-05-07 16:08 ? 次閱讀

前言

很多時(shí)候我們做 Python 爬蟲(chóng)時(shí)或者自動(dòng)化測(cè)試時(shí)需要用到 selenium 庫(kù),我們經(jīng)常會(huì)卡在登錄的時(shí)候,登錄驗(yàn)證碼是最頭疼的事情,特別是如今的文字驗(yàn)證碼和圖形驗(yàn)證碼。文字和圖形驗(yàn)證碼還加了干擾線,本文就來(lái)講講怎么繞過(guò)登錄頁(yè)面。

登錄頁(yè)面的驗(yàn)證,比如以下的圖形驗(yàn)證碼。

還有我們基本都看過(guò)的 12306 的圖形驗(yàn)證碼。

繞過(guò)登錄方法

繞過(guò)登錄基本有兩種方法,第一種方法是登錄后查看網(wǎng)站的 cookie,請(qǐng)求 url 的時(shí)候把 cookie 帶上,第二種方法是啟動(dòng)瀏覽器帶上瀏覽器的全部信息,包括添加的書(shū)簽和訪問(wèn)網(wǎng)頁(yè)的 cookie 信息。

第一種 cookie 方法我們要分析別人網(wǎng)站的 cookie 值,找出相應(yīng)的值然后添加進(jìn)去,對(duì)于我們不熟的網(wǎng)站,他們可能也會(huì)做加密或者動(dòng)態(tài)處理,所以有些網(wǎng)站也不是那么好操作。如果是自己公司的網(wǎng)站需要測(cè)試,我們可以詢(xún)問(wèn)對(duì)應(yīng)的開(kāi)發(fā)那個(gè) cookie 值是區(qū)分獨(dú)立用的值,拿出來(lái)放在請(qǐng)求里面就行。

添加 cookie 繞過(guò)登錄

比如我們登錄百度賬號(hào)比較費(fèi)勁,每次都需要登錄也比較繁瑣,我們 F12 打開(kāi)頁(yè)面調(diào)試工具,登錄后找到 www.baidu.com 文件,在 cookie 中,我們發(fā)現(xiàn)很多值,其中圖中圈起來(lái)的就是我們要找的值。

我們?cè)谠L問(wèn) baidu 鏈接的時(shí)候加上這個(gè) cookie 值,這樣就是直接登錄后的百度賬號(hào)了。

下載瀏覽器驅(qū)動(dòng)

我們要 selenium 啟動(dòng)瀏覽器時(shí),需要下載后對(duì)應(yīng)的驅(qū)動(dòng)文件并放在 Python 安裝的根目錄下,比如我會(huì)用到谷歌 Chrome 瀏覽器和 Firefox 火狐瀏覽器。

谷歌瀏覽器驅(qū)動(dòng)下載地址:

http://chromedriver.storage.googleapis.com/index.html

火狐瀏覽器驅(qū)動(dòng)下載地址:

https://github.com/mozilla/geckodriver/releases/

啟動(dòng) Chrome 瀏覽器繞過(guò)登錄

我們每次打開(kāi)瀏覽器做相應(yīng)操作時(shí),對(duì)應(yīng)的緩存和 cookie 會(huì)保存到瀏覽器默認(rèn)的路徑下,我們先查看個(gè)人資料路徑,以 chrome 為例,我們?cè)诘刂窓谳斎?chrome://version/

圖中的個(gè)人資料路徑就是我們需要的,我們?nèi)サ艉竺娴?Default,然后在路徑前加上「–user-data-dir=」就拼接出我們要的路徑了。

profile_directory=r'--user-data-dir=C:UsersxxxAppDataLocalGoogleChromeUserData'

接下來(lái),我們啟動(dòng)瀏覽器的時(shí)候采用帶選項(xiàng)時(shí)的啟動(dòng),這種方式啟動(dòng)瀏覽器需要注意,運(yùn)行代碼前需要關(guān)閉所有的正在運(yùn)行 chrome 程序,不然會(huì)報(bào)錯(cuò)。全部代碼如下。

selenium 自動(dòng)化啟動(dòng)瀏覽器后我們會(huì)發(fā)現(xiàn)我之前保存的書(shū)簽完整在瀏覽器上方,baidu 賬號(hào)也是登錄的狀態(tài)。

啟動(dòng) Firfox 瀏覽器繞過(guò)登錄

Firfox 火狐瀏覽也可以這樣啟動(dòng)它,設(shè)置略有不同。

首先,查看配置文件的存儲(chǔ)路徑,查看方法:幫助–故障排除信息–配置文件夾,把里面的路徑復(fù)制過(guò)來(lái)就行。

同樣,我們把路徑放在變量中。

profile_path=r'C:UsersguixianyangAppDataRoamingMozillaFirefoxProfilesdvm6wqam.default'

我們也在火狐瀏覽器中登錄好百度的賬號(hào),用 selenium 自動(dòng)化啟動(dòng)帶配置文件的火狐瀏覽器,也會(huì)發(fā)現(xiàn)啟動(dòng)時(shí)已經(jīng)啟動(dòng)了瀏覽器安裝的插件和登錄好的百度賬號(hào)。

繞過(guò)圖形驗(yàn)證碼的網(wǎng)站

文中第一個(gè)圖是簡(jiǎn)書(shū)登錄時(shí)的圖形驗(yàn)證碼,我們登錄簡(jiǎn)書(shū)后(cookie 有一定的時(shí)效,貌似有 10 天半個(gè)月左右),把上面代碼中的鏈接換成簡(jiǎn)書(shū)的,再用上面的方法覺(jué)可以實(shí)現(xiàn)繞過(guò)登錄頁(yè)的圖形驗(yàn)證碼。

比如我直接打開(kāi)我的簡(jiǎn)書(shū)個(gè)人主頁(yè)

https://www.jianshu.com/u/52353ffa8b86

自動(dòng)化啟動(dòng)后也是保留了登錄的狀態(tài)。

網(wǎng)站的登錄大門(mén)已被打開(kāi),接下來(lái)就可以做自己想做的事情了,比如爬蟲(chóng)、自動(dòng)化測(cè)試驗(yàn)證之類(lèi)的。

PS:以上技巧對(duì)有些網(wǎng)站可能不管用,但是對(duì)大部分網(wǎng)站還有適用的,覺(jué)得本文小技巧有用的自己趕緊試試吧。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 瀏覽器
    +關(guān)注

    關(guān)注

    1

    文章

    1040

    瀏覽量

    36066
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4823

    瀏覽量

    86131
  • 爬蟲(chóng)
    +關(guān)注

    關(guān)注

    0

    文章

    83

    瀏覽量

    7343

原文標(biāo)題:講講Python爬蟲(chóng)繞過(guò)登錄的小技巧

文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    Python數(shù)據(jù)爬蟲(chóng)學(xué)習(xí)內(nèi)容

    ,利用爬蟲(chóng),我們可以解決部分?jǐn)?shù)據(jù)問(wèn)題,那么,如何學(xué)習(xí)Python數(shù)據(jù)爬蟲(chóng)能?1.學(xué)習(xí)Python基礎(chǔ)知識(shí)并實(shí)現(xiàn)基本的爬蟲(chóng)過(guò)程一般獲取數(shù)據(jù)的過(guò)
    發(fā)表于 05-09 17:25

    Python爬蟲(chóng)與Web開(kāi)發(fā)庫(kù)盤(pán)點(diǎn)

    Python爬蟲(chóng)和Web開(kāi)發(fā)均是與網(wǎng)頁(yè)相關(guān)的知識(shí)技能,無(wú)論是自己搭建的網(wǎng)站還是爬蟲(chóng)爬去別人的網(wǎng)站,都離不開(kāi)相應(yīng)的Python庫(kù),以下是常用的Pyth
    發(fā)表于 05-10 15:21

    0基礎(chǔ)入門(mén)Python爬蟲(chóng)實(shí)戰(zhàn)課

    學(xué)習(xí)資料良莠不齊爬蟲(chóng)是一門(mén)實(shí)踐性的技能,沒(méi)有實(shí)戰(zhàn)的課程都是騙人的!所以這節(jié)Python爬蟲(chóng)實(shí)戰(zhàn)課,將幫到你!課程從0基礎(chǔ)入門(mén)開(kāi)始,受眾人群廣泛:如畢業(yè)大學(xué)生、轉(zhuǎn)行人群、對(duì)Python
    發(fā)表于 07-25 09:28

    Python爬蟲(chóng)簡(jiǎn)介與軟件配置

    Python爬蟲(chóng)練習(xí)一、爬蟲(chóng)簡(jiǎn)介1. 介紹2. 軟件配置二、爬取南陽(yáng)理工OJ題目三、爬取學(xué)校信息通知四、總結(jié)五、參考一、爬蟲(chóng)簡(jiǎn)介1. 介紹網(wǎng)絡(luò)爬蟲(chóng)
    發(fā)表于 01-11 06:32

    python網(wǎng)絡(luò)爬蟲(chóng)概述

    提交一些關(guān)鍵字才能獲取的Web頁(yè)面,如登錄或注冊(cè)后訪問(wèn)的頁(yè)面。應(yīng)用場(chǎng)景爬蟲(chóng)技術(shù)在科學(xué)研究、Web安全、產(chǎn)品研發(fā)、輿情監(jiān)控等領(lǐng)域可以做很多事情。在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、圖像處理等科學(xué)研究領(lǐng)域,如果沒(méi)有
    發(fā)表于 03-21 16:51

    詳細(xì)用Python寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)

    詳細(xì)用Python寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)
    發(fā)表于 09-07 08:40 ?32次下載
    詳細(xì)用<b class='flag-5'>Python</b>寫(xiě)網(wǎng)絡(luò)<b class='flag-5'>爬蟲(chóng)</b>

    完全自學(xué)指南Python爬蟲(chóng)BeautifulSoup詳解

    完全自學(xué)指南Python爬蟲(chóng)BeautifulSoup詳解
    發(fā)表于 09-07 08:55 ?39次下載
    完全自學(xué)指南<b class='flag-5'>Python</b><b class='flag-5'>爬蟲(chóng)</b>BeautifulSoup詳解

    WebSpider——多個(gè)python爬蟲(chóng)項(xiàng)目下載

    此文檔包含多個(gè)python爬蟲(chóng)項(xiàng)目
    發(fā)表于 03-26 09:29 ?3次下載

    python爬蟲(chóng)入門(mén)教程之python爬蟲(chóng)視頻教程分布式爬蟲(chóng)打造搜索引擎

    本文檔的主要內(nèi)容詳細(xì)介紹的是python爬蟲(chóng)入門(mén)教程之python爬蟲(chóng)視頻教程分布式爬蟲(chóng)打造搜索引擎
    發(fā)表于 08-28 15:32 ?30次下載

    python爬蟲(chóng)框架有哪些

    本視頻主要詳細(xì)介紹了python爬蟲(chóng)框架有哪些,分別是Django、CherryPy、Web2py、TurboGears、Pylons、Grab、BeautifulSoup、Cola。
    的頭像 發(fā)表于 03-22 16:13 ?6981次閱讀

    Python爬蟲(chóng):使用哪種協(xié)議的代理IP最佳?

    網(wǎng)絡(luò)大數(shù)據(jù)要抓取信息,大多需要經(jīng)過(guò)python爬蟲(chóng)工作,爬蟲(chóng)能夠幫助我們將頁(yè)面的信息抓取下來(lái)。
    的頭像 發(fā)表于 06-28 16:25 ?2090次閱讀

    python實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)的資料說(shuō)明

    本文檔的主要內(nèi)容詳細(xì)介紹的是python實(shí)現(xiàn)簡(jiǎn)單爬蟲(chóng)的資料說(shuō)明。
    發(fā)表于 11-02 17:53 ?21次下載
    <b class='flag-5'>python</b>實(shí)現(xiàn)簡(jiǎn)單<b class='flag-5'>爬蟲(chóng)</b>的資料說(shuō)明

    Python寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)

    Python寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)的方法說(shuō)明。
    發(fā)表于 06-01 11:55 ?21次下載

    利用Python編寫(xiě)簡(jiǎn)單網(wǎng)絡(luò)爬蟲(chóng)實(shí)例

    利用 Python編寫(xiě)簡(jiǎn)單網(wǎng)絡(luò)爬蟲(chóng)實(shí)例2 實(shí)驗(yàn)環(huán)境python版本:3.3.5(2.7下報(bào)錯(cuò)
    發(fā)表于 02-24 11:05 ?14次下載

    如何解決Python爬蟲(chóng)中文亂碼問(wèn)題?Python爬蟲(chóng)中文亂碼的解決方法

    如何解決Python爬蟲(chóng)中文亂碼問(wèn)題?Python爬蟲(chóng)中文亂碼的解決方法 在Python爬蟲(chóng)過(guò)程
    的頭像 發(fā)表于 01-12 15:11 ?3001次閱讀