女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

windows下如何新建爬蟲虛擬環境和進行Scrapy安裝

電子設計 ? 來源:電子設計 ? 作者:電子設計 ? 2020-12-25 18:03 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Scrapy是Python開發的一個快速、高層次的屏幕抓取和web抓取框架,用于抓取web站點并從頁面中提取結構化的數據。Scrapy吸引人的地方在于它是一個框架,任何人都可以根據需求方便的修改。Scrapy用途廣泛,可以用于數據挖掘、監測和自動化測試。

1、關于虛擬環境的創建可以參考之前發布的兩篇博文,在Windows下如何創建指定的虛擬環境和在Windows下如何創建虛擬環境(默認情況下)。下面在指定的文件夾下,直接先創建環境,在命令行輸入環境創建命令“virtualenv --python=C:Python34python.exe scrapy_demo”,指定Python的版本和路徑,以及虛擬環境的名字scrapy_demo,其中虛擬環境可以自己進行修改,這里命名為scrapy_demo。

2、爾后進入到scrapy_demo文件夾下,找到Scripts文件夾,輸入activate.bat以激活虛擬環境,步驟如下圖所示。之后可以看到scrapy_demo被括號括起來了,說明進入了環境,在命令行中輸入python,可以看到直接彈出Python3的環境。

3、新建完虛擬環境之后,接下來就開始安裝Scrapy,輸入安裝命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”,后面這個命令是通過豆瓣源鏡像進行下載,速度會快很多,而且較為穩定,建議使用該方法進行安裝,Python中的其他庫也建議用該命令進行安裝,十分的方便快捷。輸入命令之后,等待Scrapy的安裝,如下圖所示。

4、可以看到Scrapy的安裝速度非常快,因為我們使用了鏡像進行下載。不過稍等片刻之后可能會碰到timeout的問題,這是由于Scrapy安裝的過程中需要很多依賴包,導致下載過程中會遇到網絡延時的問題,此時只需要重新輸入安裝命令進行安裝即可。除了timeout的問題之外,可能還會碰到下圖這個問題。

5、這個問題的出現是因為缺乏Twisted依賴包,此時通過“pip install twisted”可能有問題,在Python包網站,里邊的Python包專門用于Windows下的安裝的。在網頁中找到Twisted安裝包,然后選擇本機Python對應版本和電腦系統位數的安裝包,小編的電腦是64位的,而且Python版本是Python3.4,所以下載的包如下圖紅色框框所示。

審核編輯:符乾江
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • WINDOWS
    +關注

    關注

    4

    文章

    3613

    瀏覽量

    91392
  • 應用軟件
    +關注

    關注

    0

    文章

    53

    瀏覽量

    9283
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Windows環境32位匯編語言中文資料

    電子發燒友網站提供《Windows環境32位匯編語言中文資料.rar》資料免費下載
    發表于 06-30 15:14 ?0次下載

    迅為RK3588開發板RKLLM-Toolkit 環境搭建安裝 Miniconda

    Conda 是一個開源的軟件包管理系統和環境管理系統,它可以用于安裝、管理和升級軟件 包和依賴項,我們這里使用conda 的目的只是構建一個虛擬環境,所以選擇輕量話的miniconda
    發表于 06-03 17:06

    不借助Linux系統,在Windows如何搭建ZMC900E交叉編譯環境

    不需要依賴笨重的虛擬機,也不需要安裝雙系統。拋開繁瑣的環境準備,在Windows上輕松搭建交叉編譯環境。本文將介紹如何在
    的頭像 發表于 05-21 11:34 ?238次閱讀
    不借助Linux系統,在<b class='flag-5'>Windows</b><b class='flag-5'>下</b>如何搭建ZMC900E交叉編譯<b class='flag-5'>環境</b>

    ?如何在虛擬環境中使用 Python,提升你的開發體驗~

    RaspberryPiOS預裝了Python,你需要使用其虛擬環境安裝包。今天出版的最新一期《TheMagPi》雜志刊登了我們文檔負責人NateContino撰寫的一篇實用教程,幫助你入門
    的頭像 發表于 03-25 09:34 ?331次閱讀
    ?如何在<b class='flag-5'>虛擬環境</b>中使用 Python,提升你的開發體驗~

    IP地址數據信息和爬蟲攔截的關聯

    多樣的數據,那么我們應該怎么利用IP地址信息來對爬蟲行為進行識別呢? 訪問頻率異常的大概率是爬蟲行為 正常用戶訪問:瀏覽網站時,操作速度會受到人類行為習慣的限制,通常會在頁面上停留一定時間進行
    的頭像 發表于 12-23 10:13 ?377次閱讀

    Ubuntu系統的虛擬安裝步驟 如何在Ubuntu系統上編譯軟件

    updatesudo apt install virtualbox 2. 下載虛擬機鏡像 你需要一個操作系統的ISO鏡像文件來安裝虛擬機。你可以從操作系統的官方網站下載ISO文件,例如Win
    的頭像 發表于 12-12 14:36 ?1235次閱讀

    如何在Windows安裝Ubuntu系統

    Windows安裝Ubuntu系統通常有兩種方法:使用虛擬機軟件安裝Ubuntu作為虛擬機,或者使用雙啟動
    的頭像 發表于 12-12 14:29 ?2077次閱讀

    Hyper-V創建虛擬機配置IP等網絡配置原理(Linux、Windows為例)

    大家知道Windows系統里面內置了Hyper-V管理器,用來創建和管理本地虛擬環境。今天我創建了兩臺虛擬機,一臺是CentOS7.9(Linux),另一臺是
    的頭像 發表于 12-09 10:24 ?4430次閱讀
    Hyper-V創建<b class='flag-5'>虛擬</b>機配置IP等網絡配置原理(Linux、<b class='flag-5'>Windows</b>為例)

    如何在虛擬機上安裝deepin系統

    如果你想在 Windows、macOS 或 Linux 發行版上體驗 deepin 系統,但又不想冒險破壞現在的電腦系統環境,通過虛擬機來安裝則是一個理想的選擇。
    的頭像 發表于 12-05 14:43 ?1099次閱讀
    如何在<b class='flag-5'>虛擬</b>機上<b class='flag-5'>安裝</b>deepin系統

    干貨!基于RK3568的 AI 人工智能環境搭建步驟

    ==3.11 7、進入虛擬環境 conda activate rk3568-python 8、安裝opencv-python pip install opencv-python - i https
    發表于 11-12 09:43

    Docker運行環境安裝

    、發布、測試和部署,可以幫助開發人員將最新版本代碼應用到生產環境中。 Docker可以安裝在多個平臺中,包括Mac、Windows和Linux。不過,生產環境還是推薦在Linux上運行
    的頭像 發表于 10-29 11:28 ?662次閱讀

    全球視野的海外爬蟲IP:趨勢、機遇與風險

    在全球視野,海外爬蟲IP的使用呈現出一系列趨勢,同時也伴隨著機遇與風險。
    的頭像 發表于 10-15 07:54 ?535次閱讀

    如何利用海外爬蟲IP進行數據抓取

    利用海外爬蟲IP進行數據抓取需要綜合考慮多個方面。
    的頭像 發表于 10-12 07:54 ?589次閱讀

    Vmware虛擬安裝

    注意:學習資料可在ElfBoard官方網站“資料”專區獲取。 一、Vmware虛擬安裝 本文主要介紹VMware虛擬機的安裝,以VMware workstation 15 Pro v
    發表于 08-10 14:18

    使用NVIDIA Edify助力的服務創建3D資產和虛擬環境照明

    使用 NVIDIA Edify 助力的服務創建 3D 資產和虛擬環境照明,或是減半生成圖像時間。
    的頭像 發表于 08-02 15:22 ?1029次閱讀