女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

數據庫連接池的設置怎么確定大小

汽車玩家 ? 來源:今日頭條 ? 作者:Java的小本家 ? 2020-05-04 14:23 ? 次閱讀

數據庫連接池的配置是開發者們常常搞出坑的地方,在配置數據庫連接池時,有幾個可以說是和直覺背道而馳的原則需要明確。

1萬并發用戶訪問

想象你有一個網站,壓力雖然還沒到Facebook那個級別,但也有個1萬上下的并發訪問——也就是說差不多2萬左右的TPS。那么這個網站的數據庫連接池應該設置成多大呢?結果可能會讓你驚訝,因為這個問題的正確問法是:

“這個網站的數據庫連接池應該設置成多小呢?”

下面這個視頻是Oracle Real World Performance Group發布的,請先看完:http://www.dailymotion.com/video/x2s8uec

因為這視頻是英文解說且沒有字幕,我替大家做一下簡單的概括:

視頻中對Oracle數據庫進行壓力測試,9600并發線程進行數據庫操作,每兩次訪問數據庫的操作之間sleep 550ms,一開始設置的中間件線程池大小為2048:

數據庫連接池的設置怎么確定大小

壓測跑起來之后是這個樣子的:

數據庫連接池的設置怎么確定大小

每個請求要在連接池隊列里等待33ms,獲得連接后執行SQL需要77ms

此時數據庫的等待事件是這個熊樣的:

數據庫連接池的設置怎么確定大小

各種buffer busy waits,數據庫CPU在95%左右(這張圖里沒截到CPU)

接下來,把中間件連接池減到1024(并發什么的都不變),性能數據變成了這樣:

數據庫連接池的設置怎么確定大小

獲取鏈接等待時長沒怎么變,但是執行SQL的耗時減少了。

下面這張圖,上半部分是wait,下半部分是吞吐量

數據庫連接池的設置怎么確定大小

能看到,中間件連接池從2048減半之后,吐吞量沒變,但wait事件減少了一半。

接下來,把數據庫連接池減到96,并發線程數仍然是9600不變。

數據庫連接池的設置怎么確定大小

隊列平均等待1ms,執行SQL平均耗時2ms。

數據庫連接池的設置怎么確定大小

wait事件幾乎沒了,吞吐量上升。

沒有調整任何其他東西,僅僅只是縮小了中間件層的數據庫連接池,就把請求響應時間從100ms左右縮短到了3ms。

But why?

為什么nginx只用4個線程發揮出的性能就大大超越了100個進程的Apache HTTPD?回想一下計算機科學的基礎知識,答案其實是很明顯的。

即使是單核CPU的計算機也能“同時”運行數百個線程。但我們都[應該]知道這只不過是操作系統用時間分片玩的一個小把戲。一顆CPU核心同一時刻只能執行一個線程,然后操作系統切換上下文,核心開始執行另一個線程的代碼,以此類推。給定一顆CPU核心,其順序執行A和B永遠比通過時間分片“同時”執行A和B要快,這是一條計算機科學的基本法則。一旦線程的數量超過了CPU核心的數量,再增加線程數系統就只會更慢,而不是更快。推薦:多線程內容聚合

這幾乎就是真理了……

有限的資源

上面的說法只能說是接近真理,但還并沒有這么簡單,有一些其他的因素需要加入。當我們尋找數據庫的性能瓶頸時,總是可以將其歸為三類:CPU、磁盤、網絡。把內存加進來也沒有錯,但比起磁盤和網絡,內存的帶寬要高出好幾個數量級,所以就先不加了。

如果我們無視磁盤和網絡,那么結論就非常簡單。在一個8核的服務器上,設定連接/線程數為8能夠提供最優的性能,再增加連接數就會因上下文切換的損耗導致性能下降。數據庫通常把數據存儲在磁盤上,磁盤又通常是由一些旋轉著的金屬碟片和一個裝在步進馬達上的讀寫頭組成的。

讀/寫頭同一時刻只能出現在一個地方,然后它必須“尋址”到另外一個位置來執行另一次讀寫操作。所以就有了尋址的耗時,此外還有旋回耗時,讀寫頭需要等待碟片上的目標數據“旋轉到位”才能進行操作。使用緩存當然是能夠提升性能的,但上述原理仍然成立。

在這一時間段(即"I/O等待")內,線程是在“阻塞”著等待磁盤,此時操作系統可以將那個空閑的CPU核心用于服務其他線程。所以,由于線程總是在I/O上阻塞,我們可以讓線程/連接數比CPU核心多一些,這樣能夠在同樣的時間內完成更多的工作。

那么應該多多少呢?這要取決于磁盤。較新型的SSD不需要尋址,也沒有旋轉的碟片。可別想當然地認為“SSD速度更快,所以我們應該增加線程數”,恰恰相反,無需尋址和沒有旋回耗時意味著更少的阻塞,所以更少的線程[更接近于CPU核心數]會發揮出更高的性能。只有當阻塞創造了更多的執行機會時,更多的線程數才能發揮出更好的性能。

網絡和磁盤類似。通過以太網接口讀寫數據時也會形成阻塞,10G帶寬會比1G帶寬的阻塞少一些,1G帶寬又會比100M帶寬的阻塞少一些。不過網絡通常是放在第三位考慮的,有些人會在性能計算中忽略它們。

數據庫連接池的設置怎么確定大小

上圖是PostgreSQL的benchmark數據,可以看到TPS增長率從50個連接數開始變緩。在上面Oracle的視頻中,他們把連接數從2048降到了96,實際上96都太高了,除非服務器有16或32顆核心。

計算公式

下面的公式是由PostgreSQL提供的,不過我們認為可以廣泛地應用于大多數數據庫產品。你應該模擬預期的訪問量,并從這一公式開始測試你的應用,尋找最合適的連接數值。

連接數 = ((核心數 * 2) + 有效磁盤數)

核心數不應包含超線程(hyper thread),即使打開了hyperthreading也是。如果活躍數據全部被緩存了,那么有效磁盤數是0,隨著緩存命中率的下降,有效磁盤數逐漸趨近于實際的磁盤數。這一公式作用于SSD時的效果如何尚未有分析。

按這個公式,你的4核i7數據庫服務器的連接池大小應該為((4 * 2) + 1) = 9。取個整就算是是10吧。是不是覺得太小了?跑個性能測試試一下,我們保證它能輕松搞定3000用戶以6000TPS的速率并發執行簡單查詢的場景。如果連接池大小超過10,你會看到響應時長開始增加,TPS開始下降。擴展:用了這么久的數據庫連接池,你知道原理嗎?

筆者注:這一公式其實不僅適用于數據庫連接池的計算,大部分涉及計算和I/O的程序,線程數的設置都可以參考這一公式。我之前在對一個使用Netty編寫的消息收發服務進行壓力測試時,最終測出的最佳線程數就剛好是CPU核心數的一倍。

公理:你需要一個小連接池,和一個充滿了等待連接的線程的隊列

如果你有10000個并發用戶,設置一個10000的連接池基本等于失了智。1000仍然很恐怖。即是100也太多了。你需要一個10來個連接的小連接池,然后讓剩下的業務線程都在隊列里等待。連接池中的連接數量應該等于你的數據庫能夠有效同時進行的查詢任務數(通常不會高于2*CPU核心數)。

我們經常見到一些小規模的web應用,應付著大約十來個的并發用戶,卻使用著一個100連接數的連接池。這會對你的數據庫造成極其不必要的負擔。

請注意

連接池的大小最終與系統特性相關。

比如一個混合了長事務和短事務的系統,通常是任何連接池都難以進行調優的。最好的辦法是創建兩個連接池,一個服務于長事務,一個服務于短事務。

再例如一個系統執行一個任務隊列,只允許一定數量的任務同時執行,此時并發任務數應該去適應連接池連接數,而不是反過來。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • SQL
    SQL
    +關注

    關注

    1

    文章

    780

    瀏覽量

    44803
  • 數據庫
    +關注

    關注

    7

    文章

    3900

    瀏覽量

    65769
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    從Delphi、C++ Builder和Lazarus連接到MySQL數據庫

    ? 從 Delphi、C++ Builder 和 Lazarus 連接到 MySQL 數據庫 MySQL 數據訪問組件(MyDAC)是一個組件,提供從 Delphi 和 C++ Bu
    的頭像 發表于 01-20 13:47 ?595次閱讀
    從Delphi、C++ Builder和Lazarus<b class='flag-5'>連接</b>到MySQL<b class='flag-5'>數據庫</b>

    適用于MySQL和MariaDB的Python連接器:可靠的MySQL數據連接器和數據庫

    和 Linux 的 wheel 包分發。 直接連接 該解決方案使您能夠通過 TCP/IP 建立與 MySQL 或者 MariaDB 數據庫服務器的直接連接,而無需數據庫客戶端
    的頭像 發表于 01-17 12:18 ?427次閱讀
    適用于MySQL和MariaDB的Python<b class='flag-5'>連接</b>器:可靠的MySQL<b class='flag-5'>數據</b><b class='flag-5'>連接</b>器和<b class='flag-5'>數據庫</b>

    從Delphi、C++ Builder和Lazarus連接到Oracle數據庫

    從 Delphi、C++ Builder 和 Lazarus 連接到 Oracle 數據庫 Oracle 數據訪問組件 (ODAC) 是一個組件,它為 32 位和 64 位平臺提供從
    的頭像 發表于 01-15 10:01 ?702次閱讀

    MySQL數據庫的安裝

    MySQL數據庫的安裝 【一】各種數據庫的端口 MySQL :3306 Redis :6379 MongoDB :27017 Django :8000 flask :5000 【二】MySQL 介紹
    的頭像 發表于 01-14 11:25 ?479次閱讀
    MySQL<b class='flag-5'>數據庫</b>的安裝

    數據庫是哪種數據庫類型?

    數據庫是一種部署在虛擬計算環境中的數據庫,它融合了云計算的彈性和可擴展性,為用戶提供高效、靈活的數據庫服務。云數據庫主要分為兩大類:關系型數據庫
    的頭像 發表于 01-07 10:22 ?402次閱讀

    數據庫數據恢復—Mysql數據庫表記錄丟失的數據恢復流程

    Mysql數據庫故障: Mysql數據庫表記錄丟失。 Mysql數據庫故障表現: 1、Mysql數據庫表中無任何數據或只有部分
    的頭像 發表于 12-16 11:05 ?518次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—Mysql<b class='flag-5'>數據庫</b>表記錄丟失的<b class='flag-5'>數據</b>恢復流程

    數據庫事件觸發的設置和應用

    數據庫無論對于生產管理還是很多的實際應用都非常重要。小編這次聊一下數據庫事件觸發的應用。示例使用了postgresql和Python。
    的頭像 發表于 12-13 15:14 ?543次閱讀

    數據庫數據恢復—MYSQL數據庫ibdata1文件損壞的數據恢復案例

    mysql數據庫故障: mysql數據庫文件ibdata1、MYI、MYD損壞。 故障表現:1、數據庫無法進行查詢等操作;2、使用mysqlcheck和myisamchk無法修復數據庫
    的頭像 發表于 12-09 11:05 ?509次閱讀

    oracle數據恢復—存儲掉盤導致Oracle數據庫文件大小變為0kb的數據恢復案例

    存儲掉盤超過上限,lun無法識別。管理員重組存儲的位圖信息并導出lun,發現linux操作系統上部署的oracle數據庫中有上百個數據文件的大小變為0kb。數據庫
    的頭像 發表于 11-21 11:29 ?402次閱讀
    oracle<b class='flag-5'>數據</b>恢復—存儲掉盤導致Oracle<b class='flag-5'>數據庫文件大小</b>變為0kb的<b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    一個運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一個NDF文件,每個NDF幾百GB大小。數據庫
    的頭像 發表于 10-31 13:21 ?603次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    怎么在JAVA中確定線性大小

    在JAVA中確定線性大小,分別介紹CPU密集型任務和I/O密集型任務及其處理方法。
    的頭像 發表于 10-24 14:02 ?415次閱讀

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?624次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    恒訊科技分析:sql數據庫怎么用?

    。 2、安裝數據庫軟件: 在您的服務器或本地計算機上安裝所選的數據庫軟件。 3、配置數據庫服務器: 根據需要配置數據庫服務器設置,包括內存分
    的頭像 發表于 07-15 14:40 ?552次閱讀

    數據庫數據恢復—SQL Server數據庫所在分區空間不足報錯的數據恢復案例

    Server數據庫故障: 存放SQL Server數據庫的D盤分區容量不足,管理員在E盤中生成了一個.ndf的文件并且將數據庫路徑指向E盤繼續使用。數據庫繼續運行一段時間后出現故障
    的頭像 發表于 07-10 13:54 ?844次閱讀

    使用mybatis切片實現數據權限控制

    一、使用方式 數據權限控制需要對查詢出的數據進行篩選,對業務入侵最少的方式就是利用mybatis或者數據庫連接池的切片對已有業務的sql進行修改。切片邏輯完成后,僅需要在業務中加入少量
    的頭像 發表于 07-09 17:26 ?646次閱讀
    使用mybatis切片實現<b class='flag-5'>數據</b>權限控制