女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

常見概率分布背后的直覺及相互聯系

zhKF_jqr_AI ? 來源:未知 ? 作者:李倩 ? 2018-10-26 09:20 ? 次閱讀

編者按:Databricks數據科學主管Sean Owen介紹了常見概率分布背后的直覺及相互聯系。

數據科學,不管它到底是什么,其影響力已不可忽視?!皵祿茖W家比任何軟件工程師都更擅長統計學。”你可能在本地的技術聚會或者黑客松上無意中聽到一個專家這么說。應用數學家大仇得報,畢竟從咆哮的二十年代起人們就不怎么談論統計學了。以前聊天的時候,像你這樣的工程師,會因為分析師從來沒聽說過Apache Bikeshed(口水仗)這個分布式評論格式編排項目而發出嘖嘖聲。現在,你卻突然發現人們在聊置信區間的時候不帶上你了。為了融入聊天,為了重新成為聚會的靈魂人物,你需要惡補下統計學。不用學到正確理解的程度,只需學到讓人們(基于基本的觀測)覺得你可能理解了的程度。

數據科學文氏圖

正如數據結構是計算機科學的基礎,概率分布是統計學的基礎。如果你計劃像一個數據科學家一樣聊天,那么概率分布就是你學習的起點。有時候,不怎么理解概率分布的情況下,使用R或scikit-learn就可以完成一些簡單的分析,就像不理解哈希函數也可以編寫Java程序一樣。然而,很快你就會碰到bug和虛假的結果,并為此痛哭流涕,或者更糟:收獲統計學專業人士的嘆息和白眼。

概率分布有數百種,有些聽起來像是中世紀傳說中的怪獸,比如Muth和Lomax。不過,實踐中經常出現的概率分布只有15種。這15種概率分布是什么?關于它們你需要記憶哪些明智的洞見?請看下文。

什么是概率分布?

每時每刻都有各種事件正在發生:骰子擲出、雨滴落下、巴士到站。事件發生之后,特定的結果便確定了:擲出3點加4點,今日的降雨量是半英寸,巴士3分鐘到站。在事件發生之前,我們只能討論結果的可能性。概率分布描述我們對每種結果出現概率的想法,有些時候,我們更關心概率分布,而不是最可能出現的單個結果。概率分布有各種形狀,但大小只有一種:概率分布的概率之和恒等于1.

例如,拋擲一枚勻質硬幣有兩種結果:正面、反面。(假定硬幣落地時不可能以邊緣立起,或者被空中的海鷗偷走。)在扔硬幣之前,我們相信有二分之一的幾率扔到正面,或者說,0.5的概率。扔到反面的概率同理。這是扔硬幣的兩種結果的概率分布。實際上,如果你充分理解了上面的話,那么你已經掌握了伯努利分布。

除了奇異的名字之外,常見分布之間的關系直觀而有趣,所以不管是記憶它們,還是以權威的語氣評論它們,都很容易。例如,不少分布都能很自然地從伯努利分布導出。是時候揭開概率分布的相互關系地圖了。

常見概率分布及其關鍵聯系

上圖中的每種分布都包含相應的概率質量函數或概率密度函數。本文只涉及結果為單個數字的分布,所以橫軸均為可能的數值結果的集合。縱軸描述了結果概率。有些分布是離散的,例如,結果為0到5之間的整數,其概率質量函數圖形為稀疏的直線,每根線表示一種結果,線高表示該結果的概率。有些分布是連續的,例如,結果為-1.32到0.005之間的任意實數,其概率密度函數為曲線,曲線下的面積表示概率。概率質量函數的線高之和,概率密度函數的曲線下面積,總是等于1.

把上面這張圖打印出來放到錢包或坤包中。它能指引你厘清概率分布和它們之間的聯系。

伯努利分布和均勻分布

你已經通過上面扔硬幣的例子接觸過伯努利分布了。扔硬幣有兩個離散的結果——正面或反面。不過,你可以把結果看成0(反面)或1(正面)。這兩種結果發生的可能性都一樣,如下圖所示。

圖片來源:WolframAlpha

伯努利分布可以表示可能性不同的結果,例如拋擲一枚不均勻的硬幣。那么,扔到正面的概率就不是0.5,而是不等于0.5的概率p,扔到反面的概率則是1-p. 和很多分布一樣,伯努利分布實際上是由參數定義的一系列分布(伯努利分布由p定義)。你可以將“伯努利”想象為“扔(可能不均勻的)硬幣”。

圖片來源:probabilitycourse.com

有多個結果,所有結果發生概率相等的分布,則是均勻分布。想象拋擲一枚勻質骰子,結果為1點到6點,出現每種點數的可能性相同。均勻分布可以由任意數目n的結果定義,甚至可以是連續分布。

圖片來源:IkamusumeFan;許可: CC BY-SA 3.0

看到均勻分布,就聯想“投擲一枚均質骰子”。

二項分布和超幾何分布

二項分布可以看成遵循伯努利分布的事件的結果之和。拋擲一枚均質硬幣,扔20次,有多少次扔出正面?這一計數的結果遵循二項分布。它的參數是試驗數n和“成功”(這里的“成功”指正面,或1)的概率p。每次拋擲硬幣得到的是一個遵循伯努利分布的結果,也就是一次伯努利試驗。累計類似拋擲硬幣(每次拋擲硬幣的結果相互獨立,成功的概率保持不變)的事件的成功次數時,想想二項分布。

圖片來源:Tayste(公有領域)

或者,你可以想像一個甕,其中放著數量相等的白球和黑球。閉上你的眼睛,從甕里抽一個球,并記錄它是不是黑球,接著把這個球放回。重復這一過程。你有多少次抽到黑球?這一計數同樣遵循二項分布。

想象這種奇怪的場景是有意義的,因為這讓我們容易解釋超幾何分布。在上面的場景中,如果我們不放回抽取的球,那么結果計數就遵循超幾何分布。毫無疑問,超幾何分布是二項分布的表兄弟,但兩者并不一樣,因為移除球后成功的概率改變了。如果球的總數相對抽取數很大,那么這兩個分布是類似的,因為隨著每次抽取,成功的幾率改變很小。

當人們談論從甕中抽取球而沒有提到放回時,插上一句“是的,超幾何分布”幾乎總是安全的,因為我在現實生活中從來沒碰到任何人真用球裝滿一個甕,接著從中抽球,然后放回。(我甚至不知道誰擁有一個甕。)更寬泛的例子,是從種群中抽取顯著的子集作為樣本。

泊松分布

累計每分鐘呼叫熱線的客戶數?這聽起來像是二項分布,如果你把每一秒看成一次伯努利試驗的話。然而,電力公司知道,停電的時候,同一秒可能有數百客戶呼叫。將它看成60000次毫秒級試驗仍然不能解決這個問題——分割的試驗數越多,發生1次呼叫的概率就越低,更別說2次或更多呼叫了,但是這個概率再低,技術上說,始終不是伯努利試驗。然而,如果n趨向于無限,p趨向于0,相當于在無窮多個無窮小的時間切片上,呼叫概率無窮小,我們就得到了二項分布的極限,泊松分布。

類似二項分布,泊松分布是計數的分布——某事件發生的計數。泊松分布的參數不是概率p和試驗次數n,而是平均發生率λ(相當于np)。試圖累計連續事件發生率,統計一段時間內某事件的發生數時,千萬別忘了考慮泊松分布。

圖片來源:probabilitycourse.com

到達路由的包、到訪商店的客戶、在某種隊列中等待的事物,遇到類似這樣的事情,想想“泊松”。

幾何分布和負二項分布

從伯努利試驗又可以引出另一種分布。在第一次出現正面向上之前,扔出了多少次背面向上的硬幣?這一計數遵循幾何分布。類似伯努利分布,幾何分布由參數p(成功概率)決定。幾何分布的參數不包括試驗數n,因為結果本身是失敗的試驗數。

圖片來源:probabilitycourse.com

如果說伯努利分布是“成功了多少次”,那么幾何分布就是“在成功前失敗了多少次”。

負二項分布是幾何分布的簡單推廣。它是成功r次前失敗的次數。因此,負二項分布有一個額外的參數,r。有時候,負二項式分布指r次失敗前成功的次數。我的人生導師告訴我,成功和失敗取決于你的定義,所以這兩種定義是等價的(前提是概率p與定義保持一致)。

聊天時,如果你想活躍氣氛,那么可以說,顯然,二項分布和超幾何分布是一對,但是幾何分布和負二項分布也很類似,接著提問:“我想說,誰起名字起得這么亂?”

指數分布和威布爾分布

回到客戶支持電話的例子:距下一個客戶呼叫還有多久?這一等待時間的分布聽起來像幾何分布,因為直到終于有客戶呼叫的那一秒為止,無人呼叫的每一秒可以看成失敗。失敗數可以視為無人呼叫的秒數,這幾乎是下一次呼叫的等待時間,但還不夠接近。這次的問題在于,這樣計算出的等待時間總是以整秒為單位,沒有計入客戶最終呼叫的那一秒中的等待時間。

和之前一樣,對幾何分布取極限,趨向無窮小的時間切片,可以奏效。我們得到了指數分布。指數分布精確地描述了下一呼叫前的時間分布。它是一個連續分布,因為結果不一定是整秒。類似泊松分布,指數分布由參數發生率λ決定。

圖片來源:Skbkekas;許可: CC BY 3.0

和二項分布與幾何分布之間的關系相呼應,泊松分布是“給定時間內事件發生了多少次”,指數分布則是“直到事件發生過了多少時間”。給定一個某段時間內發生次數遵循泊松分布的事件,那么事件間隔時間遵循參數λ相同的指數分布。正是基于這兩種分布之間的這一對應關系,在談論兩者之一時提下另一種是很安全的。

涉及“到某事件發生前的時間”(也許是“無故障工作時間”),應該考慮指數分布。實際上,無故障工作時間是如此重要,我們有一種更一般的分布對其加以描述,威布爾分布。指數分布適用于發生率(例如,損毀或故障概率)恒定的情況,威布爾分布則可以建模隨著時間而增加(或減少)的發生率。指數分布不過是威布爾分布的一個特例。

當聊天轉向無故障工作時間時,考慮“威布爾”。

正態分布、對數正態分布、t分布、卡方分布

正態分布,又稱高斯分布,也許是最重要的概率分布。它的鐘形曲線極具辨識度。像自然對數e一樣,神奇的正態分布隨處可見。從同一分布大量取樣——任何分布——然后相加,樣本的和遵循(近似的)正態分布。取樣數越大,樣本之和就約接近正態分布。(警告:必須是非病態分布,必須是獨立分布,僅僅趨向正態分布)。無論原分布是何種分布,這一點均成立,真是令人驚奇。

這稱為中心極限定理,你必須知道這個名詞和它的含義,不然立遭哄笑。

圖片來源:mfviz.com

從這個意義上說,正態分布和所有分布相關。不過,正態分布和累加尤為相關。伯努利實驗的和遵循二項分布,隨著試驗數的增加,二項分布變得越來越接近正態分布。它的表兄弟超幾何分布也是一樣。泊松分布——二項分布的極端形式——也隨著發生率參數的增加而逼近正態分布。

如果對結果取對數,所得遵循正態分布,那么我們就說結果遵循對數正態分布。換句話說,正態分布值的對數遵循對數正態分布。如果和遵循正態分布,那么相應的乘積遵循對數正態分布。

圖片來源:維基百科

學生t-分布是t檢驗的基礎,許多非統計學家在其他學科中接觸過t檢驗。它用于推斷正態分布的均值,隨著其參數的增加而更加接近正態分布。學生t-分布的主要特點是,尾部比正態分布更厚(見下圖所示,紅線為學生t-分布,藍線為標準正態分布)。

圖片來源:IkamusumeFan;許可: CC BY-SA 3.0

如果厚尾的說法不能引起鄰居的驚嘆,那可以講講比較有趣的和啤酒有關的背景故事。一百年前,Guinness使用統計學釀制更好的烈性黑啤酒。在Guinness,William Sealy Gosset研究出了一種新的統計學理論以種出更好的大麥。Gosset說服老板其他釀酒商無法搞明白如何利用這些想法,取得了發表成果的許可,不過是以筆名“學生”發表。Gosset最出名的成果就是學生t-分布,某種程度上而言是以他的名字命名的。

最后,卡方分布是正態分布值的平方和的分布。它是卡方檢驗的基礎??ǚ綑z驗基于觀測值和理論值的差(假定差遵循正態分布)的平方和。

伽瑪分布和貝塔分布

如果都談到卡方分布之類了,那么談話應該算是比較嚴肅的。你可能在和真正的統計學家聊天,到了這個份上,你也許該致歉,表示自己知道的不多,因為伽瑪分布之類的名詞會出現了。伽瑪分布是指數分布和卡方分布的推廣。伽瑪分布通常用作等待時間的復雜模型,這一點上更像指數分布。例如,伽瑪分布可以用來建模接下來第n個事件發生前的時間。在機器學習中,伽瑪分布是一些分布的“共軛先驗”。

圖片來源:維基百科;許可:GPL

別在共軛先驗的對話中插話,不過如果你真的插話了,準備好談論貝塔分布,因為它是上面提到過的大多數分布的共軛先驗。就數據科學家而言,貝塔分布的用途主要在此。不經意地提到這一點,然后朝門口移動。

圖片來源:Horas;許可:公有領域

智慧的開端

概率分布的知識浩如煙海。真正對概率分布感興趣的可以從下面這張所有單元分布的地圖開始。

希望本文能給你一點信心,讓自己看起來知識淵博,并且能融入今日的技術文化。或者,至少能為你提供一種方法,能夠以很高的概率判斷什么時候你應該找一個不那么書呆的雞尾酒會。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據結構
    +關注

    關注

    3

    文章

    573

    瀏覽量

    40587
  • 計算機科學
    +關注

    關注

    1

    文章

    144

    瀏覽量

    11538

原文標題:常見概率分布的直覺與聯系

文章出處:【微信號:jqr_AI,微信公眾號:論智】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    基于labview實現數據不同范圍的不同概率分布

    可以實現任意概率分布和數據范圍的程序,特共享一下,希望對各位有所幫助!現在你們不應該對一些商家的抽獎活動表示幻想了吧。。。都控制了概率的 大概會中大獎的號碼都在內部人員手里 哈哈
    發表于 12-06 17:01

    概率統計-怎么對csv文件進行概率密度函數和累積分布函數

    問一下,怎么對csv文件進行概率密度函數和累積分布函數。
    發表于 02-27 22:19

    一種基帶GMSK信號相關器及其輸出概率分布

    一種基帶GMSK信號相關器及其輸出概率分布該文提出一種基帶GMSK 信號相關器,并從GMSK 解調信號的相位概率分布函數以及獨立同分布隨機變
    發表于 10-28 23:33 ?14次下載

    模2n加整體逼近模2 加產生的噪聲函數的概率分布研究

    模2n加整體逼近模2 加產生的噪聲函數的概率分布研究:該文證明了模2n 加變換以6 種不同的方式整體逼近模2 加時產生的噪聲函數取值概率的數值分布相同,給出了6 種噪聲函數的
    發表于 10-29 13:10 ?20次下載

    一種新的基于概率理論的概率數據互聯濾波器

    該文從理論上分析了用于目標跟蹤的概率數據互聯濾波器(PDAF)和聯合概率數據互聯濾波器(JPDAF)存在的不足,提出了一種新的概率數據
    發表于 11-13 14:26 ?9次下載

    隨機射線的概率分布及其應用

    在使用隨機射線方法建模無線傳播信道時,需要求解以反射次數為指標的無線電波經過若干次反射以后達到特定位置的概率分布。該文使用信息論中的最大熵原理,首先計算在Manhatta
    發表于 11-17 14:05 ?8次下載

    基于Wasserstein距離概率分布模型的非線性降維算法

    降維是大數據分析和可視化領域中的核心問題,其中基于概率分布模型的降維算法通過最優化高維數據模型和低維數據模型之間的代價函數來實現降維。這種策略的核心在于構建最能體現數據特征的概率分布
    發表于 11-24 17:13 ?3次下載

    直覺multiplicative集

    針對軟直覺模糊集在決策中出現的部分反直覺的現象,結合直覺multiplicative集,首先提出了一種新的軟集模型軟直覺multiplicative集,推廣了軟集和
    發表于 11-25 10:35 ?0次下載

    一種線束內串擾概率分布的預測方法

    串擾是電氣、電子系統內部多導體傳輸線間的相互電磁干擾,受其影響系統可靠性往往較差。電纜線束作為典型的多導體傳輸線,其串擾問題顯得尤為突出。針對電纜線束內導線位置的不確定性,提出一種線束內串擾概率分布
    發表于 02-12 15:37 ?2次下載
    一種線束內串擾<b class='flag-5'>概率</b><b class='flag-5'>分布</b>的預測方法

    風電場群功率波動概率密度分布函數

    如何描述風電功率波動的概率密度分布特性一直是風電聯網運行分析領域的難點。在利用概率密度函數法分析風電功率波動特性的基礎上,首先驗證了采用多種單一分布函數模型擬合風電波動
    發表于 02-27 16:32 ?12次下載

    電網頻率概率分布研究

    電網頻率仍然會保持相對穩定,并形成一個概率分布。 搭建了電網頻率測量平臺,分別在湖北和貴州兩地測得電網頻率數據。實測結果表明,這兩地的電網頻率分布形狀相近,與現有研究得出的結論有一定差異。這種電網頻率
    發表于 04-17 11:35 ?4次下載
    電網頻率<b class='flag-5'>概率</b><b class='flag-5'>分布</b>研究

    基于概率分布函數的流程工廠模型拓撲相似度計算

    基于概率分布函數的流程工廠模型拓撲相似度計算
    發表于 06-25 11:48 ?5次下載

    深度學習基本概率分布教程

    在貝葉斯概率論中,如果后驗分布 p(θx)與先驗概率分布 p(θ)在同一概率分布族中,則先驗和后
    發表于 08-02 09:54 ?680次閱讀

    數字量與模擬量的相互聯系與用途

    數字量與模擬量在電子、自動化、通信等多個領域中都扮演著重要角色,它們之間既存在相互聯系,又各有其獨特的用途。以下是對兩者相互聯系與用途的介紹: 一、相互聯系 轉換關系 : 數字量與模擬量之間可以通過
    的頭像 發表于 08-30 09:20 ?1292次閱讀

    防雷接地、防雷工程與防雷檢測的相互聯系和作用

    防雷接地、防雷工程和防雷檢測是雷電防護系統的三大核心環節,三者在實際應用中既獨立開展,又緊密相連,共同構建了一個完整的雷電防護體系。以下是對這三者的作用及其相互聯系的詳細分析。 1. 防雷接地 作用
    的頭像 發表于 11-14 10:32 ?463次閱讀
    防雷接地、防雷工程與防雷檢測的<b class='flag-5'>相互聯系</b>和作用