神經網絡中的遺忘

兩種遺忘方式的對比

查找記憶的刪除是一條一條的刪，而網絡記憶的刪除是斷開連接。

學習中的遺忘

學習的過程是尋找符合所有情況的規律的過程

在這個過程中，有時候我們的大腦會斷開連接，有時候又會重塑連接

假設猜想：如果我們的大腦不會斷開連接，那么我們便會，只知道解決學習時已見過的情況，而不會解決未見過的情況。這樣的“學習”只能是記憶，記憶所有信息，卻不能找到共同的規律。（網絡的過擬合）

案例驗證：比如現實生活中的雨人，他看完了一本書記住了里面的所有內容，但他日常生活能力低下，四歲才會走路，現在都還不會系扣子，智力測試也只有87分。

學習后的遺忘

為什么已經被記住的內容還是會遺忘？

生存困難：尋找到普遍性的規律的生物，有大概率能存活，而只尋找到局部規律的生物，存活的概率變便很小。

演化結果：所以，大腦演化出一種該規律多次出現就強化該連接，出現次數少便弱化該連接的機制。這并不是為了忘記痛苦的記憶，或者節省能量，而是為了抑制局部規律形成的過擬合。

“ 你忘記所有的招式，就練成太極拳了”

原文：“太極拳只重其義，不重其招。你忘記所有的招式，就練成太極拳了。”

解釋：“忘記”并非字面意思，而是意為不要僅記住個別招式，而失去了應對無限情況的能力。這里的招式是“已知”，“情況”是指任何情況，包括已知，也包括未知。由于人腦的長期記憶也不是查找記憶，并不會去記憶每個情況，所以練太極拳的過程并不是記憶的過程，而是學習的過程。讓大腦的神經網絡從這些有限的招式中泛化出普遍規律，便可自動應對無限情況。

翻譯：”情況無限，招式有限，需泛化有限招式，來應對無限情況。”

總結

學習中的遺忘：由于尋找規律（學習）的過程中需要不斷的斷開連接，重塑連接（不斷調整權重，構建模型）

學習后的遺忘：為了提高泛化能力，防止模型的過擬合，根據連接的使用頻率，強化或弱化該連接的一種模型篩選機制。