鑽石舞台

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

機器之心轉載

作者：思悥

隨着統計機器學習的逐漸成熟， 現在已經是時候打破孤立學習地傳統模式，轉而研究終身學習， 將機器學習推向嶄新的高度。

一、什麼是終身學習(Life-Long Machine Learning)？

終身機器學習(或稱終身學習)是一種高級的機器學習範式， 它通過不斷學習，從過去的任務當中積累知識，並用這些知識幫助未來的學習。在這樣的過程中，學習者的知識越來越豐富，學習效率也越來越高。這種學習能力的特質是人類智力的重要標誌。

然而， 當前主流的機器學習範式是孤立學習的：給定訓練數據集， 算法直接通過該訓練集來生成模型(從假設空間中搜索最優或近似最優的假設)。它不會試圖保留所學的知識，來提高未來的學習效率。雖然這種孤立學習範式已經取得了很大的成功， 但它需要大量的訓練實例，並且只適用於定義明確而且範圍狹窄的極其有限任務。相比之下， 我們人類則可以通過幾個例子有效地學習， 這是因為我們在過去積累了如此多的知識。這種積累的先驗知識使我們能夠通過很少的數據或者付出較小的努力來高效地學習新的事物。終身學習旨在使機器學習模型具備這種能力。

隨着統計機器學習的逐漸成熟， 現在已經是時候打破孤立學習地傳統模式，轉而研究終身學習， 將機器學習推向嶄新的高度。智能助手、聊天機器人和物理機器人等應用也都在迫切地需要這種終身學習能力。果沒有積累所學知識並使用它來逐步學習更多知識的能力， 一個系統可能永遠不會是真正的智能系統。[1]

Life Long Learning

近年來，終身學習(LLL)在深度學習界引起了極大的關注， 它通常被稱為持續學習(Continual Learning)。雖然度神經網絡(DNNs)在許多機器學習任務中取得了最好的性能， 但基於聯結主義的深度學習算法存在着災難性的遺忘的問題， 這使得實現持續學習的目標變得非常困難。當使用神經網絡學習序列任務時， 模型在學習新的任務後可能因為災難性遺忘的問題而導致模型在舊任務的表現變得很差。然而，我們的人腦卻有這種非凡的能力， 能夠學習大量不同的任務， 而不會出現任何負面的相互干擾。持續學習(Continual Learning)算法試圖為神經網絡實現同樣的能力， 並解決災難性的遺忘問題。因此， 從本質上講， 持續學習執行的是對新任務的增量學習(Incremental Learning)。

然而與許多其他Life Long Learning技術不同， 當前持續學習算法的重點並不是如何利用在以前任務中學到的知識來幫助更好地學習新任務。而是重點在於解決災難性遺忘的問題。

二、什麼是災難性的遺忘[2]？

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()