灣仔298電腦資訊網 報導

一支來自阿爾伯塔大學的AI研究團隊和計算機科學家發現，目前的深度學習人工網絡在面對新數據進行長時間訓練時，會逐漸喪失學習能力。在《Nature》期刊上發表的研究中，他們揭示了一種能解決這些問題的方法，通過增強AI系統的可塑性，使其在監督學習和強化學習中可以持續學習。

過去幾年，AI系統已成為主流技術，其中的大型語言模型（LLM）能夠讓聊天機器人給出看似智慧的回應。然而，這些系統普遍存在一個缺陷，即在使用過程中無法繼續學習，這導致它們在處理新數據集時無法變得更加精確，甚至無法再提高智能水平。

研究人員對傳統神經網絡在原始數據集訓練後的持續學習能力進行了測試，並發現了所謂的「災難性遺忘」現象，即系統在訓練新材料後失去了完成原有任務的能力。這一結果是合理的，因為LLM被設計為順序學習系統，並依賴於固定數據集進行學習。然而，研究團隊還發現，當這些系統在多個任務上進行順序訓練時，會完全失去學習的能力，即所謂的可塑性喪失。

(Plasticity loss in Continual ImageNet. Credit: Nature (2024). DOI: 10.1038/s41586-024-07711-7)

為了解決這一問題，研究人員提出通過重新設置網絡節點之間的權重來保持系統的可塑性，使其能夠在額外的訓練數據集上繼續學習。人工神經網絡中的權重是節點之間的信號強度度量，會受到數學計算結果的影響。通過使用初始化系統時採用的相同方法來重置訓練會話之間的權重，系統將能夠保持可塑性，並持續學習新數據。

新聞來源：techxplore.com

[完]

對於以上消息，各位298電腦讀者又怎看呢？

歡迎到我們的<<討論區>>分享你的意見。

另外，如果你有什麼新的資訊想讓廣大的電腦愛好者知道，也可以主動向我們編輯部電腦記者報料，報料電郵：info@wanchai298.com

若有任何廣告合作，亦歡迎電郵我們商談。

灣仔298電腦資訊網
免費網上電腦雜誌，電腦IT人集中地!

網址：www.wanchai298.com

298電腦Whatsapp粉絲群：https://wanchai298.com/fans