鑽石舞台

本文是 MAD Skills 系列中有關 Hilt 的第四篇文章！在本文中，我們將探討如何編寫自定義的 Hilt 擴展。如果您需了解本系列前三篇文章，請查閱:

Hilt 介紹

Hilt 測試最佳實踐

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

本文是 MAD Skills 系列中有關 Hilt 的第三篇文章。我們將深入探討 Hilt 的工作原理。如果您需了解本系列前兩篇文章，請查閱:

Hilt 介紹

Hilt 測試最佳實踐

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

本文是 MAD Skills 系列中有關 Hilt 的第二篇文章。這次我們聚焦如何使用 Hilt 編寫測試，以及一些需要注意的最佳實踐。

Hilthttps://dagger.dev/hilt/

如果您更喜歡通過視頻了解此內容，可以在此處查看:

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

本文是 NeurIPS 2021入選論文《用簡單的梯度下降算法逃離鞍點（Escape saddle points by a simple gradient-descent based algorithm）》的解讀。該工作由北京大學前沿計算研究中心李彤陽課題組完成，探討了優化理論中的一個重要問題：如何設計簡單的、單循環結構的優化算法，使其可以有理論保證地逃離非凸目標函數中的鞍點。

圖文 | 張辰逸、李彤陽

PKU QUARK Lab

論文地址：https://arxiv.org/abs/2111.14069

1

問題介紹

非凸優化（nonconvex optimization）是優化理論的核心研究領域之一，因為許多前沿機器學習問題都具有非凸的損失函數，包括深度神經網絡、主成分分析、張量分解等。在最壞的情況下，找到非凸函數的全局最小值屬於 NP-hard 問題。不過最近的許多實證與理論工作都表明，對於大量有着廣泛應用的機器學習問題，所有局部最小值幾乎都與全局最小值相等。因此，許多理論工作專注於尋找局部最優解而不是全局最優解。在這些工作中，鞍點成為了設計算法的主要障礙，因為高維的非凸目標函數可能含有大量鞍點，且它們往往具有遠大於全局最優解的函數值。

因此，逃離鞍點是非凸優化理論中最重要的問題之一。具體來說，對於二階可導的維函數，我們的目標是找到一個近似的局部最優解。近期的實證研究表明，現實世界中複雜的機器學習問題往往可以被簡單的算法有效解決，這些算法在實踐中也可以更容易地實現與維護。與之相反，具有嵌套循環結構的優化算法在問題規模增長時往往具有較大的開銷，或存在調參不便、數值穩定性較弱等問題，使它們較難找到實際應用。出於這一考量，現有的逃離鞍點的研究多聚焦於開發基於梯度下降的，具有單循環結構的簡單優化算法。在本文之前，最先進的算法為 Jin 等人提出的擾動加速梯度下降算法（perturbed accelerated gradient descent, PAGD），它可以在次循環內找到一個近似的局部最優解。

2

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()