2016 年發表的《在線凸優化導論》第一版已成為領域內經典書籍。
凸優化是指在最小化(最大化)的優化要求下,目標函數是凸函數,且約束條件所形成的可行域集合是一個凸集的優化方法。由於能夠順序查詢外部數據源,在線凸優化成為獲得凸函數最佳解決方案的方法,並因其在大規模優化和機器學習中的可擴展性而得到了廣泛的普及。近日,由計算機科學家 Elad Hazan 撰寫的經典書籍《在線凸優化導論(Introduction to Online Convex Optimization)》出版了第二版,第一版曾於 2016 年發表。
第二版書籍鏈接:https://arxiv.org/pdf/1909.05207.pdf與第一版類似,這本書將優化視為一個過程。在許多應用中,實際環境非常複雜,要建立一個全面的理論模型,使用經典的算法理論和數學優化是不可行的。因此應用優化方法,在觀察問題更多方面的情況下進行學習,採用穩健的方法是非常必要的。這種將優化視為一個過程的觀點已為各個領域廣泛接受,在建模和多種系統上取得了巨大的成功。隨着機器學習、統計學、決策科學和數學優化方面的研究越來越多,確定性建模、隨機建模和優化方法之間的界限逐漸模糊。該書沿着這一現實趨勢,以在線凸優化 (OCO) 框架為例,講解了 OCO 建模和解決的實際問題,涵蓋嚴格的定義、背景和算法。第 1、2 章介紹了在線凸優化的基礎知識和基本概念;
第 3、4 章系統地介紹了兩類在線凸優化的方法;
第 5 章介紹了正則化的內容;
第 6 章具體介紹了經典框架 Bandit 凸優化(BCO)的內容;
第 7 章講解了無投影算法的內容;
第 8 章從博弈論的角度講解在線凸優化理論;
第 9 章講解了與在線凸優化有關的統計學習理論;
第 10 章介紹了在現實多變的環境中在線凸優化的實際應用問題;
第 11 章主要介紹了機器學習算法 boosting 和在線凸優化算法的衡量指標 regret;
第 12 章講解了在線 boosting 方法及其用途;
第 13 章介紹了 Blackwell 可接近性定理。


《在線凸優化導論》這本書的作者是美國計算機科學家、普林斯頓大學計算機科學系教授 Elad Hazan。
Hazan 教授也是自適應梯度算法 AdaGrad 的作者之一。他主要從事機器學習和數學優化方面的研究工作,特別是學習機制的自動化及其有效算法的實現,並擁有多項專利。乾貨 | 公眾號歷史文章精選
我的深度學習入門路線
我的機器學習入門路線圖
重磅!
AI有道年度技術文章電子版PDF來啦!

掃描下方二維碼,添加AI有道小助手微信,可申請入群,並獲得2020完整技術文章合集PDF(一定要備註:入群+ 地點 + 學校/公司。例如:入群+上海+復旦。

長按掃碼,申請入群
(添加人數較多,請耐心等待)
感謝你的分享,點讚,在看三連