MLOps 和 AIOps 是兩個聽起來比較相似的術語,用於指代當今行業內截然不同的兩個學科。自從幾年前引入這些術語以來,Google Zeitgeist 對它們的關注激增,正如谷歌趨勢的圖表所示。
隨着時間的推移,Google Zeitgeist 對 MLOps 和 AIOps 的關注度趨勢
然而,除了少數從事這些領域項目的從業者之外,對於大多數人或對該領域有興趣的人來說,MLOps 和 AIOps 的概念及其各自優勢,都顯得模稜兩可,甚至認為沒有差別。根據我的經驗,這有兩個原因。
首先,MLOps 和 AIOps 都隱含了對 DevOps 更廣泛理解實踐的引用。這讓人不禁好奇——MLOps 和 AIOps 與 DevOps 有關嗎?它們是從它派生出來的嗎?如果是這樣,它們又有何不同?
第二點便是關於 ML 與 AI 的區別,因為它們經常被互換使用。那它們是否一樣?是否具有連續性?如何是,兩者的終點和起點又分別在哪裡?
我們必須先回答這些問題才能更好地理解 MLOps 和 AIOps,記住這些問題,我們將在本文的最後進行回復。
同樣重要的是,我們要知道目前這兩種學科相對來說還是處於嬰兒期。術語 MLOps 和 AIOps 的出現也僅有 6-7 年,相對於其語義、應用程序和好處的可理解性而言,這意味着它們的炒作 / 流行因素目前很高。這種情況可能會持續一段時間,直到技術成熟,用例變得更加普遍和廣泛理解。
O'Reilly 在《2021 年企業人工智能應用報告》中使用這個引人注目的餅狀圖說明了這一點,該餅圖顯示,只有四分之一的受訪者表示他們已經成熟部署了人工智能技術。
ML/AI 技術的成熟度(來源:O'Reilly)
據報道,該技術成熟採用的主要障礙是缺乏技術人員、數據質量存在問題、難以識別相關業務用例、缺乏公司文化支撐以及技術基礎設施問題。該報告還發現,目前用於部署、監控、版本控制和跟蹤模型和訓練數據的工具之間明顯缺乏標準化。
考慮到這些挑戰,今天非該領域從業者在關於 MLOps 和 AIOps 技術、工具集和實踐的可理解性上存在障礙也就不足為奇了。
在這篇文章中,我將闡明 MLOps 和 AIOps 的各自含義,它們旨在解決哪些問題,以及對於希望將其採用到其產品和服務構建策略中的團隊來說,存在哪些工具。
在此之前,我們必須快速了解一下 DevOps 的概念,根據它的含義和解決的問題來構建上下文。這將有助於我們更好地理解 MLOps 和 AIOps 的基本原理,並明確它們之間的區別。
DevOps 在 2007 年左右開始成為主流,以應對一個常見的組織問題,該問題影響了產品團隊快速交付軟件的能力。雖然遵循敏捷方法,但發布軟件版本並將其部署到生產環境中,仍需要數周甚至數月的時間。
原因在於,開發團隊和運營團隊,各自為營。他們向組織內的不同執行領導匯報工作,彼此獨立工作,有時甚至在一棟大樓的不同樓層或不同的大樓里工作。
DevOps 則是一種讓開發人員和運營團隊在軟件開發生命周期(SDLC)的每個階段共同協作的方式,並共享共同的目標和 KPI,這樣使用敏捷可以更頻繁地交付高質量的軟件。
DevOps 的核心是三件事:
多學科技能:DevOps 團隊共同具備編寫、測試、部署、監控和管理產品堆棧組件的能力,包括核心代碼、持久性存儲、數據庫以及正在使用的任何第三方庫和服務。在此過程中,消除孤島。
工具:工具幫助並加速軟件版本控制、自動化和監視,以便軟件能夠以連續的方式開發和部署。這稱為持續集成和持續部署(CICD)。
流程:DevOps 團隊遵循敏捷方法,將路線圖項目分解為較小的里程碑和任務。他們使用長篇故事和故事作為衝刺計劃的一部分,將工作分配給團隊成員。開發和運維之間的緊密聯繫確保了每個人在即將發布的版本方面都處於同一頁面上。這樣避免了意外,並加快了高質量產品和服務的交付速度。
DevOps 生命周期有六個階段,此處使用眾所周知的 Infinity Loop 進行演示。
DevOps Lifecycle Infinity Loop(來源:Atlassian)
在此上下文中,讓我們深入了解 MLOps。
MLOps 在 2015 年左右開始嶄露頭角,它承諾解決機器學習管道端到端交付的關鍵操作問題,類似於 DevOps 在近十年前解決的問題。
你一定想知道 - 機器學習管道的這些問題具體是什麼?為了讓它更具體,先看一下典型的 ML 管道(來源:Gartner)是什麼樣的,
典型的 ML Pipeline(來源:Gartner)
要操作這一流程,必須具備三種不同的技能。首先,數據管道本身是數據來源、清理和轉換的地方,數據歸數據工程師所有。然後是對訓練數據集的管理,接着是模型的創建和驗證,這些都屬於數據科學家。最後,部署、監視和持續維護屬於操作部門。
因此,我們有三個具有專業技能的團隊,他們需要相互協調,以端到端的方式擁有和運營整個管道。如果這些團隊在孤島後面獨立運作,並且無法使用敏捷實踐進行協作,則會導致整個產品的交付延遲和質量問題。
回想一下,這些問題與 DevOps 要解決的問題類似,當擁有專業技能的團隊但是團隊之間沒有緊密協作時,就會出現這些問題。所以在這方面,你可以把 MLOps 看作是 DevOps 原則在機器學習管道中的應用。DevOps 是一個由開發人員和 IT/ 運維人員組成的多學科團隊,而 MLOps 則加入了數據工程師和數據科學家,消除了他們之間的隔閡。
MLOps 生命周期有九個階段,此處使用 DevOps Infinity 循環的修改版本進行演示。
MLOps 生命周期無限循環(來源:Neal Analytics)
術語 AIOps(IT 運營的人工智能)是由 Gartner 在 2016 年創造的,但與 MLOps 不同,它幾乎與 DevOps 沒有任何關係! 相反,它指的是使用智能算法解決已知的 IT 問題,並自動化重複的工作。
在我們深入探討 AIOps 之前,這是重新審視並回答我們在文章開頭提出的兩個問題的最佳時機。這將使接下來的內容更易理解。
問題 1:MLOps 和 AIOps 是否與 DevOps 相關?如果是這樣,如何?
是的,MLOps 與 DevOps 相關,因為它將 DevOps 的多學科和敏捷原則引入了 ML 管道。MLOps 使數據工程、數據科學和運營團隊能夠更高效地管理這些管道。
不,AIOps 與 DevOps 無關,AIOps 指的是使用智能算法解決已知的 IT 問題,並自動化重複的工作。AIOps 使 IT 團隊更加高效。
問題 2:由於 ML 和 AI 傾向於互換使用,那麼它們在 MLOps 和 AIOps 這兩個詞中的含義是什麼?
在 MLOps 上下文中,ML 指的是完整的機器學習管道,包括數據源和清理、模型創建和驗證以及部署和監控。
在 AIOps 中,AI / ML 指的是用於異常檢測、根本原因分析和幫助台自動化的技術和算法,例如決策樹、隨機森林等。
隨着上述兩個基本問題的解決,讓我們繼續關注 AIOps。
AIOps 的目標是什麼? 可以使用 AIOps 自動化的常見 / 重複性 IT 任務有哪些例子?
Gartner 使用以下框架來定義 AIOps 的適用性和優勢。
AIOps Framework(來源:Gartner)
正如我們總結的那樣,AIOps 的核心是將機器學習應用於大數據,以實現以下業務成果:
監控:從安全性、可用性、性能或客戶體驗角度檢測異常行為,以便主動響應潛在問題。
服務台:自動執行票務任務,使用智能自動聊天代理解決客戶問題,或從知識庫中回答問題,以便快速有效地解決幫助台問題。
自動化:AI 驅動的根本原因分析(例如,確定不兼容的庫版本作為筆記本電腦出現故障的原因),或預測性分析,以便在潛在的流量峰值時發出警報,快速做出基礎架構設施調整決策。
如果你所在的公司不同開發團隊之間的合作還不夠互通高效,那麼不妨來關注下業界不同行業 XOps 的最新實踐進展。將於 7 月 31 日 -8 月 1 日舉辦的 QCon 全球軟件開發大會(廣州站)上,組委會策劃了【XOps】專題,特別邀請了來自 Meta(Facebook)、字節跳動、深信服、三七互娛、虎牙直播等國內外不同業務方向的技術專家,希望給你的團隊答疑解惑。
QCon 全球軟件開發大會廣州站日程已上線官網,50+ 技術實踐案例首次對外公開分享,點擊底部【閱讀原文】一覽專題詳細演講提綱。門票限時優惠即將結束,前沿案例分享不可錯過。感興趣的同學聯繫票務經理報名:15600537884(同微信)
原文地址:
https://www.dragonsegg.xyz/mlops-vs-aiops-whats-the-difference/