close


前幾天,Gartner 發布了企業機構在2023年需要探索的十大戰略技術趨勢。

Gartner 傑出研究副總裁 Frances Karamouzis 表示:「為了在經濟動盪時期增加企業機構的盈利,首席信息官和IT高管必須在繼續加快數字化轉型的同時,將目光從節約成本轉向新的卓越運營方式。Gartner 2023年戰略技術趨勢圍繞優化、擴展和開拓這三大主題,這些技術能夠幫助企業機構優化韌性、運營或可信度、擴展垂直解決方案和產品交付並利用新的互動形式、更加快速地響應或機會進行開拓。」


Gartner 提出的 2023 年十大戰略技術趨勢按照順序分別是:

可持續性(Sustainability)

元宇宙(Metaverse)

超級應用(Superapps)

自適應AI(Adaptive AI)

數字免疫系統(Digital Immune System)

應用可觀測性(Applied Observability)

AI信任、風險和安全管理(Trust, Risk and Security Management)

行業雲平台(Industry Cloud Platforms)

平台工程(Platform Engineering)

無線價值實現(Wireless Value Realization)

那麼這十大技術中哪一項最適合使用HTAP呢?

不賣關子了,答案就是自適應 AI(Adaptive AI)。

自適應 AI 本意是傳統的 AI 系統需要面對不斷變化的環境,具體要求為:一是模型訓練好以後,由於外部環境不斷改變,模型是否可以繼續應用到不斷變化的環境中;二是模型訓練好以後,需要添加更多的訓練數據迭代模型;三是希望模型最後在推理的時候產生一些個性化的結果,而非一般化的結果。這三個新的要求實際上對 AI 模型來說是希望模型訓練和推理逐漸走向在線訓練、在線推理。

"在線推理"比較好理解,各大短視頻或者電商 APP 會結合用戶興趣持續推薦可能感興趣的內容;"在線訓練」是指背後的 AI 模型需要實時更新,只有實時更新才能更好響應進一步輸入的工作,進而讓訓練和推理形成正向循環,這個叫作「自適應 AI」。

簡單來說,自適應AI系統通過不斷反覆訓練模型並在運行和開發環境中使用新的數據進行學習來迅速適應在最初開發過程中無法預見或獲得的現實世界情況變化。這些系統根據實時反饋動態調整它們的學習和目標,因此適合外部環境快速變化的運營或者因為企業目標不斷變化而需要優化響應速度的運營。

而在自適應AI的這個實時分析訓練的過程中,不可避免地要用到一些數據,這些數據並不是越大越好的,正如 AI和 ML領域國際上最權威的學者之一吳恩達教授在今年年初接受IEEE Spectrum所說的:AI 的下一個發展方向,正在從「大」數據轉向「小」數據。

深度學習等方法通過「大」數據來訓練模型學習特徵,使用的數據和算力都太大。雖然目前通過使用預訓練模型的方式在很大程度上解決了這個問題。但是依然不夠。能否通過小數據也訓練出很好的模型呢?解決的方法是讓小數據成為優質數據。許多學習方法都是監督學習的方式,需要對訓練數據的特徵進行標註。如果能挑選出有效的數據,並且進行準確的標註,通過優質數據訓練出來的模型也有很好的泛化能力。設計一個有效甄別優質數據並能一致性標註的系統,以數據為中心的訓練,這也就是「以數據為中心」的 AI 的理念轉變。

可以看到,這個解讀與我們在《HTAP 的下一步,SoTP初探(上):從」大「數據到」小「而」寬「數據》這篇文章里提到的「小」數據與「寬」數據應用場景案例完全吻合。

當然,我們這裡講的自適應AI,是屬於自適應自動系統的一部分,這個趨勢無疑與StoneDB後續要重點投入的方向是強相關的,我們後續就會加強StoneDB的實時分析處理能力,還要加上 Autopilot 功能(這個功能本身就可以視作是自適應AI或者自適應ML的一種),StoneDB Autopilot 將在許多重要且具有挑戰性的方面加入自動化處理能力,以實現大規模的高查詢性能——包括配置、數據加載、查詢執行和故障處理。它使用先進的技術對數據採樣,收集數據和查詢的統計信息,並構建機器學習模型,對內存使用、網絡負載和執行時間進行建模。StoneDB Autopilot 使我們 Tianmu 引擎的查詢優化器隨着執行更多查詢而變得越來越智能,從而隨着時間的推移不斷提高系統性能。

聽起來是不是很酷?當然,自適應 AI 還有很多可以應用的場景,這是 Gartner 在提出生成式 AI 後又力推的一個主流技術趨勢,仔細觀察最近的 AI 技術市場,MLOps 和 AIOps 的熱度都在不斷上升,而要給這些核心技術加速的話,HTAP 是必不可少的,而在 HTAP 數據庫中,特別針對「小」而「寬」數據的SoTP(Serving over TP)型數據庫將迎來更多的挑戰和機遇。

附:2023年重要戰略技術趨勢包括:

可持續性(Sustainability)

可持續性貫穿2023年的所有戰略技術趨勢。在 Gartner 最近的一項調查中,首席執行官們表示環境和社會變化已成為投資者的三大優先事項之一,僅次於利潤和收入。這意味着為了實現可持續性目標,高管必須加大對滿足ESG需求的創新解決方案的投資力度。為此,企業機構需要新的可持續技術框架來提高IT服務的能源和材料效率,通過可追溯性、分析、可再生能源和人工智能(AI)等技術實現企業的可持續發展,同時還要部署幫助客戶實現其可持續性目標的IT解決方案。

開 拓

元宇宙(Metaverse)

Gartner將元宇宙定義為一個由通過虛擬技術增強的物理和數字現實融合而成的集體虛擬共享空間。這個空間具有持久性,能夠提供增強沉浸式體驗。Gartner預計完整的元宇宙將獨立於設備並且不屬於任何一家廠商。它將產生一個由數字貨幣和非同質化通證(NFT)推動的虛擬經濟體系。Gartner預測,到2027年,全球超過40%的大型企業機構將在基於元宇宙的項目中使用Web3、增強現實(AR)雲和數字孿生的組合來增加收入。

超級應用(Superapps)

超級應用是一個集應用、平台和生態系統功能於一身的應用程序。它不僅有自己的一套功能,而且還為第三方提供了一個開發和發布他們自己的微應用的平台。Gartner預測,到2027年,全球50%以上的人口將成為多個超級應用的日活躍用戶。

Karamouzis表示:「雖然大多數超級應用是移動應用,但這個概念也可以應用於Microsoft Teams、Slack等桌面客戶端應用,關鍵在於超級應用必須能夠整合併取代客戶或員工使用的多個應用。」

自適應AI(Adaptive AI)

自適應AI系統通過不斷反覆訓練模型並在運行和開發環境中使用新的數據進行學習來迅速適應在最初開發過程中無法預見或獲得的現實世界情況變化。這些系統根據實時反饋動態調整它們的學習和目標,因此適合外部環境快速變化的運營或者因為企業目標不斷變化而需要優化響應速度的運營。

優 化

數字免疫系統(Digital Immune System)

76%負責數字產品的團隊現在還需要對營收負責,因此首席信息官正在尋找新的實踐和方法,使其團隊能夠在實現高商業價值的同時,降低風險和提高客戶滿意度。數字免疫系統為他們提供了滿足這一要求的路線圖。

數字免疫系統通過結合數據驅動的運營洞察、自動化和極限測試、自動化事件解決、IT運營中的軟件工程以及應用供應鏈中的安全性來提高系統的彈性和穩定性。Gartner預測,到2025年,投資建設數字免疫系統的企業機構將能夠減少多達80%的系統宕機時間,所減少的損失將直接轉化為更高的收入。

應用可觀測性(Applied Observability)

在任何相關方採取任何類型的行動時,都會產生包含了數字化特徵的可觀測數據,如日誌、痕跡、API調用、停留時間、下載和文件傳輸等。應用可觀測性以一種高度統籌和整合的方式將這些可觀測的特徵數據進行反饋,創造出一個決策循環,從而提高組織決策的有效性。

Karamouzis表示:「可觀測行應用使企業機構能夠利用他們的數據特徵來獲得競爭優勢。它能夠在正確的時間提高正確數據的戰略重要性,以便根據確認的相關方行動而不是意圖採取快速行動,因此是一種強大的工具。如果能夠在戰略中予以規劃並成功執行,可觀測性應用將成為數據驅動型決策的最強大來源。」

AI信任、風險和安全管理(Trust, Risk and Security Management)

許多企業機構未做好管理AI風險的充分準備。Gartner在美國、英國和德國開展的一項調查顯示,41%的企業機構曾經歷過AI隱私泄露或安全事件。但該調查也發現積極管理AI風險、隱私和安全的企業機構在AI項目中取得了更好的成果。與未積極管理這些功能的企業機構的AI項目相比,在這些企業機構中有更多的AI項目能夠從概念驗證階段進入到生產階段並實現更大的業務價值。

企業機構必須使用新的功能來保證模型的可靠性、可信度、安全性和數據保護。AI信任、風險和安全管理(TRiSM)需要來自不同業務部門的參與者共同實施新的措施。

擴 展

行業雲平台(Industry Cloud Platforms)

行業雲平台通過組合SaaS、平台即服務(PaaS)和基礎設施即服務(IaaS)提供支持行業應用場景的行業模塊化能力。企業可以將行業雲平台的打包功能作為基礎模塊,組合成獨特、差異化的數字業務項目,在提高敏捷性、推動創新和縮短產品上市時間的同時避免單一廠商鎖定。

Gartner預測,到2027年,超過50%的企業將使用行業雲平台來加速他們的業務項目。

平台工程(Platform Engineering)

平台工程是一套用來構建和運營支持軟件交付和生命周期管理的自助式內部開發者平台的機制和架構。平台工程的目標是優化開發者體驗並加快產品團隊為客戶創造價值的速度。

Gartner預測,到2026年,80%的軟件工程組織將建立平台團隊,其中75%將包含開發者自助服務門戶。

無線價值實現(Wireless Value Realization)

由於沒有一項技術能夠占據主導地位,企業將使用一系列無線解決方案來滿足辦公室Wi-Fi、移動設備服務、低功耗服務以及無線電連接等所有場景的需求。Gartner預測,到2025年,60%的企業將同時使用五種以上的無線技術。

網絡的功能將不再僅限於純粹的連接,它們將使用內置的分析功能提供洞察,而其低功耗系統將直接從網絡中獲取能量。這意味着網絡將直接產生商業價值。

StoneDB2.0雲原生分布式實時 HTAP 架構詳細設計以RFC形式持續進行,歡迎大家關注我們最新進展,更歡迎給我們開源協作的模式和方法提出改進意見,一起通過開源的方式共建 StoneDB ~

https://github.com/stoneatom/stonedb/issues/436

StoneDB 開源倉庫

https://github.com/stoneatom/stonedb



END

HTAP 的下一步?SoTP 初探

存算一體 VS 存算分離 ,IT發展下的技術迭代

沒有HTAP,機器學習和人工智能都是不切實際的

面向場景,HTAP到底是剛需還是炒作?

StoneDB 團隊成員與 MySQL 之父 Monty 會面,共話未來數據庫形態

HTAP的關鍵技術有哪些?| StoneDB學術分享會

解讀《Benchmarking Hybrid OLTP&OLAP Database Systems》| StoneDB學術分享會

深度乾貨!一篇Paper帶您讀懂HTAP | StoneDB學術分享會

可掃碼添加小助手

加入StoneDB開源社區用戶群

討論交流,共同進步

arrow
arrow
    全站熱搜
    創作者介紹
    創作者 鑽石舞台 的頭像
    鑽石舞台

    鑽石舞台

    鑽石舞台 發表在 痞客邦 留言(0) 人氣()