泰坦
在西方語言中,泰坦(titan)是來描敘「巨大」、「了不起」的形容詞,與之匹配的往往是神。
按照經典的神話系統,泰坦在被奧林匹斯神系取代之前曾經統治世界,以「泰坦巨人」的形象口口相傳。
在電影所構建的怪獸架空世界裡,其中的巨獸都以「泰坦巨獸」代稱,巨獸們的老大哥是哥斯拉(Godzilla),哥斯拉以119米的身長震懾人心。
膨脹
筆者曾有一篇《淺談安全數據需求》的短文,簡單科普了安全人員對於安全數據的需求。現代的安全人員面臨着越來越大的信息不對稱障礙,安全人員對於Metrics、Tracing和logging三種類型的數據有着天生的強烈渴望,然而一個安全人員能處理多少安全數據,這些大數據中隱藏了多少恐怖巨獸,卻是大多數人選擇性忽視的問題。
舉個例子:
從1萬台終端收集100Mb數據 / 10000 *100Mb = 1Tb
曾經有安全人員以10萬台計算機為例做了一些粗淺的安全數據需求研究,單台計算機的Windows系統每分鐘可以產生千兆字節大小的原始安全數據,所有計算機通過一些過濾操作後每天可以產生5000億個安全事件。當你面對成千上萬的終端,開始有意識收集處理安全數據時,會發現數據將膨脹成為一隻無情的泰坦巨獸,隨時抬起它的巨足,一腳下來踏平安全人員所謂的安全數據需求。
對戰
假設我們有機會能夠在數十萬台端點進行安全數據收集,筆者認為集中式的數據處理將成為安全數據處理的瓶頸,讓這個過程更像是在激怒泰坦抬起巨足,最終踩扁我們。造成這一切的原因是沒有用分布式的預處理思維,當安全人員面對海量的安全數據巨獸時,也需要拔出三把認知利劍對安全數據進行預處理才能與之對戰,這三把利劍分別是聚合、過濾和度量:
聚合
當安全數據足夠精細時,我們需要將安全數據進行分類聚合形成同類事件,安全人員只需關心他所聚合的那一類安全數據即可
過濾
即使通過聚合,在默認情況下安全數據仍然是巨量的,我們需要在端點進行預先過濾,過濾必然會損失數據,甚至損失關鍵數據,過濾要以安全人員的需求為準
度量
如果我們可以對安全數據進行度量評估,當觸發某個閥值時進行告警即可,我們並不需要全量的安全數據,安全人員要給出度量的方法,度量就變得越來越重要
未來
最近CrowdStrike以4億美元收購Humio,SentinelOne以1.55億美元收購Scalyr,思科向Splunk提出了200億美元收購邀約,這些案例無不顯示出安全產業對於安全數據的需求。
在筆者看來,未來要與端點安全數據中的這隻泰坦巨獸對戰,還有很長的路要走,只有運用好列式、時序、倒排索引等這些革命性的大數據技術,輔之三把處理安全數據的認知利劍,才有完美幹掉這隻泰坦的可能。