鑽石舞台

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

近日，中國領先的All-in-One招聘解決方案提供商圖譜與候選人智能分析和匹配系統提供商HiredScore正式簽署戰略合作夥伴協議。中美服務大中型企業的人才招聘領域專家攜手，將基於AI（人工智能）技術和招聘業務的深度融合，拓展雙方的產品研發和客戶資源合作，幫助企業通過鏈接來便捷地發現人才、智能處理人力資源數據、改進優化招聘流程，從而高效和多樣化地進行招聘管理。

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

▐1. 背景

隨着整個互聯網行業的發展，各大互聯網公司作為服務提供商，積累了越來越多能夠服務用戶的優質內容，如電商領域的各類商品、視頻領域豐富的視頻、直播等。而隨着信息量的爆炸，算法技術作為連接內容和用戶的橋樑，在服務質量的提升上發揮着至關重要的作用。隨着業界在搜索、推薦、廣告技術上多年的迭代積累，逐步形成了較為穩定的召回（匹配）、粗排、精排這一多階段的系統架構，而召回模塊及其相關的算法，在各類業務中處於鏈路最前端，其決定着整體服務質量的天花板。

就召回技術而言，其核心問題是如何從大規模的候選集中，找到一個足夠優質且大小有限的子集供後鏈路做進一步處理。因此，召回階段與其他模塊的本質差異，在於其面對的是極大的全量候選集。業界在解決這一問題的過程中，經歷了啟發式規則類召回、協同過濾類召回、模型類召回等多個階段。近年來，隨着機器學習，尤其是深度學習技術的發展，學術界及工業界已經全面進入到了 model-based 召回算法的研究與應用階段。目前，業界存在兩種主流的模型召回解決思路：兩段式解決方案和一段式解決方案。其中以向量檢索為代表的兩段式解決方案將模型結構限定為雙塔結構，然後通過高效的大規模內積近鄰檢索來完成 Topk 查詢。其主要問題是模型能力受到了較強的限制，因此模型能力天花板受限。為了突破模型結構的束縛，一些同時建模索引結構與模型的一段式召回方案被提出，其中以我們阿里媽媽展示廣告團隊此前提出的 TDM 系列算法為代表，通過顯式建模索引結構來提供高效的剪枝能力，減少在線打分量進而承載複雜模型，打開了召回精度的天花板。

在持續的大規模召回算法探索與迭代過程中，我們逐漸發現，類似 TDM 的一段式解決方案，在具備高精度召回能力的同時，由於索引結構與模型訓練的強耦合，導致離在線鏈路過於厚重，對維護、迭代以及快速的業務支持帶來了比較大的挑戰。因此在2021年，我們一直在思考的一個主題是：有沒有一種更進一步的召回解決方案，能在支持複雜模型的同時，實現對模型訓練與索引結構學習的解耦。基於這一理念，我們研發了二向箔算法體系，在保留複雜模型召回能力的同時，將索引學習和模型訓練解耦，提供了輕量化的任意複雜模型召回解決方案。二向箔算法體系已在阿里媽媽展示廣告業務中全量上線應用，成功支持了雙十一大促，相關算法升級帶來了信息流核心商業化場景 RPM+3.1%/CTR+2.4% 的業務效果提升。

▐2. 模型召回的形式化目標及主流解法2.1 模型召回的形式化目標

召回模型技術由於其應用模式，天生具備「集合屬性」，即在單純的「預估」概念之上，還需要更進一步地基於預估結果從全量候選集中拿到優質子集。首先給召回模型技術的目標做一個簡單的形式化定義：假定函數 為一個針對用戶 和候選項 的價值度量函數，則召回目標可以定義為

其中 為全量候選集。總的來說，這一目標可以概括為：對於每一次請求，從候選集中找到給定價值度量下價值最高的一個子集。當然，在實際的召回系統與算法迭代中，也還存在一些啟發式的召回模式如 i2i 召回，以及對於集合的多樣性等指標要求等，本文暫不進行探討。從上述的召回目標定義中不難發現，召回階段的模型技術迭代，需要考慮兩個重要的問題：1）對於召回模型而言，如何通過更好的網絡結構、訓練樣本或loss設計，使得模型能更好地擬合或者反映真實的價值度量函數，即如何讓模型預估 更接近 ground truth 的 ；2）當訓練好的預估模型 給定時，如何得到更精準的 集合，即常規意義上的檢索問題。

業界的召回模型技術發展，在根據上述召回目標進行優化時，迭代出了兩種主流的解決思路。可將其概括為兩段式的解決方案和一段式的解決方案，接下來會進行一個簡單的介紹。

2.2 兩段式解決方案

所謂兩段式的解決方案，是將目標中的 部分和 訓練部分完全分開來考慮，其代表做法是向量檢索的模式，即通過特定的模型結構設計，將價值度量函數表達成用戶表徵向量與候選 item 向量內積計算的模式，然後通過高效的大規模內積近鄰檢索來完成 Topk 查詢。針對向量內積的 KNN 檢索，有不少通用高效且成熟的解決方案，如開源的 Faiss[1] 和阿里內部的 Proxima[2]。因此，對於兩段式的召回方案，大家迭代的重點一般都聚焦在模型結構、訓練樣本、損失函數的迭代上，比如：MIND[3]、ComiRec[4]、CurvLearn[5] 等優秀的工作，都是在這一框架下往不同的方向做了一些嘗試和突破，如用戶多興趣表徵、內積之外的相似度量空間等。

這類兩段式的召回解決方案，由於其對召回問題分階段的建模思路非常清晰，且各階段都有相對成熟的工具和方法來支持迭代，因此在實際系統中被廣泛使用。但是對於這一類建模方式，在原理上存在兩個不足：

1）第一階段向量形式的 模型訓練過程中，一般不會考慮第二階段檢索過程的精度損失，因此可能會導致近似近鄰檢索（ANN）的誤差較大，這也是通常所說的兩階段目標不一致的問題。針對這一問題，業界有一些工作已經嘗試解決，例如在模型訓練階段就把檢索誤差納入考慮[6]等。但是在實際應用中，即使訓練階段不考慮檢索誤差，一些ANN檢索工具如 Proxima[2] 一般都能將精度做到 95% 甚至更高。所以在實際應用中兩個階段目標不一致並不算是一個嚴重的問題；

2）由於 ANN 檢索的需求， 模型結構最終需要被設計成用戶向量與 item 向量之間直接計算的模式，而這一要求對模型能力造成了較大的限制。事實上，如果不考慮檢索模式對模型結構的要求，召回模型結構設計與後鏈路的一些模型如點擊率、轉化率預估模型等，可能並沒有太本質的差異，但正是由於向量結構限制的存在，使得召回模型能力的天花板受到了較大限制。雖然目前還沒有發現嚴格的證明與推導，能夠論證向量結構到底在多大程度上影響了模型能力，但很多的實踐結果都表明了這一限制切實存在且影響很大。下圖中，我們給了一個簡單的實驗數據驗證，來說明模型結構限制對模型能力的影響程度。不難發現，當結構從內積升級成帶 target attention 的 DIN 結構後，模型精度有了一個大的提升。

2.3 一段式解決方案

鑑於兩段式解法存在的目標不一致、模型結構受限的問題，業界在技術迭代的過程中，也發展出了一段式的召回解決方案，其中代表性的工作為我們團隊之前提出的 TDM 系列算法[7-9]和字節跳動提出的 Deep Retrieval 算法[10]。所謂的「一段式」，是相較兩段式的價值度量模型訓練、Topk 檢索分開考慮而言，直接面向檢索目標來同時學習索引結構和檢索模型。這類方法一個比較大的特點是需要定義「參數化的索引結構」，並在訓練中和模型進行同步優化。像 TDM 中的樹結構、DR 中的多層編碼結構，以及索引結構中虛擬節點的 embedding，都屬於索引結構參數的一部分。此外，在 TDM、DR 中，item 與樹的葉節點、與最底層編碼節點之間的掛載關係映射函數，同樣屬於索引結構參數的一部分，是需要通過訓練過程來優化的。正是由於索引結構與模型聯合優化的模式存在，這類一段式解決方案通常不存在兩階段目標不一致的問題。同時，顯式建模的檢索過程往往能實現高效的候選集剪枝，所以可以使用計算力要求更高的複雜模型結構，而不局限於向量計算的模式。

一段式的解決方案同時解決了兩段式中存在的兩階段目標不一致、模型結構受限兩大問題，但在長期實踐過程中，也發現了這一方式存在的不足，主要也是有兩點：

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()