鑽石舞台

因果學習作為人工智能領域研究熱點之一，其研究進展與成果也引發了眾多關注。為幫助研究與工程人員了解該領域的相關進展和資訊，智源社區結合領域內容，撰寫了第6期《因果學習周刊》。

現如今，推薦系統在工業界得到了廣泛的應用並帶來了豐厚的利潤，有關推薦系統的研究也具有十分深遠的意義與巨大的實用價值，而如何產生更加符合用戶真實興趣的推薦也成為了重要的問題。為了解決現有推薦系統中廣泛存在的以流行度偏差(Popularity Bias)為代表的數據偏差問題，許多研究者將因果推斷中的方法引入到推薦系統的設計中，來抵消掉包括流行度偏差在內的各種數據偏差。本期周刊總結了近期因果推斷+推薦系統的系列文章，主要包含了利用因果推斷技術來對推薦系統中現存數據偏差進行消除的一些方法。

周刊採用社區協作的模式產生，歡迎感興趣的朋友們參與我們的工作，一起來推動因果學習社群的分享、學習和交流活動。可以掃描文末的二維碼加入因果學習社區群。

本期貢獻者：劉家碩

標題：ICML2016 & Cornell | Recommendations as treatments: Debiasing learning and evaluation了解詳情

簡介：大多數用於評估和訓練推薦系統的數據都受到選擇性偏差的影響，要麼是由於用戶的自我選擇，要麼是由於推薦系統本身的行為。在本文中，我們借鑑了因果推斷中的技術來調整模型與估計算法，提出了一個原則性的方法來解決選擇性偏差問題。提出的方法可以在數據有偏的情況下實現無偏的性能估計，並提供了一個矩陣分解方法，在真實數據上實現了對於預測性能的實質性的改進。我們從理論上和經驗上闡釋了該方法的魯棒性，並發現它具有很強的實用性和可擴展性。

論文地址：https://arxiv.org/pdf/1602.05352.pdf

推薦理由：本文是早期將因果引入到推薦系統中的文章之一，具有很強的啟發意義，後續有很多文章在此基礎上研究因果推斷+推薦系統相關的技術，對因果推薦系統感興趣的朋友可以關注這篇文章。

標題：RecSys 2018 & Criteo AI Labs｜Causal Embeddings for Recommendation了解詳情

簡介：目前許多應用程序使用推薦是為了調整用戶的自然行為，比如增加銷售額或在網站上花費的時間。這就導致了最終推薦目標和傳統的推薦方案之間的差距，傳統的方案是通過預測用戶-物品矩陣中缺失的條目或最有可能發生的下一個事件來評估推薦候選項與過去用戶行為的一致性。為了彌補這一差距，我們優化了一個推薦策略，目的是增加預期的結果，而不是有機的用戶行為。我們證明，這相當於在完全隨機的推薦策略下學習預測推薦結果。為此，我們提出了一種新的領域自適應算法，該算法從包含有偏差推薦策略結果的記錄數據中學習，並根據隨機暴露來預測推薦結果。除了新的因果推薦方法外，我們將我們的方法與當前最有的因子分解方法進行了比較，並展示出顯著的提升。

論文地址：https://arxiv.org/pdf/1706.07639.pdf

推薦理由：本文同樣引入因果推斷的方法來解決推薦系統問題中的數據選擇性偏差問題，具有較大的啟發意義。

標題：KDD21 & 中科大/NUS｜Model-Agnostic Counterfactual Reasoning for Eliminating Popularity Bias in Recommender System了解詳情

簡介：推薦系統的一般目的是為用戶提供個性化的建議，而不是推薦熱門的商品。然而，常規的訓練範式，即擬合一個推薦修正模型來恢復丟失的用戶行為數據，會使得模型偏向熱門商品。這就導致了馬太效應，使得熱門商品更頻繁地被推薦，甚至變得更受歡迎。現有的工作使用逆向傾向加權(IPW)來解決這個問題，它降低了熱門商品對模型訓練的影響，從而增加了位於長尾中的商品的影響。儘管理論上合理，但IPW方法對加權策略高度敏感，而這是出了名的難以調整。在這篇文章中，我們從因果這一根本性的角度探討了推薦系統中的熱度偏差問題(Popularity Bias)。我們發現熱度偏差存在於商品對排名分數的直接影響中，即商品的內在屬性是錯誤地賦予其較高排名分數的原因。為了消除熱度偏差，我們有必要回答一個反事實的問題，即如果模型只使用商品屬性，那麼排名得分會是多少。為此，我們構建了一個因果圖來描述推薦過程中重要的因果關係。在訓練過程中，我們進行多任務學習；在測試期間，我們執行反事實推理以消除商品流行度的影響。值得注意的是，我們的解決方案修正了推薦的學習過程，這是一個廣泛的模型，它可以很容易地在現有的方法中實現。我們在矩陣分解(MF)和LightGCN上進行了演示，這兩個模型是協同過濾的傳統模型和SOTA模型的代表。我們也在五個真實數據集上驗證了方法的有效性。

論文地址：https://arxiv.org/pdf/2010.15363.pdf

推薦理由：本文從因果推斷的角度描述了推薦系統中一些變量間的因果關係，並從反事實推理出發來解決Popularity Bias對於模型的影響。

標題：KDD21 & 達摩院｜Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems了解詳情

簡介：深度候選生成(DCG)通過表示學習將相關項目的收集範圍從數十億項縮小到數百項，在工業推薦系統中已經得到了非常普遍的應用。標準方法通過抽樣近似最大似然估計(MLE)，以更好的可擴展性，並以類似於語言建模的方式解決DCG問題。然而，實時推薦系統面臨嚴重的暴露偏差，其詞彙量比自然語言的詞彙量大幾個數量級，這意味着為了更好的擬合觀測數據，MLE將保持甚至加劇暴露偏差。在本文中，我們從理論上證明了一種流行的選擇對比損失等效於通過逆傾向加權來減少暴露偏差，這為理解對比學習的有效性提供了一個新的視角。基於這一理論發現，我們設計了一種對比學習方法——CLRec，用於在候選集規模非常大的推薦系統中提高DCG的公平性、有效性和效率。我們在CLRec的基礎上進行了進一步的改進，提出了Multi-CLRec來精確地減少多意圖感知偏差。我們的方法已經在淘寶上成功應用，至少四個月的在線A/B測試和線下分析表明，它有了實質性的改進，包括馬太效應的顯著降低。

論文地址：https://arxiv.org/pdf/2005.12964.pdf

推薦理由：本文使用對比學習的方法來解決推薦系統中的popularity bias，並且在工業系統中得到了應用，具有較高的理論與應用價值。

標題：KDD21 & NUS｜Deconfounded Recommendation for Alleviating Bias Amplification了解詳情

簡介：推薦系統通常會放大數據中的偏差。從不平衡商品分布的歷史交易中學習到的模型，會過度推薦熱門商品，從而進一步擴大了商品分布的不平衡。從長遠來看，解決這個問題對於建立一個健康的推薦生態系統至關重要。現有研究將偏差控制應用於排序目標(如校準、公平性和多樣性)，但忽略了偏差放大的真正原因，並犧牲了推薦精度。在本研究中，我們仔細研究了偏差放大的因果因素，發現主要原因是不平衡的商品分布對用戶表徵和預測得分的混淆效應。這種混淆因素的存在促使我們需要超越僅僅對條件概率建模，而採用因果模型來進行推薦。為此，我們提出了一個去混淆效應推薦系統(DecRS)，它模擬了用戶表示對預測分數的因果效應。消除混淆因素影響的關鍵在於後門調整，但由於混雜因素的樣本空間是無限的，這很難做到。對於這個挑戰，我們提出了後門調整的近似算子，可以很容易地用於大多數推薦模型中。最後，我們設計了一個推理策略，根據用戶狀態動態調節後門調整算子。我們在FM和NFM兩個代表性模型上實例化了DecRS，並在兩個基準數據集上進行了大量的實驗，以驗證我們提出的DecRS的有效性。

論文地址：https://arxiv.org/pdf/2105.10648.pdf

推薦理由：本文使用因果推斷的手段來消除推薦系統中的混淆效應，從而緩解popularity bias，算法具有很強的新穎性，值得借鑑。

標題：WWW21 & 清華｜Disentangling user interest and conformity for recommendation with causal embedding了解詳情

簡介：推薦模型通常根據觀察到的交易數據進行訓練。然而，觀測數據可能來自於用戶對熱門商品的趨同，這就掩蓋了用戶的真實興趣。現有的方法跟蹤這個問題，以消除流行偏差，例如，通過重新加權訓練樣本或利用一小部分無偏數據。然而，這些方法忽略了用戶的多樣性，並且將交互的不同原因捆綁在一起作為統一的表示，因此當底層原因發生變化時，魯棒性和可解釋性得不到保證。在本文中，我們提出了DICE，一個學習表示的通用框架，其中用戶興趣和一致性在結構上分離，各種骨幹推薦模型可以平滑地集成。基於興趣和一致性，我們為用戶和商品分配了單獨的嵌入，並使用根據因果推理的碰撞效應獲得的特定原因數據進行訓練，使每個嵌入只捕獲一個原因。我們提出的方法優於最先進的基線模型，並在兩個真實數據集上對各種骨幹模型進行了顯著改進。我們進一步證明，學習的嵌入成功地捕獲了期望的原因，並表明DICE保證了推薦的魯棒性和可解釋性。

論文地址：https://arxiv.org/pdf/2006.11011.pdf

推薦理由：本文使用了causal embedding來對用戶興趣和熱門商品進行解藕，並利用因果推斷中的碰撞效應起到了去偏差的效果。

標題：CIKM21 & Rutgers｜Counterfactual Explainable Recommendation了解詳情

簡介：可解釋推薦為用戶和系統設計者提供解釋，以促進更好的理解和決策，已成為一個重要的研究問題。在本文中，我們提出了反事實可解釋推薦(CountER)，它將反事實推理從因果推理中引入到可解釋推薦中。CountER能夠表述解釋的複雜性和強度，採用反事實學習框架為模型決策尋求簡單(低複雜性)和有效(高強度)的解釋。從技術上講，對於向每個用戶推薦的每一項商品，CountER提出一個聯合優化問題，以在商品方面產生最小的變化，從而創建一個反事實商品，這樣反事實商品的推薦決策就會被逆轉。這些改變的方面解釋了為什麼要推薦原來的項目。反事實解釋有助於用戶更好地理解，也有助於系統設計者更好地調試模型。這項工作的另一個貢獻是對可解釋性的評價，這是一項具有挑戰性的任務。幸運的是，反事實的解釋非常適合標準的定量評價。為了衡量解釋質量，我們設計了兩種類型的評價指標，一種是從用戶的角度(即用戶為什麼喜歡該商品)，另一種是從模型的角度(即該商品為什麼被模型推薦)。我們將我們的反事實學習算法應用於一個黑盒推薦系統，並評估在五個真實數據集上生成的解釋。結果表明，我們的模型比最先進的可解釋推薦模型產生更準確和有效的解釋。

論文地址：https://arxiv.org/pdf/2108.10539.pdf

代碼地址：https://github.com/chrisjtan/counter

推薦理由：本文使用類似對抗訓練的方法，給出了對於推薦系統的可解釋方法，具有較高的參考價值。

標題：SIGIR21 & 中科大｜Causal Intervention for Leveraging Popularity Bias in Recommendation了解詳情

簡介：推薦系統通常面臨着流行度偏差問題：從數據的角度來看，商品在交互頻率上呈現出不均勻的(通常是長尾)分布；從方法的角度來看，協同過濾方法容易過度推薦熱門商品而進一步放大偏差。在推薦系統中考慮流行度偏差無疑是至關重要的，現有的工作主要是基於傾向的無偏學習或因果嵌入來消除這種偏差效應。然而，我們認為並非所有的數據偏差都是不好的，也就是說，一些商品表現出更高的受歡迎程度是因為它們更好的內在質量。盲目追求無偏學習可能會去除數據中的有益模式，降低推薦的準確性和用戶滿意度。這項工作研究了推薦方面的一個未被探索的問題——如何利用流行度偏差來提高推薦的準確性。關鍵在於兩個方面:如何在訓練過程中消除流行度偏差的不良影響。這對推薦產生過程的因果機制提出了質疑。在此基礎上，我們發現商品受歡迎程度在暴露項目與觀察到的交互之間起混淆作用，導致偏差放大的不良影響。為了實現我們的目標，我們提出了一種新的推薦訓練和推理範式，稱為流行-偏差消除和調整(PDA)。它消除了模型訓練中的混雜流行偏差，並通過因果乾預將推薦評分與期望流行偏差進行調整。我們在潛在因素模型上展示了新的範式，並在來自快手、豆瓣和騰訊的三個真實數據集上進行了廣泛的實驗。實證研究表明，去混淆訓練有助於發現用戶的真實興趣，而帶有人氣偏差的推理調整可以進一步提高推薦精度。

論文地址：https://arxiv.org/pdf/2105.06067.pdf

代碼地址：https://github.com/zyang1580/PDA

推薦理由：本文提出了如何更好地利用popularity bias，而不是完全的消除它，這樣可以帶來更好的推薦精度，具有很高的參考價值。