本詞條由集智俱樂部眾包生產，難免存在紕漏和問題，歡迎大家留言反饋或者前往對應的百科詞條頁面進行修改，一經修改，可以獲得對應的積分獎勵噢！
目錄
以上是三個變量x,y和z信息理論測度的維恩圖，分別由左下，右下和上部的圓圈表示。條件互信息I(x;z|y)，I(y;z|x)和I(x;y|z)分別由黃色，青色和品紅色區域表示。
定義
對於具有支持集 Probability theory
的隨機變量X,Y和Z，我們將條件互信息定義為：
這可以用期望運算符來表示：
因此，相較於互信息的定義，I(X;Y|Z)可以表達為期望的Kullback–Leibler散度（相對於Z），即從條件聯合分布P(X,Y)|Z到條件邊際PX|Z和PY|Z
的乘積。
關於離散分布的概率質量函數
對於具有支持集X,Y和Z的離散隨機變量條件互信息I(X;Y|Z)如下:
其中邊緣概率質量函數，聯合概率質量函數，和（或）條件概率質量函數可以由p加上適當的下標表示。這可以簡化為:
關於連續分布的概率密度函數
對於具有支持集X,Y和Z的（絕對）連續隨機變量條件互信息I(X;Y|Z)如下:
其中邊緣概率密度函數，聯合概率密度函數，和（或）條件概率密度函數可以由p加上適當的下標表示。這可以簡化為：
部分特性
同時我們也可以將聯合和條件熵寫為：I(X;Y|Z) =H(X,Z) +H(Y,Z) -H(X,Y,Z) -H(Z) =H(X|Z)-H()X|Y,Z) =H(X|Z) +H(Y|Z) -H(X,Y|Z)
這麼表達以顯示其與互信息的關係：I(X;Y|Z)= I(X;Y,Z)- I(X;Z)
通常情況下，表達式被重新整理為「互信息的鏈式法則」:
I(X;Y|Z)=I(X;Z) +I(X;Y|Z)
上述式子的另一種等價形式是：I(X;Y|Z)= H(Z|X) + H(X) + H(Z|Y) + H(Y)-H(Z|X,Y) - H(X,Y) - H(Z) = I(X;Y) + H(Z|X) + H(Z|Y)- H(Z|X,Y)
或作為更簡單的KL散度的期望值：
其他通用定義
條件互信息的其他通用定義（適用於具有連續或其他任意分布的隨機變量）將取決於正則條件概率 Regular conditional probability 的概念。
令
為一個概率空間 Probability space ，並將隨機變量X,Y和Z分別定義為一個從Ω到具有拓撲結構的狀態空間的波萊爾可測函數 Borel-measurable function 。
考慮到在每個隨機變量狀態空間中的波萊爾測度 Borel measure（關於開放集生成的σ代數）
這被稱為前推測度 Pushforward measure
隨機變量的支撐集定義為該測度的拓撲支撐集，即
現在，我們可以在給定其中一個隨機變量值（或通過積拓撲 product topology 獲得更多）的情況下正式定義條件概率測度 Conditional probability distribution 。令M為Ω的可測子集（即M∈F)，令x∈suppX。然後，使用分解定理 Disintegration theorem ：
在x的開放鄰域U處取極限，因為相對於集包含 Set inclusion，它們可以任意變小。
最後，我們可以通過勒貝格積分 Lebesgue integration來定義條件互信息：
其中被積函數是拉東-尼科迪姆導數 Radon–Nikodym derivative的對數，涉及我們剛剛定義的一些條件概率測度。
注釋符號
在諸如I(A;B|C)的表達式中，A,B和C不限於表示單個隨機變量，它們同時可以表示在同一概率空間上定義的任意隨機變量集合的聯合分布。類似概率論中的表達方式，我們可以使用逗號來表示這種聯合分布，例如I(A0,A1;B1,B2,B3|C0,C1)。因此，使用分號（或有時用冒號或楔形∧）來分隔互信息符號的主要參數。（在聯合熵的符號中，不需要作這樣的區分，因為任意數量隨機變量的聯合熵 Joint entropy與它們聯合分布的熵相同。） 屬性
對於離散，聯合分布的隨機變量X，Y和Z，如下不等式永遠成立：
I(X;Y|Z)>=0。
該結果已被用作證明信息理論中其他不等式的基礎，尤其是香農不等式。對於某些正則條件下的連續隨機變量，條件互信息也是非負的。
交互信息
考慮到第三個隨機變量條件可能會增加或減少互信息：
例如其差值I(X;Y)-I(X;Y|Z)，稱為交互信息 Interaction information (注意區分互信息Mutual information)，可以為正，負或零。即使隨機變量是成對獨立的也是如此。比如以下情況下：
X，Y和Z是成對獨立的，特別是I(X;Y)=0，不過這裡I(X;Y|Z)=1。
互信息的鏈式法則
I(X;Y,Z)=I(X;Z)+I(X;Y|Z)
多元互信息
結合信息圖中的集合或度量理論，可以用條件互信息來歸納定義多元互信息。其定義表達式如下：
其中
該定義與交互信息的定義相同，只是在隨機數為奇數的情況下符號發生了變化。一個複雜的問題是，該多元互信息（以及交互信息）可以是正，負或零，這使得其數量難以直觀地解釋。實際上，對於n個隨機變量，存在2n-1個自由度。那麼如何在信息理論上將它們關聯，並對應於這些變量的每個非空子集，就是解決問題的關鍵。特別是這些自由度受到信息論中各種香農和非香農不等式的制約。
編者推薦
集智課程信息論
https://campus.swarma.org/course/3164
信息論（information theory）涉及信息的量化、存儲和通信等。信息論是由克勞德·香農發展來的，用來找出信號處理與通信操作的基本限制，如數據壓縮、可靠的存儲和數據傳輸等。自創立以來，它已拓展應用到許多其他領域，包括統計推斷、密碼學、神經生物學、進化論、量子計算、剽竊檢測和其他形式的數據分析。
在本課程中，融合經典和現代信息論的成果，為信息科學方向學生提供一個統一的信息論基礎，也可作為專業入門課程。主要講解了熵，熵率，微分熵，AEP，數據壓縮和信道的相關知識。
相關文章
Python 信息熵 條件信息熵 互信息（信息增益）的理解以及計算代碼
https://www.pianshen.com/article/465233008/
R語言互信息和條件互信息
https://blog.csdn.net/tandelin/article/details/104216570
百科項目志願者招募
在這裡從複雜性知識出發與夥伴同行，同時我們希望有更多志願者加入這個團隊，使百科詞條內容得到擴充，並為每位志願者提供相應獎勵與資源，建立個人主頁與貢獻記錄，使其能夠繼續探索複雜世界。
如果你有意參與更加系統精細的分工，掃描二維碼填寫報名表，我們期待你的加入！
來源：集智百科
編輯：王建萍
什麼是產品空間 | 集智百科
什麼是計算複雜度 | 集智百科
什麼是薛定諤的貓 | 集智百科
什麼是自組織臨界控制 | 集智百科
加入集智，一起複雜！
點擊「閱讀原文」，閱讀詞條條件互信息原文與參考文獻
留言列表