信源熵的單位是什麼?
信息論與編碼中信源為三進制時的信源熵該怎麼求
1：1
2：2
3：10
4：11
5：12
6：20
7：21
……
12
什麼是信源在允許一定失真的條件下，信源熵所能壓縮的極限
1．統計編碼原理──信息量和信息熵
根據香農信息論的原理，最佳的數據壓縮方法的理論極限是信息熵。如果要求在編碼過程中不丟失信息量，即要求保存信息熵，這種信息保持的編碼又叫熵保存編碼，或叫熵編碼。熵編碼是無失真壓縮。當然在考慮人眼失真不易察覺的生理特性時，有些圖像編碼不嚴格要求熵保存，信息允許通過部分損失來換取高的數據壓縮比。這種編碼屬於有失真數據壓縮。
信息是用不確定性的量度定義的，也就是說信息被假設為由一系列的隨機變量所代表，它們往往用隨機出現的符號來表示。我們稱輸出這些符號的源為“信源”。也就是要進行研究與壓縮的對象。 信息量
信息量指從N個相等可能事件中選出一個事件所需要的信息度量或含量，也可以說是辨別N個事件中特定事件過程中所需提問“是”或“否”的最小次數。
例如：從64個數（1～64的整數）中選定某一個數（採用折半查找算法），提問：“是否大於32？”，則不論回答是與否，都消去半數的可能事件，如此下去，只要問6次這類問題，就可以從64個數中選定一個數，則所需的信息量是 =6（bit）。 我們現在可以換一種方式定義信息量，也就是信息論中信息量的定義。
設從N中選定任一個數X的概率為P(x)，假定任選一個數的概率都相等，即P(x)=1/N，則信息量I (x)可定義為：
上式可隨對數所用“底”的不同而取不同的值，因而其單位也就不同。設底取大於1的整數α，考慮一般物理器件的二態性，通常α取2，相應的信息量單位為比特（bit）；當α=e，相應的信息量單位為奈特（Nat）；當α=10，相應的信息量單位為哈特（Hart）。 顯然，當隨機事件x發生的先驗概率P(x)大時，算出的I(x)小，那麼這個事件發生的可能性大，不確定性小，事件一旦發生後提供的信息量也少。必然事件的P(x)等於1， I(x)等於0，所以必然事件的消息報導，不含任何信息量；但是一件人們都沒有估計到的事件（P(x)極小），一旦發生後，I(x)大，包含的信息量很大。所以隨機事件的先驗概率，與事件發生後所產生的信息量，有密切關係。I(x)稱x發生後的自信息量，它也是一個隨機變量。
P(x)大時，算出的I(x)小 必然事件的P(x)等於1， I(x)等於0。
P(x)小時，算出的I(x)大 必然事件的P(x)等於0， I(x)等於1。
I(x)稱x發生後的自信息量，它也是一個隨機變量。
信息熵
現在可以給“熵”下個定義了。信息量計算的是一個信源的某一個事件（X）的自信息量，而一個信源若由n個隨機事件組成，n個隨機事件的平均信息量就定義為熵(Entropy)。
熵的準確定義是：信源X發出的xj(j=1,2,……n), 共n個隨機事件的自信息統計平均（求數學期望），即
H(X)在信息論中稱為信源X的“熵 （Entropy）” ，它的含義是信源X發出任意一個隨機變量的平均信息量。
更詳細的說，一般在解釋和理解信息熵有4種樣式
（1） 當處於事件發生之前，H(X)是不確定性的度量；
（2） 當處於事件發生之時，是一種驚奇性的度量；
（3） 當處於事件發生之後，是獲得信息的度量；
（4） 還可以理解為是事件隨機性的度量． 下面為了掌握信息熵的概念，我們來做一道計算題。
例如：以信源X中有8個隨機事件，即n=8。每一個隨機事件的概率都相等，即P(x1)=P(x2)=P(x3)……P(x8)=1/8 ，計算信源X的熵。
應用“熵”的定義可得其平均信息量為3比特
......
用c語言求信源熵怎麼編程
#include
#include
#include
int main()//是少了main函數，程序裡面一定要有main函數的
{
double p[100];//每個信源的概率
int n;//信源個數
int i;
double sum=0;
scanf("%d",&n);
for(i=0;i
{
scanf("%lf",&p[i]);
sum+=-p[i]*(log(p[i])/log(2.0));
}
printf("%lf\n",sum);
return 0;
}
離散無記憶信源，當信源熵有最大值時滿足條件為什麼分佈
對於離散無記憶信源, 當信源熵有最大值時, 滿足條件為__信源符號等概分佈_。
信息論 連續信源和離散信源的熵的區別是什麼
已經調試過了 信息熵計算源代碼 函數源程序 CalEntropy.m Information Shannon Entropy calculation [email protected], 22/08/2007 array : Discrete Probabilities Set H : Output Shannon Entropy function H = CalEntropy(array) Vector numb。
信息熵的基本內容
通常，一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之就大。不確定性函數f是概率P的單調遞降函數；兩個獨立符號所產生的不確定性應等於各自不確定性之和，即f（P1，P2）=f（P1）+f（P2），這稱為可加性。同時滿足這兩個條件的函數f是對數函數，即。在信源中，考慮的不是某一單個符號發生的不確定性，而是要考慮這個信源所有可能發生情況的平均不確定性。若信源符號有n種取值：U1…Ui…Un，對應概率為：P1…Pi…Pn，且各種符號的出現彼此獨立。這時，信源的平均不確定性應當為單個符號不確定性-logPi的統計平均值（E），可稱為信息熵，即，式中對數一般取2為底，單位為比特。但是，也可以取其它對數底，採用其它相應的單位，它們間可用換底公式換算。最簡單的單符號信源僅取0和1兩個元素，即二元信源，其概率為P和Q=1-P，該信源的熵即為如圖1所示。由圖可見，離散信源的信息熵具有：①非負性，即收到一個信源符號所獲得的信息量應為正值，H（U）≥0；②對稱性，即對稱於P=0．5（③確定性，H（1，0）=0，即P=0或P=1已是確定狀態，所得信息量為零；④極值性，當P=0．5時，H（U）最大；而且H（U）是P的上凸函數。對連續信源，仙農給出了形式上類似於離散信源的連續熵，雖然連續熵HC（U）仍具有可加性，但不具有信息的非負性，已不同於離散信源。HC（U）不代表連續信源的信息量。連續信源取值無限，信息量是無限大，而HC（U）是一個有限的相對值，又稱相對熵。但是，在取兩熵的差值為互信息時，它仍具有非負性。這與力學中勢能的定義相仿。