Informace o Fisherovi

Ve statistice a teorii informace je Fisherova informace (označovaná ) rozptyl skóre. Je pojmenována na počest svého vynálezce, statistika R.A. Fishera.

Fisherova informace je množství informací, které pozorovatelná náhodná proměnná X nese o nepozorovatelném parametru θ, na kterém závisí pravděpodobnostní funkce X, L(θ) = f(X; θ). Pravděpodobnostní funkce je společná pravděpodobnost dat, tedy X, podmíněná hodnotou θ, jako funkce θ. Protože očekávání skóre je nulové, rozptyl je jednoduše druhý moment skóre, derivace logaritmu pravděpodobnostní funkce s ohledem na θ. Z toho důvodu lze Fisherovu informaci zapsat

což znamená . Fisherova informace je tedy očekávání druhého skóre. Náhodná proměnná nesoucí vysokou Fisherovu informaci znamená, že absolutní hodnota skóre je často vysoká.

Fisherova informace není funkcí konkrétního pozorování, protože náhodná proměnná X byla zprůměrována. Pojem informace je užitečný při porovnávání dvou metod pozorování daného náhodného procesu.

Je-li splněna následující podmínka pravidelnosti:

pak informace o Fisherovi mohou být také napsány jako:

Fisherova informace je tedy záporná hodnota očekávání druhé derivace logaritmu f vzhledem k θ. Informace tak může být považována za měřítko „ostrosti“ křivky podpory v blízkosti odhadu maximální pravděpodobnosti θ. „Tupá“ křivka podpory (křivka s mělkým maximem) by měla nízkou očekávanou druhou derivaci, a tedy nízkou informaci; zatímco ostrá by měla vysokou očekávanou druhou derivaci, a tedy vysokou informaci.

Informace je aditivní v tom smyslu, že informace získaná dvěma nezávislými experimenty je součtem informací z každého experimentu zvlášť:

Tento výsledek vyplývá z elementárního faktu, že pokud jsou náhodné proměnné nezávislé, rozptyl jejich součtu je součtem jejich rozptylů. Z toho vyplývá, že informace v náhodném vzorku o velikosti n je n krát informace ve vzorku o velikosti 1 (pokud jsou pozorování nezávislá).

Informace poskytnuté dostatečnou statistikou jsou stejné jako u vzorku X. To lze zjistit použitím Neymanova faktorizačního kritéria pro dostatečnou statistiku. Pokud je T(X) dostačující pro θ, pak

pro některé funkce g a h. Pro podrobnější vysvětlení viz dostatečná statistika. Rovnost informací pak vyplývá z následující skutečnosti:

což vyplývá z definice Fisherovy informace a nezávislosti h(X) na θ. Obecněji, pokud T = t(X) je statistika, pak

s rovností tehdy a jen tehdy, když T je dostatečná statistika.

Cramérova-Raova nerovnost uvádí, že reciproční Fisherova informace je asymptotická dolní mez rozptylu jakéhokoliv nezaujatého odhadu θ.

Vzhledem k pravděpodobnosti s parametry říkáme, že dva parametry a jsou ortogonální, pokud je prvek i-tého řádku a j-tého sloupce Fisherovy informace nulový. Ortogonální parametry jsou snadno řešitelné v tom smyslu, že jejich odhady maximální pravděpodobnosti jsou nezávislé a lze je vypočítat samostatně. Při řešení výzkumných problémů je velmi běžné, že výzkumník investuje nějaký čas hledáním ortogonální parametrizace hustot, které se na problému podílejí.

Jednoparametrový Bernoulliho experiment

Bernoulliho pokus je náhodná proměnná se dvěma možnými výsledky, „úspěchem“ a „neúspěchem“, přičemž „úspěch“ má pravděpodobnost . Výsledek lze považovat za určený hodem mincí, přičemž pravděpodobnost získání „hlavy“ je a pravděpodobnost získání „ocasu“ je .

Fisherovy informace obsažené v n nezávislých Bernoulliho pokusech lze vypočítat následovně. V následujícím textu A představuje počet úspěchů, B počet neúspěchů a n = A + B je celkový počet pokusů.

(1) definuje Fisherovu informaci. (2) odvolává se na skutečnost, že informace v dostatečné statistice je stejná jako informace samotného vzorku. (3) rozšiřuje log termín a vypustí konstantu. (4) a (5) diferencují s ohledem na . (6) nahrazuje A a B s jejich očekáváním. (7) je algebra.

je převrácená hodnota rozptylu průměrného počtu úspěchů v n Bernoulliho procesech, jak se očekávalo (viz poslední věta předchozího oddílu).

Když existují N parametry, takže θ je Nx1 vektor , pak Fisherova informace má podobu NxN matice, Fisherova informační matice (FIM), s typickým prvkem:

FIM je NxN pozitivní definitní symetrická matice, definující metriku na N-rozměrném parametrovém prostoru. Zkoumání tohoto tématu vyžaduje diferenciální geometrii.

Multivariabilní normální rozdělení

FIM pro N-variate multivariate normální rozdělení má speciální formu. Dovolit a nechť je kovariance matice z . Pak typický prvek , 0≤m,n kde označuje transponovat vektoru, označuje stopu čtvercové matice, a: Další opatření použitá v teorii informace: Kullback-Leibler divergence

kde označuje transpozici vektoru, označuje křivku čtvercové matice a:

Další opatření používaná v teorii informací: