Příklady odhadu maximální pravděpodobnosti

Předpokládejme, že máme náhodný vzorek od populace zájmu. Můžeme mít teoretický model pro způsob, jakým populace je distribuován. Může však existovat několik obyvatel parametry z nichž neznáme hodnoty. Jedním ze způsobů, jak určit tyto neznámé parametry, je odhad maximální pravděpodobnosti.

Základní myšlenkou odhadu maximální pravděpodobnosti je to, že určujeme hodnoty těchto neznámých parametrů. Děláme to tak, abychom maximalizovali přidruženou funkci hustoty pravděpodobnosti kloubu nebo pravděpodobnostní hmotnostní funkce. Uvidíme to podrobněji v následujícím textu. Poté vypočítáme několik příkladů odhadu maximální pravděpodobnosti.

Výše uvedenou diskusi lze shrnout do následujících kroků:

1. Začněte ukázkou nezávislých náhodných proměnných X₁, X₂,... X_n ze společné distribuce, každá s funkcí hustoty pravděpodobnosti f (x; θ₁,.. .θ_k). Theta jsou neznámé parametry.
2. Protože náš vzorek je nezávislý, pravděpodobnost získání konkrétního vzorku, který sledujeme, se zjistí vynásobením našich pravděpodobností dohromady. To nám dává funkci pravděpodobnosti L (θ
   instagram viewer
   ₁,.. .θ_k) = f (x₁ ;θ₁,.. .θ_k) f (x₂ ;θ₁,.. .θ_k)... f (x_n ;θ₁,.. .θ_k) = Π f (x_i ;θ₁,.. .θ_k).
3. Dále používáme Počet najít hodnoty theta, které maximalizují naši pravděpodobnostní funkci L.
4. Konkrétněji rozlišujeme funkci pravděpodobnosti L s ohledem na 9, pokud existuje jediný parametr. Pokud existuje více parametrů, počítáme částečné deriváty L s ohledem na každý z theta parametrů.
5. Chcete-li pokračovat v procesu maximalizace, nastavte derivát L (nebo částečné deriváty) na nulu a vyřešte pro theta.
6. Potom můžeme použít jiné techniky (například druhý derivátový test) k ověření, že jsme našli maximum pro naši funkci pravděpodobnosti.

Předpokládejme, že máme balíček semen, z nichž každé má stálou pravděpodobnost str úspěchu klíčení. Zasadíme n z nich a spočítat počet těch, které klíčí. Předpokládejme, že každé semeno klíčí nezávisle na ostatních. Jak určíme odhad maximální pravděpodobnosti parametru str?

Začneme tím, že každé semeno je modelováno podle Bernoulliho distribuce s úspěchem str. Nechali jsme to X být buď 0 nebo 1, a pravděpodobnostní hmotnostní funkce pro jedno semeno je F( X; str ) = str^X(1 - str)^{1 - x}.

Náš vzorek se skládá z n odlišný X_i, každý z má distribuci Bernoulli. Semena, která klíčit X_i = 1 a semena, která nedokážou klíčit X_i = 0.

Funkce pravděpodobnosti je dána:

L ( str ) = Π str^X_i(1 - str)^{1 - X}_i

Vidíme, že je možné přepsat funkci pravděpodobnosti pomocí zákonů exponentů.

L ( str ) = str^{Σ x}_i(1 - str)^{n - Σ x}_i

Dále rozlišujeme tuto funkci s ohledem na str. Předpokládáme, že hodnoty pro všechny X_i jsou známé, a proto jsou konstantní. K rozlišení funkce pravděpodobnosti musíme použít produktové pravidlo spolu s pravidlem napájení:

L '( str ) = Σ x_istr^{-1 + Σ x}_i (1 - str)^{n - Σ x}_i- (n - Σ x_i ) str^{Σ x}_i(1 - str)^{n-1 - Σ x}_i

Přepíšeme některé negativní exponenty a máme:

L '( str ) = (1/str) Σ x_istr^{Σ x}_i (1 - str)^{n - Σ x}_i- 1/(1 - str) (n - Σ x_i ) str^{Σ x}_i(1 - str)^{n - Σ x}_i

= [(1/str) Σ x_i - 1/(1 - str) (n - Σ x_i)]_istr^{Σ x}_i (1 - str)^{n - Σ x}_i

Nyní, abychom pokračovali v procesu maximalizace, nastavili jsme tento derivát na nulu a vyřešili ho p:

0 = [(1/str) Σ x_i - 1/(1 - str) (n - Σ x_i)]_istr^{Σ x}_i (1 - str)^{n - Σ x}_i

Od té doby str a (1- str) jsou nenulové, které máme

0 = (1/str) Σ x_i - 1/(1 - str) (n - Σ x_i).

Vynásobením obou stran rovnice str(1- str) nám dává:

0 = (1 - str) Σ x_i - str (n - Σ x_i).

Rozbalíme pravou stranu a uvidíme:

0 = Σ x_i - str Σ x_i - strn + pΣ x_i = Σ x_i - strn.

Tak Σ x_i = strn a (1 / n) x_i = p. To znamená, že odhad maximální pravděpodobnosti str je průměr vzorku. Konkrétně se jedná o podíl vzorků semen, která klíčila. To je zcela v souladu s tím, co by nám řekla intuice. Za účelem stanovení podílu semen, která klíčí, zvažte nejprve vzorek z populace, která nás zajímá.

Výše uvedený seznam kroků obsahuje některé úpravy. Například, jak jsme viděli výše, obvykle stojí za to strávit nějaký čas pomocí nějaké algebry ke zjednodušení vyjádření funkce pravděpodobnosti. Důvodem je snazší provedení diferenciace.

Další změnou výše uvedeného seznamu kroků je zvážit přirozené logaritmy. Maximum pro funkci L nastane ve stejném bodě jako pro přirozený logaritmus L. Maximalizace ln L je tedy ekvivalentní maximalizaci funkce L.

Mnohokrát, díky přítomnosti exponenciálních funkcí v L, přijetí přirozeného logaritmu L značně zjednoduší naši práci.

Uvidíme, jak používat přirozený logaritmus tím, že se vrátíme k příkladu shora. Začneme funkcí pravděpodobnosti:

L ( str ) = str^{Σ x}_i(1 - str)^{n - Σ x}_i .

Poté použijeme naše logaritmické zákony a vidíme, že:

R ( str ) = ln L ( str ) = Σ x_i ln p + (n - Σ x_i) ln (1 - str).

Už vidíme, že derivát je mnohem jednodušší vypočítat:

R '( str ) = (1/str) Σ x_i - 1/(1 - str)(n - Σ x_i) .

Nyní, jako předtím, jsme tento derivát nastavili na nulu a vynásobili obě strany str (1 - str):

0 = (1- str ) Σ x_i - str(n - Σ x_i) .

Řešíme to str a najděte stejný výsledek jako dříve.

Použití přirozeného logaritmu L (p) je užitečné jiným způsobem. Je mnohem jednodušší vypočítat druhou derivaci R (p), abychom ověřili, že skutečně máme maximum v bodě (1 / n) Σ x_i = p.

Předpokládejme například, že máme náhodný vzorek X₁, X₂,... X_n z populace, kterou modelujeme s exponenciálním rozložením. Funkce hustoty pravděpodobnosti pro jednu náhodnou proměnnou má tvar F( X ) = θ^-1E ^-X/θ

Funkce pravděpodobnosti je dána funkcí hustoty pravděpodobnosti kloubu. Toto je produkt několika z těchto funkcí hustoty:

L (9) = = 9^-1E ^-X_i^/θ = θ^-nE ^-ΣX_i^/θ

Opět je užitečné zvážit přirozený logaritmus funkce pravděpodobnosti. Toto rozlišení bude vyžadovat méně práce než rozlišení funkce pravděpodobnosti:

R (9) = ln L (9) = ln [9^-nE ^-ΣX_i^/θ]

Používáme naše logaritmické zákony a získáváme:

R (9) = ln L (9) = - n ln θ + -ΣX_i/θ

Rozlišujeme s ohledem na θ a máme:

R '(9) = - n / θ + ΣX_i/θ²

Nastavte tento derivát na nulu a vidíme, že:

0 = - n / θ + ΣX_i/θ².

Vynásobte obě strany θ² a výsledkem je:

0 = - n θ + ΣX_i.

Nyní použijte algebra k vyřešení pro θ:

9 = (1 / n) ΣX_i.

Z toho vidíme, že průměr vzorku je tím, co maximalizuje funkci pravděpodobnosti. Parametr θ, který odpovídá našemu modelu, by měl být jednoduše průměrem všech našich pozorování.

Spojení

Existují i ​​jiné typy odhadců. Jeden alternativní typ odhadu se nazývá nezaujatý odhadce. U tohoto typu musíme vypočítat očekávanou hodnotu naší statistiky a zjistit, zda odpovídá odpovídajícímu parametru.