uzluga.ru
добавить свой файл


Метод максимального правдоподобия

  • ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения, которые имеют нормальный закон распределения.

  • В основе ММП лежит понятие функции правдоподобия выборки.

  • Определение. Пусть имеем случайную величину Y, которая имеет функцию плотности вероятностей Py(t, a1,a2,…,ak) и случайную выборку наблюдений за поведением этой величины Y(y1,y2,…,yn). Тогда функцией правдоподобия выборки Y(y1,y2,…,yn) называется функция L, зависящая от аргументов а={a1,a2,…,ak}, а от элементов выборки как от параметров и определяется равенством:

  • L(a1,a2,…,ak, y1,y2,…,yn)=Py(y1, a) Py(y2, a)…Py(yn, a)


Метод максимального правдоподобия

  • Функция правдоподобия:

  • L(a1,a2,…,ak, y1,y2,…,yn)=Py(y1, a) Py(y2, a)…Py(yn, a)

  • Основные свойства функции правдоподобия.

  • 1. Правая часть равенства имеет смысл значения закона распределения выборки при случайных значениях аргументов t1=y1, t2=y2,…, tn=yn.

  • Следовательно, функция правдоподобия L также случайная величина при любых значениях аргументов а={a1,a2,…,ak}.

  • 2. Все значения функции правдоподобия L ≥0.

  • Эти свойства являются следствием свойств выборки.



Метод максимального правдоподобия

  • Идея метода.

  • В качестве оценки неизвестного параметра принимается такое, которое обеспечивает максимум функции правдоподобия при всех возможных значениях случайной величины Y. Математически это выражается так:

  • ãj= argmax(L(a1,a2,…,ak, y1,y2,…,yn)

  • Очевидно, что оценка ãj зависит от случайной выборки, следовательно, ãj= f(y1,y2,…,yn), где f есть процедура вычисления оценки ãj по результатам выборки.



Метод максимального правдоподобия

  • Алгоритм решения задачи с помощью ММП.

  • Предполагается:

  • 1. Вид закона распределения известен;

  • 2. Функция плотности вероятности гладкая во всей области определения.

  • Последовательность решения:

  • 1. Составляется функция правдоподобия.

  • 2. Вычисляется логарифм функции правдоподобия.

  • 3. Оценки параметров получаются в результате решения системы уравнений вида:

  • ∂ln(L)/∂ai = 0; i=1,2,3,…,k

  • 4. Проверяется условие максимума функции правдоподобия.



Метод максимального правдоподобия

  • Пример 1. Рассмотрим случайную величину, индикатор случайного события.

  • Закон распределения этой величины: Py(t,p)=pt(1-p)(1-t) , где t=0, 1. p-параметр закона распределения. M(Y)=p, σ2(Y)=p(1-p).

  • Имеем выборку наблюдений Y={y1,y2,…,yn,p}.

  • Решение.

  • Составляем функцию правдоподобия:

  • L(y1,y2,…,yn,p)=py1(1-p)(1-y1) py2(1-p)(1-y2)… pyk(1-p)(1-yk)

  • =pΣyi(1-p)Σ(1-yi)

  • 2. Вычисляем логарифм функции правдоподобия:

  • ln(L)=Σyiln(p) + Σ(1-yi)ln(1-p)



Метод максимального правдоподобия

  • Пример 1. (продолжение)

  • 3. Составляем уравнение для вычисления оценки параметра «р».



Метод максимального правдоподобия

  • Проверка свойств полученной оценки.

  • Несмещенность:

  • M(Σyi/n)=(1/n)ΣM(yi)=(1/n)(np) = p

  • Математическое ожидание оценки равно его теоретическому значению.

  • Вывод: получена несмещенная оценка на выборке ограниченного объема!



Метод максимального правдоподобия

  • Неравенство Рао-Крамера.

  • Метод проверки условия эффективности.

  • Оно позволяет оценить нижнюю границу точности, с которой можно несмещенно оценить неизвестные параметры.

  • Нижняя граница соответствует минимальной дисперсии оценки. Следовательно, если дисперсия полученной оценки равна нижней границе, то эта оценка удовлетворяет условию эффективности.

  • Теорема. Для любой ковариационной матрицы любой несмещенной оценки вектора параметров «а» неравенство Рао-Крамера имеет вид:

  • Cov(ã,ã) ≥ I-1

  • где: I – квадратная матрица, информационная матрица Фишера:



Метод максимального правдоподобия

  • Пример 1. (Продолжение)

  • Вычислим информационное количество Фишера.



Метод максимального правдоподобия

  • Вычисляем дисперсию оценки



Метод максимального правдоподобия

  • Пример 2. Получить ММП оценки случайной величины, имеющей нормальный закон распределения.

  • Имеем выборку Y={y1,y2,…,yn}. Переменная Y имеет нормальный закон распределения:



Метод максимального правдоподобия

  • Решение. Для удобства введем s=σ2

  • 2. Логарифм функции правдоподобия:



Метод максимального правдоподобия

  • Проверка свойств полученных оценок.

  • Несмещенность.



Метод максимального правдоподобия

  • Проверка свойств оценок (Продолжение).

  • 2. Эффективность.



Метод максимального правдоподобия

  • Эффективность оценок (Продолжение).