Контрольные работы по математической статистике

Оглавление:

Математической статистикой называется раздел математики, занимающийся разработкой методов получения, описания и обработки опытных данных с целью выявления и изучения закономерностей случайных массовых явлений для научных и практических выводов.

Математическая статистика

Математическая статистика — это наука, посвященная разработке оптимального вывода, основанного на неизвестных закономерностях.

Напомним некоторые основные определения из курса теории вероятностей.

Возможно эта страница вам будет полезна:

Предмет теория вероятностей и математическая статистика

Определение. Пространством элементарных событий называется множество исходов некоторого эксперимента. Элементарным событием называется любой элемент пространства элементарных событий. Событием называется любое подмножество пространства элементарных событий. Экспериментом называется функция, принимающая значение на пространстве элементарных событий.

Определение. Генеральной совокупностью называется достаточно большое, быть может, бесконечное подмножество элементарных событий.

Определение. Случайной величиной называют функцию от элементарного события.

Модель конечного случайного выбора

Рассмотрим модель «Выбор без возвращения». Пусть N — общее число элементов генеральной совокупности, М — число отмеченных (каким-то свойством) элементов, те — размер выборки, т. е. число элементов, выбранных из генеральной совокупности, то — число отмеченных элементов в выборке.

Вероятностная задача рассматривает случай, когда те, М и N заданы, а то Контрольная работа по математической статистике Тогда вероятность того, что среди выборки размера те окажется ровно то отмеченных элементов, может быть вычислена по известной формуле

Контрольная работа по математической статистике

Статистическая задача ставится несколько иначе. Например:

а) Допустим, что n, m, N известны, а М — неизвестно. Требуется оценить М. Это в некотором смысле задача, обратная вероятностной. Решить ее не так-то просто. Простейшее (но довольно грубое) приближение для М можно найти, например, из соотношений

Контрольная работа по математической статистике

Для того, чтобы найти более точные оценки, нужны специальные методы, которыми и занимается математическая статистика.

б) Пусть заданы n, m, и М, а N неизвестно. Требуется оценить N. Пример такой задачи — оценка числа рыб в водоеме: производится выборка размера М, помечаются все рыбы из этой выборки, а спустя некоторое время производится еще одна выборка размера n и подсчитывается число помеченных рыб то из этой выборки. По этим данным требуется оценить число рыб в водоеме. Для решения jiTofi задачи рассматривается вероятность Контрольная работа по математической статистике как функция переменной N. Оказывается, что функция Контрольная работа по математической статистикесначала возрастает, а затем убывает. В качестве оценки искомого значения N выбирается такое целое Контрольная работа по математической статистике, для которого Контрольная работа по математической статистике максимально. Можно показать, что

Контрольная работа по математической статистике

Рассмотрим следующий эксперимент: два раза независимо друг от друга бросается монетка. Можно рассматривать две модели этого эксперимента:

1) 4 исхода: выпали последовательно орел-орел, орел-решка, решка-орел, решка-решка. Каждому исходу приписывается вероятность 1/4.

2) 3 исхода: 2 орла, 2 решки, 1 орел и 1 решка; каждому исходу приписывается вероятность 1/3

Практика показывает, что первая модель более соответствует действительности, чем вторая: при большом числе испытаний каждый из четырех исходов появляется с частотой, близкой к 1/4 , в то время как во второй модели последний исход появляется с частотой, близкой к 1/2, а первые два — с частотой 1/4 , что плохо соответствует приписанным вероятностям.

В некотором смысле задача математической статистики обратна задаче теории вероятностей. В теории вероятностей в каждой конкретной ситуации вероятность считается полностью определенной и основной задачей теории вероятностей является разработка методов нахождения вероятностей различных сложных событий (исходя из известных вероятностей более простых событий) для данной вероятностной модели.

В математической статистике рассматривается статистическая модель, которая описывает такие ситуации, когда в вероятностной модели изучаемого эксперимента имеется та или иная неопределенность в задании вероятности, и задача математической статистики состоит в том, чтобы уменьшить эту неопределенность, уточнить (выявить) структуру статистической модели по результатам проводимых наблюдений.

Статистическая модель схемы Бернулли

Зафиксируем число Контрольная работа по математической статистикеРассмотрим случайные величины Контрольная работа по математической статистике на некотором общем вероятностном пространстве Контрольная работа по математической статистике Их совместное распределение:

Контрольная работа по математической статистике

Значение случайной величины Контрольная работа по математической статистике — исход первого испытания, Контрольная работа по математической статистике и аналогично дляКонтрольная работа по математической статистике Отсюда Контрольная работа по математической статистике и т.д. Значит,

Контрольная работа по математической статистике

Отсюда следует, что Контрольная работа по математической статистике — независимые испытания.

Рассмотрим случайную величину Контрольная работа по математической статистике Она имеет биномиальное распределение:

Контрольная работа по математической статистике

Задача математической статистики — оценить неизвестное значение р. Для этого используются три подхода — точечная оценка, интервальная оценка и выбор из двух гипотез. Продемонстрируем каждый из них на примере схемы Бернулли.

Точечная оценка

Запишем закон больших чисел для схемы Бернулли:

Контрольная работа по математической статистике

т. е. частота появления успешного исхода Контрольная работа по математической статистике сходится по вероятности к параметру р: Контрольная работа по математической статистике

Возьмем в качестве оценки параметра р эту частоту Контрольная работа по математической статистике Это случайная величина со значениями Контрольная работа по математической статистикеКонтрольная работа по математической статистике

Теорема 1.1. Эта оценка обладает следующими свойствами:

1) Несмещенность: Контрольная работа по математической статистике

2) Состоятельность: Контрольная работа по математической статистике

3) Эффективность: Дисперсия частоты Контрольная работа по математической статистикеявляется наименьшей среди дисперсий всех других оценок, которые обладают свойствами 1) и 2).

□ Выше уже было показано, что оценка Контрольная работа по математической статистике несмещенная (это следует из того, что Контрольная работа по математической статистике, а в силу закона больших чисел для схемы Бернулли она состоятельна; тем самым свойства 1) и 2) доказаны.

Докажем свойство 3) — эффективность. Пусть Контрольная работа по математической статистике— любая оценка параметра р, удовлетворяющая условиям 1) и 2) (несмещенность и состоятельность). Рассмотрим величину Контрольная работа по математической статистике. Она называется средней квадратической ошибкой оценки Контрольная работа по математической статистике.

Для несмещенных оценок средняя квадратическая ошибка совпадает с дисперсией, в частности для нашей оценки Контрольная работа по математической статистике

Обозначим

Контрольная работа по математической статистике

Для любого Контрольная работа по математической статистике имеет место равенство Контрольная работа по математической статистике Условие несмещенности оценки означает, что Контрольная работа по математической статистике Рассмотрим Контрольная работа по математической статистике как функцию параметра р. Тогда наши условия могут быть записаны в следующем виде (суммирование ведется по всем наборам Контрольная работа по математической статистике:

Контрольная работа по математической статистике

Продифференцируем каждое из этих соотношений по р, а затем, умножив первое нар, вычтем его из второго; получим:

Контрольная работа по математической статистике

Теперь представим Контрольная работа по математической статистике как логарифмическую производную: Контрольная работа по математической статистике затем применим неравенство Коши-Буняковского, представив Контрольная работа по математической статистике в виде Контрольная работа по математической статистике

Контрольная работа по математической статистике


Так как Контрольная работа по математической статистике (условие несмещённости оценки Контрольная работа по математической статистике), то первый из множителей в правой части этого неравенства — это дисперсия Контрольная работа по математической статистике. Обозначим второй множитель через Контрольная работа по математической статистике, тогда неравенство перепишется в виде Контрольная работа по математической статистике или Контрольная работа по математической статистике Найдем Контрольная работа по математической статистике в явном виде:

Контрольная работа по математической статистике

Подставляя найденное значение Контрольная работа по математической статистике в неравенство для дисперсии, получаем: Контрольная работа по математической статистике т.е. оценка Контрольная работа по математической статистикедействительно обладает наименьшей дисперсией из всех несмещенных состоятельных оценок Контрольная работа по математической статистике. Теорема доказана.

Если задана произвольная оценка Контрольная работа по математической статистикепараметра р, то представим ее математическое ожидание Контрольная работа по математической статистикев видеКонтрольная работа по математической статистике Тогда Контрольная работа по математической статистикеназывается смещением оценки Контрольная работа по математической статистике. Несмещенные оценки обладают нулевым смещением:Контрольная работа по математической статистике

Для нашей оценки Контрольная работа по математической статистике очевидно, Контрольная работа по математической статистике т.е.. частота обладает наименьшим рассеянием, если рассеяние измеряется с помощью дисперсии.

Интервальная оценка

Интервальной оценкой параметра р называется интервал Контрольная работа по математической статистике, который обладает следующим свойством: Контрольная работа по математической статистикеПри этом длина интервала должна быть наименьшей.

Контрольная работа пример с решением №1

Рассмотрим n = 100 бросаний правильной монеты (схема Бернулли с параметром р = 0,5), Контрольная работа по математической статистике— исход k-гo испытания (значение бернуллиевской случайной величины Контрольная работа по математической статистике) Контрольная работа по математической статистике Очевидно,Контрольная работа по математической статистике Прямой подсчет вероятностей показывает, что

Контрольная работа по математической статистике

Таким образом Контрольная работа по математической статистике— доверительный интервал для параметра р с доверительной вероятностью 0,99822, аКонтрольная работа по математической статистике— доверительный интервал для параметра р с доверительной вероятностью Контрольная работа по математической статистике

Для построения доверительного интервала для схемы Бернулли запишем для оценки Контрольная работа по математической статистике неравенство Чебышёва:

Контрольная работа по математической статистике

Теперь зададим произвольное Контрольная работа по математической статистике. Тогда для Контрольная работа по математической статистике получим:

Контрольная работа по математической статистике

Таким образом, мы построили интервалКонтрольная работа по математической статистике, в котором с задаваемой нами вероятностью ошибки (х находится неизвестный параметр р. Он называется доверительным интервалом для параметра р с доверительной вероятностью Контрольная работа по математической статистике (или с вероятностью ошибки Контрольная работа по математической статистике). Чем меньше мы выбираем Контрольная работа по математической статистике, тем больше этот интервал. Для заданного Контрольная работа по математической статистикедлину интервала можно уменьшить за счёт увеличения числа испытаний n.

Укажем еще один (более точный) способ нахождения интервальной оценки в схеме Бернулли. По теореме Муавра-Лапласа число «успехов» схемы Бернулли с ростом п стремится к нормальной случайной величине:

Контрольная работа по математической статистике

Используя это, можно оценить вероятность

Контрольная работа по математической статистике

Здесь Контрольная работа по математической статистике — функция распределения стандартной нормальной случайной величины.

Фиксируем Контрольная работа по математической статистике Нам нужно, чтобы Контрольная работа по математической статистике т.е. Контрольная работа по математической статистике Обозначим такое значение Контрольная работа по математической статистике, при котором это выполнено, через Контрольная работа по математической статистике(квантиль порядка 1 — нормального распределения, находится из таблицы квантилей). Тогда искомое Контрольная работа по математической статистикенайдем из условия Контрольная работа по математической статистике Итак, неравенство

Контрольная работа по математической статистике

выполняется с вероятностью Контрольная работа по математической статистике Осталось найти границы доверительного интервала. Возведем неравенство в квадрат:

Контрольная работа по математической статистике

Получили квадратное уравнение на р. В качестве Контрольная работа по математической статистике и Контрольная работа по математической статистикеберут корни этого квадратного уравнения (можно показать, что всегда D > 0 и корней действительно два).

Выбор из двух гипотез

Пусть задано Контрольная работа по математической статистике. Рассмотрим две (взаимоисключающих) гипотезы о параметре р: Контрольная работа по математической статистике(основная, или нулевая, гипотеза) и Контрольная работа по математической статистике(альтернативная, или конкурирующая, гипотеза). (Например, Контрольная работа по математической статистике) Наша задача: выбрать из этих двух гипотез ту, которой соответствует наименьшая вероятность ошибки.

Определение. Вероятность ошибки I рода — это вероятность отклонить верную гипотезу Контрольная работа по математической статистике. Вероятность ошибки II рода — это вероятность принять неверную гипотезу Контрольная работа по математической статистике.

Критерий проверки гипотезы Контрольная работа по математической статистике— это правило, на основании которого мы можем считать, что она верна или неверна (т.е. принимаем ее или не принимаем). Составим таблицу:

Контрольная работа по математической статистике

Здесь вероятность ошибки I рода (отклоняем Контрольная работа по математической статистикев то время как она верна) обозначена через а, а вероятность ошибки II рода (принимаем неверную гипотезу Контрольная работа по математической статистике) — Контрольная работа по математической статистике

Рассмотрим две гипотезы Контрольная работа по математической статистике (Контрольная работа по математической статистикезадано). Пусть для параметра р получена интервальная оценка для заданной вероятности ошибки Контрольная работа по математической статистике— доверительный интервал Контрольная работа по математической статистике. Тогда можно предложить такой критерий:

1) Если Контрольная работа по математической статистике, то Контрольная работа по математической статистикепринимаем (и соответственно, отклоняем Контрольная работа по математической статистике);

2) Если Контрольная работа по математической статистике, то Контрольная работа по математической статистикеотклоняем (и тем самым принимаем Контрольная работа по математической статистике).

Поскольку Контрольная работа по математической статистике — доверительный интервал с доверительной вероятностью Контрольная работа по математической статистике, то вероятность ошибки I рода не превосходит Контрольная работа по математической статистике.

Рассмотрим еще один пример гипотез о параметре р схемы Бернулли. Пусть Контрольная работа по математической статистике где Контрольная работа по математической статистике заданы, и пусть Контрольная работа по математической статистике— вероятность ошибки I рода, Контрольная работа по математической статистике — вероятность ошибки II рода. Как всегда, обозначаем Контрольная работа по математической статистике Тогда существует такой критерий: если Контрольная работа по математической статистике , то Контрольная работа по математической статистикеотклоняем (тем самым принимая Контрольная работа по математической статистике), а, еслиКонтрольная работа по математической статистике, то Контрольная работа по математической статистикепринимаем (Контрольная работа по математической статистике отклоняем). Число Контрольная работа по математической статистикеназывается критическим значением и находится из соображений минимизации при фиксированном n сумм (вероятностей ошибок I и II рода)

Контрольная работа по математической статистике

Задача 1.1. Пусть заданы Контрольная работа по математической статистике Найти наименьшее значение п и соответствующее ему Контрольная работа по математической статистике(n) такие, что данный критерий различает гипотезы Контрольная работа по математической статистикеи Контрольная работа по математической статистике с вероятностями ошибок I и II рода, не превосходящими соответственно Контрольная работа по математической статистике и Контрольная работа по математической статистике.

На этом я завершаю обзор. Далее речь пойдёт подробнее о точечных оценках, интервальных оценках и проверке гипотез.

Общие понятия математической статистики

Статистическая модель. Точечные оценки

Фундаментальным понятием теории вероятностей является вероятностная модель (вероятностное пространство) — это тройка Контрольная работа по математической статистике, где Контрольная работа по математической статистике— пространство элементарных событий, Контрольная работа по математической статистикеКонтрольная работа по математической статистике-алгебра подмножеств этого пространства (событий), Р — вероятностная мера на Контрольная работа по математической статистикеалгебре Контрольная работа по математической статистике.

Основным объектом исследования математической статистики является статистическая модель. Определим это понятие.

Результатом статистического эксперимента являются вещественные числа Контрольная работа по математической статистике — статистические данные. Это значения случайных величин Контрольная работа по математической статистике Иx совокупность Контрольная работа по математической статистике называется выборкой размера (порядка) n.

Определение. Статистической моделью называется тройка Контрольная работа по математической статистике где Контрольная работа по математической статистике — выборочное пространство, т.е. совокупность всевозможных выборок размера n , Контрольная работа по математической статистикеКонтрольная работа по математической статистике-алгебра на выборочном пространстве, Контрольная работа по математической статистике — некоторое семейство распределений вероятностей, заданное на Контрольная работа по математической статистике.

В простейшем случае считаем, что Контрольная работа по математической статистике а Контрольная работа по математической статистике — борелевская Контрольная работа по математической статистике-алгебра.

Примерами семейств распределений могут служить, например, семейство бернуллиевских распределений, Контрольная работа по математической статистике; семейство пуассоновских распределений, Контрольная работа по математической статистике; семейство биномиальных распределений с параметрами (n ,р), где те фиксировано, а Контрольная работа по математической статистике и т.д.

Наша цель — выделить из семейства распределений то единственное распределение, которое наилучшим образом соответствует нашим запросам, точнее, полученной выборке (после этого мы сможем работать с вероятностной моделью).

Если Контрольная работа по математической статистике, где Контрольная работа по математической статистике— параметр, Контрольная работа по математической статистике — параметрическое множество, то говорят, что Контрольная работа по математической статистикепараметрическое семейство распределений, а Контрольная работа по математической статистикепараметрическая модель.

Пусть имеется случайный вектор Контрольная работа по математической статистике со значениями (Контрольная работа по математической статистике) в выборочном пространстве Контрольная работа по математической статистикеВ соответствии с определением статистической модели, Контрольная работа по математической статистике— семейство распределений случайного вектора Контрольная работа по математической статистике. Чтобы не путать набор случайных величин (случайный вектор) Контрольная работа по математической статистике с его конкретными значениями Контрольная работа по математической статистике говорят, что Контрольная работа по математической статистике — выборка, a Контрольная работа по математической статистике — случайная выборка.

Обоснование предельного перехода при стремлении размера выборки к бесконечности

Считаем, что Контрольная работа по математической статистикеn-мерное евклидово пространство . Рассмотрим последовательность выборочных пространств

Контрольная работа по математической статистике

с вероятностными мерами Контрольная работа по математической статистике Исследуем их предельные свойства при тКонтрольная работа по математической статистике

Определение. Вероятностные меры Контрольная работа по математической статистике называются согласованными, если

Контрольная работа по математической статистике

Введём пространствоКонтрольная работа по математической статистике где Контрольная работа по математической статистике — борелевская Контрольная работа по математической статистике-алгебра.

Определение. ПустьКонтрольная работа по математической статистике. Тогда борелевским цилиндром называется следующее множество:

Контрольная работа по математической статистике

Теорема 2.1 (Колмогоров). Если меры на Контрольная работа по математической статистике согласованы, то существует единственная вероятностная мера Р на Контрольная работа по математической статистике такая, что Контрольная работа по математической статистике для всех Контрольная работа по математической статистике и для всех натуральных n.

Эта теорема обосновывает законность перехода к пределу при Контрольная работа по математической статистике ( n — размер выборки).

Модель повторных испытаний

Определение. Моделью повторных испытаний называется статистическая модель, в которой случайные величины Контрольная работа по математической статистике (со значениями Контрольная работа по математической статистике соответственно, (Контрольная работа по математической статистике) Контрольная работа по математической статистике) независимы и одинаково распределены.

В дальнейшем мы будем рассматривать только модели повторных испытаний.

Пример 1.1. Рассмотренная выше статистическая модель схемы Бернулли — модель повторных испытаний. Действительно, в этом случае рассматриваются независимые испытания с одним и тем же распределением вероятности Контрольная работа по математической статистике где Контрольная работа по математической статистике — параметр.

Контрольная работа пример с решением №2

Рассмотрим эксперимент по измерению температуры. Мы считаем, что измерения независимы и результаты измерений — значения одинаково распределенных случайных величин Контрольная работа по математической статистикеНа практике обычно результаты измерений колеблются около некоторого постоянного значения а, поэтому удобно рассматривать Контрольная работа по математической статистикев виде Контрольная работа по математической статистике где Контрольная работа по математической статистике — случайная ошибка, или в координатах: Контрольная работа по математической статистике Случайные величины Контрольная работа по математической статистикетакже независимы и одинаково распределены; при этом Контрольная работа по математической статистике Средняя температура вычисляется как среднее арифметическое результатов измерений:

Контрольная работа по математической статистике—средняя ошибка, Контрольная работа по математической статистике

Выборочные характеристики

Пусть в некоторой статистической модели имеется выборка порядка n: Контрольная работа по математической статистике

Определение. Статистикой называется произвольная измеримая функция Контрольная работа по математической статистикеот элементов выборки Контрольная работа по математической статистике

Определение. Если случайная величина Контрольная работа по математической статистике имеет распределение F(x), то медианой распределения называется такое число р, что Контрольная работа по математической статистике

Медиана распределения обладает тем свойством, что Контрольная работа по математической статистике

Рассмотрим примеры наиболее часто встречающихся статистик (или выборочных характеристик):

Выборочное среднее:

Контрольная работа по математической статистике

Выборочная дисперсия:

Контрольная работа по математической статистике

Выборочный момент порядка к:

Контрольная работа по математической статистике

Выборочный центральный момент порядка к:

Контрольная работа по математической статистике

Порядковые статистики: упорядочим элементы выборки по возрастанию, получим последовательность

Контрольная работа по математической статистике

Она называется вариационным рядом выборки, а её элементы — порядковыми статистиками. Случайные величины со значениями Контрольная работа по математической статистикетакже называются порядковыми статистиками. Более формально,

Контрольная работа по математической статистике

где «крышка», как обычно, означает пропуск этого элемента. Выборочная медиана:

Контрольная работа по математической статистике

Пример 1.3. Рассмотрим равномерное распределение на Контрольная работа по математической статистике — неизвестный параметр. Параметр Контрольная работа по математической статистикеможно оценить двумя способами:

1.Контрольная работа по математической статистике — несмещённая оценка

2.Контрольная работа по математической статистике (оценка по крайней точке) — смещённая, но средне-квадратичная ошибка меньше, чем у Контрольная работа по математической статистике.

Эмпирическая функция распределения.
Определение и свойства

Определение. Эмпирической функцией распределения для данной выборки Контрольная работа по математической статистике называется функция

Контрольная работа по математической статистике

гдеКонтрольная работа по математической статистике — индикатор множества А.

Перейдем от выборки Контрольная работа по математической статистике к вариационному ряду (совокупности порядковых статистик); иными словами, упорядочим выборку по возрастанию: Контрольная работа по математической статистике. Тогда, очевидно, эмпирическая функция распределения может быть записана в виде

Контрольная работа по математической статистике

Если выборка Контрольная работа по математической статистике фиксирована, то эмпирическая функция распределения — это функция от переменнойКонтрольная работа по математической статистике Она является функцией распределения некоторой случайной величины Контрольная работа по математической статистике(проверьте это!): Контрольная работа по математической статистике

Если же выборка не фиксирована, а случайные величины Контрольная работа по математической статистикепородившие эту выборку, независимы и одинаково распределены с функцией распределения F(x), то можно рассматривать Контрольная работа по математической статистике Для каждого Контрольная работа по математической статистике это случайная величина: Контрольная работа по математической статистике

Теорема 2.2. 1) Случайная величина Контрольная работа по математической статистике имеет биномиальное распределение с параметрами (п,р = F(x)) при любом фиксированном Контрольная работа по математической статистике;

2) Контрольная работа по математической статистике является несмещенной состоятельной оценкой F(x);

Контрольная работа по математической статистике

Найдем распределение случайной величины Контрольная работа по математической статистике при любом фиксированном Контрольная работа по математической статистике. Если Контрольная работа по математической статистике то Контрольная работа по математической статистике, а если Контрольная работа по математической статистике то Контрольная работа по математической статистике Значит, при каждом Контрольная работа по математической статистике это частота наступления события Контрольная работа по математической статистике, вероятность которого равна Контрольная работа по математической статистике Отсюда получаем, что случайная величина Контрольная работа по математической статистике имеет биномиальное распределение с параметрами (n,р — F(x)) при любом фиксированном Контрольная работа по математической статистике(утверждение 1) теоремы). Её математическое ожидание и дисперсия соответственно равны и nр( 1 — р), поэтому получаем

Контрольная работа по математической статистике

Таким образом, эмпирическую функцию распределения Контрольная работа по математической статистике можно рассматривать как оценку (теоретической) функции распределения F(x). Поскольку Контрольная работа по математической статистике то эта оценка несмещенная, а в силу неравенства Чебышева Контрольная работа по математической статистикет.е. Контрольная работа по математической статистике значит эта оценка состоятельная. Таким образом, утверждение 2) также доказано.

Утверждение 3) следует из УЗБЧ для схемы Бернулли (теорема Бореля), а утверждение 4) — из формул (12) и центральной предельной теоремы для независимых одинаково распределенных случайных величин, примененной к суммеКонтрольная работа по математической статистике

Задача 2.1. Доказать, что Контрольная работа по математической статистике является эффективной оценкой F(x) Контрольная работа по математической статистике

На самом деле имеет место еще более сильное утверждение, чем утверждение 3) доказанной теоремы, а именно равномерная сходимостьКонтрольная работа по математической статистике к F(x) с вероятностью 1, что и составляет содержание следующей теоремы.

Теорема Гливенко — Кантелли

Теорема 2.3 (Гливенко — Кантелли). Пусть Контрольная работа по математической статистике— взаимно независимые, одинаково распределенные случайные величины с функцией распределенияКонтрольная работа по математической статистике — их эмпирическая функция распределения. Тогда

Контрольная работа по математической статистике

(m. e. Контрольная работа по математической статистике равномерно сходится к F(x) с вероятностью 1).

Замечание. Для определения эмпирической функции распределения в теореме Гливенко — Кантелли не требуется понятия выборки: она определяется для заданного (известного) набора взаимно независимых одинаково распределенных случайных величин.

Для краткости будем обозначать эмпирическую функцию распределения через Контрольная работа по математической статистике По условию теоремы, F(x) — функция распределения случайных величин Контрольная работа по математической статистике Рассмотрим два случая.

1) Пусть F(x) — непрерывная и строго монотонная функция. Фиксируем произвольное Контрольная работа по математической статистике и Контрольная работа по математической статистикеКонтрольная работа по математической статистике Поскольку функция F(x) непрерывна и строго монотонна, то для каждого i = 0, ….k найдется Контрольная работа по математической статистике. Контрольная работа по математической статистике (возможно, Контрольная работа по математической статистике или Контрольная работа по математической статистике), причем такие Контрольная работа по математической статистике определены однозначно. Для соседних точек, по определению,

Контрольная работа по математической статистике

Зафиксируем i и произвольную точку Контрольная работа по математической статистике В силу монотонности функций F и Контрольная работа по математической статистикеимеем:

Контрольная работа по математической статистике

и используя неравенство (13), отсюда получаем:

Контрольная работа по математической статистике

Рассмотрим событие Контрольная работа по математической статистике По УЗБЧ для схемы Бернулли Контрольная работа по математической статистике

Далее, рассмотрим событиеКонтрольная работа по математической статистике Его вероятность равна Контрольная работа по математической статистике (проверьте!). Очевидно, событие АW равносильно тому, что Контрольная работа по математической статистике Определим события

Контрольная работа по математической статистике

В силу неравенства (15) Контрольная работа по математической статистике а, поскольку Контрольная работа по математической статистике то и Р(В) = 1.

2) Пусть теперь F(x) — произвольная (неубывающая) непрерывная функция. Тогда определим Контрольная работа по математической статистике так:

Далее рассуждаем аналогично первому случаю. Осталось заметить, что при применении УЗБЧ для схемы Бернулли в данном случае нужно представить событие Контрольная работа по математической статистике в виде Контрольная работа по математической статистике, где

Контрольная работа по математической статистике

Вероятность каждого из этих событий равна Контрольная работа по математической статистике поэтому и Контрольная работа по математической статистике дальнейшие рассуждения в точности такие же, как и в случае 1).

Статистика Колмогорова

Пусть дана случайная выборка Контрольная работа по математической статистике — независимые одинаково распределенные случайные величины с непрерывной функцией распределения F(x).

Определение. Случайная величина Контрольная работа по математической статистике— называется статистикой Колмогорова.

В терминах статистики Колмогорова теорему Гливенко — Кантелли можно переформулировать так: Контрольная работа по математической статистикесходится к нулю при Контрольная работа по математической статистике с вероятностью 1 (т. е. Р-п.н.).

Вид асимптотической функции распределения статистики Контрольная работа по математической статистике дает следующая теорема.

Теорема 2.4 (Колмогоров). Если функция F(x) непрерывна, то при любом у > 0

Контрольная работа по математической статистике

Замечание. Для Контрольная работа по математической статистике очевидно, Контрольная работа по математической статистике

Участвующая в теореме функция Контрольная работа по математической статистике называется функцией Колмогорова.

Мы докажем только часть теоремы Колмогорова, а именно следующую лемму:

Лемма 2.5. Распределение статистики Колмогорова Контрольная работа по математической статистике где Контрольная работа по математической статистике — независимые одинаково распределенные случайные величины с непрерывной функцией распределения F(x), не зависит от вида функции F(x).

Рассмотрим два случая.

1) Пусть у = F(x) — непрерывная и строго монотонная функция. Тогда существует обратная функция:Контрольная работа по математической статистике. Рассмотрим случайные величины Контрольная работа по математической статистике Они независимы и имеют одинаковое равномерное распределение на отрезке [0,1]:

Контрольная работа по математической статистике

Эмпирическая функция распределения Контрольная работа по математической статистике

Контрольная работа по математической статистике

где Контрольная работа по математической статистике — эмпирическая функция распределения случайной выборкиКонтрольная работа по математической статистике

Рассмотрим очевидное равенство

Контрольная работа по математической статистике

Его левая часть с вероятностью 1 совпадает с Контрольная работа по математической статистике а правая часть — с Контрольная работа по математической статистике Статистика Контрольная работа по математической статистике от вида функции F(x) не зависит, поскольку от F(x) не зависит распределение случайных величин 1*1,…, Yn.

Для завершения доказательства осталось показать, что на множестве Контрольная работа по математической статистике или F(x) = 1} эмпирическая функция распределения Контрольная работа по математической статистике и теоретическая F(x) совпадают с вероятностью 1. Для этого достаточно проверить, что Контрольная работа по математической статистике Проверку этого факта мы предоставляем читателю.

2) Если функция F(x) — произвольная (неубывающая) непрерывная функция, то рассуждения аналогичны предыдущему случаю, только в этом случае нужно положить Контрольная работа по математической статистике

Читателю рекомендуется аккуратно провести рассуждения для этого случая самостоятельно.

Критерий Колмогорова

Рассмотрим две гипотезы о функции распределения Контрольная работа по математической статистике (нулевая гипотеза), где Контрольная работа по математической статистике — заданная непрерывная функция распределения; Контрольная работа по математической статистике(альтернативная гипотеза).

Статистика Колмогорова позволяет сформулировать критерий, согласно которому выбирается одна из этих двух гипотез. А именно:

Критерий Колмогорова. Если Контрольная работа по математической статистике, то Контрольная работа по математической статистике отклоняем (Контрольная работа по математической статистикепринимаем), если же Контрольная работа по математической статистике то Контрольная работа по математической статистике принимаем (Контрольная работа по математической статистикеотклоняем). Здесь число Контрольная работа по математической статистике называется критическим значением и равно Контрольная работа по математической статистике — квантиль уровня (1 — а) функции Колмогорова К (у) (т. е. решение уравнения К (у) = 1 — а). На практике для заданного Контрольная работа по математической статистикеквантильКонтрольная работа по математической статистике находится по таблице квантилей функции Колмогорова. Действительно, по теореме Колмогорова Контрольная работа по математической статистикеКонтрольная работа по математической статистикет. е. вероятность ошибки I рода приближенно равна а (если п достаточно велико).

Выборочные характеристики как характеристики эмпирической функции распределения

Напомним некоторые определенные в п. 2.1.4 выборочные характеристики — выборочное среднее и выборочную дисперсию:

Контрольная работа по математической статистике

Утверждение 2.6. Контрольная работа по математической статистике и Контрольная работа по математической статистике— соответственно математическое ожидание и дисперсия эмпирического распределения (т. е. распределения, определяемого функцией распределения Контрольная работа по математической статистике

Обозначим эмпирическое распределение Контрольная работа по математической статистике) — функция распределения Тогда доказательство следует из соотношений

Контрольная работа по математической статистике

Здесь мы воспользовались определением эмпирической функции распределения, линейностью интеграла Стилтьеса и формулой для интеграла Стилтьеса Контрольная работа по математической статистике где g(х) — функция одного скачка (в точке Контрольная работа по математической статистике), Контрольная работа по математической статистике — величина скачка.

Аналогично можно показать, что выборочные моменты порядка к являются моментами порядка к эмпирического распределения. Покажем, что выборочные моменты можно рассматривать как хорошие оценки моментов теоретического распределения.

Пусть Контрольная работа по математической статистике — выборка, порожденная независимыми одинаково распределенными случайными величинами Контрольная работа по математической статистике — их (теоретическая) функция распределения (неизвестная, или известно в каком классе лежит, но неизвестно какая именно). Её k-тый момент равен

Контрольная работа по математической статистике

(Контрольная работа по математической статистике— математическое ожидание, Контрольная работа по математической статистике— второй момент, Контрольная работа по математической статистике — дисперсия, и т.д.). Рассмотрим выборочные моменты — моменты эмпирического распределения:

Контрольная работа по математической статистике

Если рассматриватьКонтрольная работа по математической статистике как оценки Контрольная работа по математической статистике, то легко получаем следующие её свойства:

1) Несмещённость: Контрольная работа по математической статистике

2) Состоятельность: по закону больших чиселКонтрольная работа по математической статистике

Распределение порядковых статистик

Пусть Контрольная работа по математической статистике — случайная выборка с теоретической функцией распределения Контрольная работа по математической статистике — её порядковые статистики.

Найдем распределение Контрольная работа по математической статистике. Пусть Контрольная работа по математической статистике — функция распределения Контрольная работа по математической статистике. При каждом фиксированном Контрольная работа по математической статистике имеем:

Контрольная работа по математической статистике

Контрольная работа пример с решением №3

Пусть F(x) — функция распределения равномерного распределения на отрезке [0,1]: F(x) = х, 0 < х < 1. Тогда

Контрольная работа по математической статистике

Найдем плотность этого распределения. Для этого продифференцируем функцию распределения:

Контрольная работа по математической статистике
Контрольная работа по математической статистике
Контрольная работа по математической статистике

(во втором равенстве воспользовались тождествами Контрольная работа по математической статистике .Таким образом, плотность

распределения Контрольная работа по математической статистике равнаКонтрольная работа по математической статистике а функция распределения —

Контрольная работа по математической статистике

Определение. Пусть а > 0, b > 0. Распределение с плотностью

Контрольная работа по математической статистике

где Контрольная работа по математической статистике — бета-функция (эйлеров интеграл I рода), называется бета-распределением с параметрами а > 0, b > 0. Функция распределения бета-распределения Контрольная работа по математической статистике называется неполной бета-функцией.

Из математического анализа известно, чтоКонтрольная работа по математической статистике где Контрольная работа по математической статистике — гамма-функция Эйлера (эйлеров интеграл II рода), и для Контрольная работа по математической статистике, поэтому формулу (16) можно переписать в виде

Контрольная работа по математической статистике

Таким образом, нами доказан следующий результат.

Утверждение 2.7. Распределение порядковой статистики , Контрольная работа по математической статистике для случайной выборкиКонтрольная работа по математической статистике с равномерным распределением на отрезке [0,1] является бета-распределением с параметрами а = к, b = п — к + 1.

Замечание. Функция распределения порядковых статистик в случае произвольной непрерывной функции распределения F(x) случайной выборки Контрольная работа по математической статистике имеет вид Контрольная работа по математической статистике

Функция правдоподобия. Регулярные модели

Пусть в некоторой статистической модели Контрольная работа по математической статистике имеется выборка Контрольная работа по математической статистикепорожденная случайной выборкой Контрольная работа по математической статистике, где случайные величины Контрольная работа по математической статистике независимы и одинаково распределены с функцией распределения Контрольная работа по математической статистике — параметр распределения.

Оценка параметра Контрольная работа по математической статистике— это подходящая статистика (измеримая функция от выборочных данных): Контрольная работа по математической статистике Пусть имеются две оценки параметра Контрольная работа по математической статистике. Определим, что значит, что одна оценка «лучше» другой.

Определение. Пусть Контрольная работа по математической статистике и Контрольная работа по математической статистике— две оценки параметра Контрольная работа по математической статистике. Говорят, что оценка Контрольная работа по математической статистикелучше (или предпочтительней) оценки Контрольная работа по математической статистике, если

Контрольная работа по математической статистике

Определение. Эффективной оценкой параметра в называется несмещенная оценка с минимальной дисперсией, т.е. такая оценка Контрольная работа по математической статистике, для которой выполнены следующие свойства:

Контрольная работа по математической статистике

Напомним, что для несмещенных оценок среднеквадратичное отклонение совпадает с дисперсией:

Контрольная работа по математической статистике

Таким образом, эффективная оценка — это наилучшая из всех несмещенных оценок. Аналогично можно определить эффективную оценку в классе оценок с заданным смещениемКонтрольная работа по математической статистике

Нас будут интересовать два случая: распределение Контрольная работа по математической статистикедискретно (с распределением вероятностей или абсолютно непрерывно (с плотностью Контрольная работа по математической статистике). Чтобы в дальнейшем не рассматривать эти случаи отдельно, введем следующее удобное обозначение:

Контрольная работа по математической статистике

В дальнейшем придется интегрировать по выборочному пространству, поэтому отметим, что если модель дискретна, то интегрирование заменяется суммированием (для краткости, мы будем проводить все выкладки для абсолютно непрерывной модели).

Определение. Функцией правдоподобия (для данной выборки Контрольная работа по математической статистике) называется следующая функция (параметра Контрольная работа по математической статистике):

Контрольная работа по математической статистике

В дальнейшем для краткости мы будем писать Контрольная работа по математической статистике

Определение. Статистическая модель называется регулярной (по Рао-Крамеру), если выполнены следующие условия (регулярности):

1) Контрольная работа по математической статистике и дифференцируема по Контрольная работа по математической статистике

2) Случайная величина Контрольная работа по математической статистике(которая называется функцией вклада выборки) имеет ограниченную дисперсию:

3) Для любой статистики Контрольная работа по математической статистике имеет место равенство

Контрольная работа по математической статистике

(Это означает, что выборочное пространство X не зависит от параметра Контрольная работа по математической статистике).

Пример 3.1. (нерегулярной модели). Рассмотрим модель Контрольная работа по математической статистике (равномерное распределение на отрезке Контрольная работа по математической статистике Условие 3) регулярности для этой модели не выполнено:

Контрольная работа по математической статистике

Таким образом, эта модель не является регулярной.

Задача 2.2. Проверить условие регулярности 3) для экспоненциального распределения с плотностью

Контрольная работа по математической статистике

Количество информации Фишера. Неравенство Рао-Крамера

Информация Фишера

Пусть модель регулярна. Рассмотрим тождество Контрольная работа по математической статистике (оно выполнено, так как Контрольная работа по математической статистике) — плотность распределения случайного вектора Контрольная работа по математической статистике).Продифференцируем его по Контрольная работа по математической статистике:

Контрольная работа по математической статистике

Отсюда следует, что математическое ожидание функции вклада равно Контрольная работа по математической статистике

Определение. Количеством информации Фишера (или просто информацией Фишера) называется дисперсия функции вклада:

Контрольная работа по математической статистике

Количество информации для одного наблюдения равноКонтрольная работа по математической статистике а поскольку наблюдения (случайные величины) Контрольная работа по математической статистике независимы, то информация Фишера о выборке размера n равнаКонтрольная работа по математической статистике

Неравенство Рао-Крамера

Пусть имеется регулярная модель с параметрическим семейством распределений Контрольная работа по математической статистике Следующая теорема дает нижнюю границу дисперсий оценок произвольной дифференцируемой функции от параметра Контрольная работа по математической статистикев классе оценок с заданным смещением.

Теорема 2.8 (Неравенство Рао — Крамера). Пусть модель с параметрическим семейством распределений Контрольная работа по математической статистике регулярна, Контрольная работа по математической статистике — выборка, и пусть некоторая статистика Контрольная работа по математической статистике Oценивает дифференцируемую функцию Контрольная работа по математической статистике параметра Контрольная работа по математической статистике. Обозначим Контрольная работа по математической статистике — смещение оценки Контрольная работа по математической статистикеЕсли Контрольная работа по математической статистике — дифференцируемая функция, то справедливо неравенство

Контрольная работа по математической статистике

где Контрольная работа по математической статистике — количество информации Фишера о выборке х. При этом неравенство обращается в равенство тогда и только тогда, когда оценка Контрольная работа по математической статистике является линейной функцией вклада выборки, т. е. Контрольная работа по математической статистикеКонтрольная работа по математической статистике

В частности, если оценка Контрольная работа по математической статистике несмещенная, Контрольная работа по математической статистикеи с учетомКонтрольная работа по математической статистике неравенство принимает вид Контрольная работа по математической статистике

По определению смещения оценки Контрольная работа по математической статистике имеем Контрольная работа по математической статистикеПродифференцируем это равенство, записав М$0(ж) в виде интеграла и пользуясь условием регулярности 3):

Контрольная работа по математической статистике

Учитывая, что Контрольная работа по математической статистике получаем:

Контрольная работа по математической статистике
Контрольная работа по математической статистике

Применим к Контрольная работа по математической статистике неравенство Коши-Буняковского Контрольная работа по математической статистике

Контрольная работа по математической статистике

Отсюда следует требуемое неравенство. А так как неравенство Коши — Буняковского превращается в равенство тогда и только тогда, когда функции (в нашем случае случайные величины) линейно связаны, то и наше неравенство превращается в равенство в том и только том случае, когда (при каждом Контрольная работа по математической статистике) Контрольная работа по математической статистике линейно связаны: Контрольная работа по математической статистике Теорема доказана.

Семейства распределений экспоненциального типа

Если мы будем рассматривать несмещённые оценки параметра Контрольная работа по математической статистике то равенство в теореме Крамера-Рао Контрольная работа по математической статистике достигается при

Контрольная работа по математической статистике

где К не зависит от выборки (это условие пропорциональности, при котором неравенство Коши — Буняковского обращается в равенство). Отсюда

Контрольная работа по математической статистике

Мы получили явный вид функции правдоподобия. Это плотность параметрического семейства распределений, принадлежащих к так называемому экспоненциальному типу. Примерами таких распределений служат биномиальное, показательное, нормальное и другие.

Многомерный случай

Пусть Контрольная работа по математической статистике — вектор-параметр, Контрольная работа по математической статистикеРассматривается оценка Контрольная работа по математической статистике Контрольная работа по математической статистике Положим

Контрольная работа по математической статистике

В многомерном случае роль дисперсии играет ковариационная матрица Контрольная работа по математической статистикеКонтрольная работа по математической статистике— дисперсия, остальные — попарные ковариации. Несмещённость оценки задаётся равенством Контрольная работа по математической статистике

Аналогом количества информации Фишера является информационная матрица Фишера Контрольная работа по математической статистике Предположим, что эта матрица обратима (существует Контрольная работа по математической статистике). Тогда имеет место аналог теоремы Крамера-Рао: матрица — Контрольная работа по математической статистике является неотрицательно определённой.

Методы получения оценок

Метод моментов

Рассматривается статистическая модель с s-мерным параметром Контрольная работа по математической статистике— выборка повторная) — к-й момент (истинный); Контрольная работа по математической статистике — эмпирический момент. Предположим, что Контрольная работа по математической статистике Эмпирические моменты являются оценками для истинных. Запишем систему моментных уравнений:

Контрольная работа по математической статистике

Рассмотрим полученную систему относительно переменных Контрольная работа по математической статистике. Пусть существует единственное решениеКонтрольная работа по математической статистике Мы получили некоторую оценку для Контрольная работа по математической статистике. Следующая теорема сообщает, что оценка не совсем плохая.

Теорема 2.9 (О состоятельности статистических оценок, полученных методом моментов). ПустьКонтрольная работа по математической статистике есть решение системы моментных уравнений и пусть функцииКонтрольная работа по математической статистике непрерывны. Тогда оценкиКонтрольная работа по математической статистике= Контрольная работа по математической статистике для всех j являются состоятельными оценками параметров Контрольная работа по математической статистике(т.е. Контрольная работа по математической статистике для всех j).

Это следует из непрерывности Контрольная работа по математической статистикеи асимптотического свойства моментов: Контрольная работа по математической статистике

Пример 5.1. Схема Бернулли. Контрольная работа по математической статистике — параметр (вероятность удачи); Контрольная работа по математической статистике или 0. Контрольная работа по математической статистикеКонтрольная работа по математической статистике— первый выборочный момент,Контрольная работа по математической статистике — оценка р по методу моментов. Это хорошая оценка (несмещённая, состоятельная, эффективная в смысле неравенства Крамера-Рао).

Пример 5.2.Контрольная работа по математической статистике— хорошая оценка, Контрольная работа по математической статистикеКонтрольная работа по математической статистике — выборочная дисперсия — смещённая оценка Контрольная работа по математической статистике. Это оценки, полученные по методу моментов. А вот такая оценка: Контрольная работа по математической статистике является несмещённой.

Асимптотические свойства оценок

Состоятельность оценки. Контрольная работа по математической статистике — параметрическая модель, Контрольная работа по математической статистике— оценка по выборке длины те, Контрольная работа по математической статистике— истинное значение параметра. Оценка состоятельна, если Контрольная работа по математической статистике

Асимптотическая несмещённость. Контрольная работа по математической статистике (т.е. смещениеКонтрольная работа по математической статистике.

Асимптотическая нормальность. Контрольная работа по математической статистике асимптотически нормальна, если существует монотонно сходящаяся к нулю последовательность положительных чиселКонтрольная работа по математической статистикетакая, что

Контрольная работа по математической статистике

(сходимость по распределению к некоторой случайной величине со стандартным нормальным распределением). Говорят, что Контрольная работа по математической статистикеасимптотически нормальна с Контрольная работа по математической статистике, а Контрольная работа по математической статистике асимптотически нормальна с Контрольная работа по математической статистике;Контрольная работа по математической статистике в называется асимптотическим средним, а Контрольная работа по математической статистике — асимптотической дисперсией оценки Контрольная работа по математической статистике. Асимптотически нормальная оценка автоматически является асимптотически несмещённой. В качестве Контрольная работа по математической статистике обычно берут Контрольная работа по математической статистике (Контрольная работа по математической статистике не зависит от выборки).

Пример 5.3. Схема Бернулли с параметром Контрольная работа по математической статистике (вероятность успеха). Контрольная работа по математической статистике — выборка.

Контрольная работа по математической статистике

Контрольная работа по математической статистике асимптотически нормальна в силу теоремы Муавра — Лапласа (ЦПТ). (Обычно через эту теорему асимптотическую нормальность и доказывают.)

Контрольная работа пример с решением №4

Контрольная работа по математической статистике

Асимптотическая эффективность. Рассмотрим семейство распределений, подчинённых условиям регулярности, для оценок параметров которого имеет место неравенство Крамера-Рао. Контрольная работа по математической статистике — нижняя граница дисперсий всех оценок. Коэффициент эффективности оценки:

Контрольная работа по математической статистике

Если

Контрольная работа по математической статистике

то оценка называется эффективной.

Контрольная работа по математической статистике

Если

Контрольная работа по математической статистике

то оценка называется асимптотически эффективной.

Асимптотическая эффективность в рамках асимптотической нормальности. Пусть Контрольная работа по математической статистике асимптотически нормальна с Контрольная работа по математической статистике. Она называется асимптотически эффективной (в рамках асимптотической нормальности), если

Контрольная работа по математической статистике

Метод максимального (наибольшего) правдоподобия

Принцип МП в простейшем случае Принцип МП был рассмотрен ещё Гауссом в следующей форме: найдём такие значения параметров, чтобы вероятность получить данную выборку была максимальной (берём

Контрольная работа по математической статистике

). Контрольная работа по математической статистике — оценка МП (наиболее правдоподобное значение Контрольная работа по математической статистике).

Общая ситуация Контрольная работа по математической статистике — выборка в Контрольная работа по математической статистике — функция правдоподобия. Возьмём Контрольная работа по математической статистике такое, что

Контрольная работа по математической статистике

(если точная верхняя грань достигается), Контрольная работа по математической статистике называется оценкой максимального правдоподобия (ОМП).

Контрольная работа пример с решением №5

Контрольная работа по математической статистике взаимно независимы и равномерно распределены на Контрольная работа по математической статистике.

Контрольная работа по математической статистике

где Контрольная работа по математической статистике — плотность равномерного распределения. Контрольная работа по математической статистике тогда и только тогда, когда для всех Контрольная работа по математической статистике.

Контрольная работа по математической статистике

Ясно, что максимум Контрольная работа по математической статистике достигается при

Контрольная работа по математической статистике

Предположим, что функция Контрольная работа по математической статистике дифференцируема по параметру в Контрольная работа по математической статистике. Тогда ОМП можно найти, решая уравнение правдоподобия: Контрольная работа по математической статистике (или переходим к логарифмам: Контрольная работа по математической статистике, если это возможно). В случае Контрольная работа по математической статистикеполучаем систему уравнений.

Теорема 2.10 (о свойствах ОМП — теорема Дюге). При выполнении условий регулярности (*) ОМП обладает, следующими асимптотическими свойствами:

  1. состоятельность;
  2. асимптотическая нормальность и асимптотическая эффективность. Условия регулярности (*):

Контрольная работа по математической статистике — невырожденный замкнутый интервал на Контрольная работа по математической статистике; существуют Контрольная работа по математической статистике для Контрольная работа по математической статистике.

Для dcex Контрольная работа по математической статистике:

Контрольная работа по математической статистике

где Контрольная работа по математической статистике и Контрольная работа по математической статистике интегрируемы на Контрольная работа по математической статистике, a Контрольная работа по математической статистике обладает следующим свойством:

Контрольная работа по математической статистике
Контрольная работа по математической статистике

Эти условия содержат условия Крамера-Рао. Лемма 2.11. Пусть

Контрольная работа по математической статистике

(все Контрольная работа по математической статистике являются функциями от Контрольная работа по математической статистике). Тогда

Контрольная работа по математической статистике
Контрольная работа по математической статистике

Предельные свойства Контрольная работа по математической статистике следуют из ЗБЧ (Контрольная работа по математической статистике являются средними арифметическими независимых одинаково распределённых случайных величин с конечными математическими ожиданиями). В условиях регулярности меняем дифференцирование по в и интегрирование:

Контрольная работа по математической статистике

Откуда

Контрольная работа по математической статистике

Утверждение

Контрольная работа по математической статистике

вытекает из следующей выкладки:

Контрольная работа по математической статистике

Лемма 2.12

Контрольная работа по математической статистике

(Это — задача по теории вероятностей) [Доказательство теоремы Дюге]

Контрольная работа по математической статистике
Контрольная работа по математической статистике

Вспоминаем, что

Контрольная работа по математической статистике

и переписываем уравнение правдоподобие

Контрольная работа по математической статистике

в виде

Контрольная работа по математической статистике

Зададим Контрольная работа по математической статистике — малые числа. Выберем Контрольная работа по математической статистике так, чтобы

Контрольная работа по математической статистике

Положим

Контрольная работа по математической статистике

При

Контрольная работа по математической статистике

Пусть Контрольная работа по математической статистике. Положим Контрольная работа по математической статистике. Так как

Контрольная работа по математической статистике

при малых Контрольная работа по математической статистике знак выражения Контрольная работа по математической статистике определяется вторым слагаемым. Поэтому (при малых Контрольная работа по математической статистике) если

Контрольная работа по математической статистике

а если

Контрольная работа по математической статистике

Отсюда по непрерывности

Контрольная работа по математической статистике

т. е. Контрольная работа по математической статистике — точка максимума. Итак, с вероятностью, не меньшей, чем Контрольная работа по математической статистике, точка максимума лежит в Контрольная работа по математической статистике, откуда следует состоятельность.

Докажем асимптотическую нормальность и асимптотическую эффективность. Имеем

Контрольная работа по математической статистике

Отсюда

Контрольная работа по математической статистике

Далее

Контрольная работа по математической статистике
Контрольная работа по математической статистике
Контрольная работа по математической статистике

независимые и одинаково распределённые с

Контрольная работа по математической статистике

В силу ЦПТ числитель

Контрольная работа по математической статистике

В силу леммы 2.11

Контрольная работа по математической статистике

откуда знаменатель

Контрольная работа по математической статистике

(второе слагаемое оценивается через Контрольная работа по математической статистике). Тогда (в силу леммы 2.12) Контрольная работа по математической статистике асимптотически нормальна с Контрольная работа по математической статистике. Отсюда Контрольная работа по математической статистике асимптотически нормальна с Контрольная работа по математической статистике, а т. к. асимптотическая дисперсия Контрольная работа по математической статистике, то Контрольная работа по математической статистике асимптотически эффективна (в рамках асимптотической нормальности).

Задача 2.3. Пусть Контрольная работа по математической статистике — регулярное параметрическое семейство распределений. Докажите, что если существует эффективная (в смысле неравенства Крамера-Рао) оценка Контрольная работа по математической статистике, то Контрольная работа по математической статистике есть ОМП.

О свойствах информации Фишера

Контрольная работа по математической статистике — выборка. Контрольная работа по математической статистике — функция правдоподобия. Информация Фишера:

Контрольная работа по математической статистике

Контрольная работа по математической статистике — информация в выборке Контрольная работа по математической статистике — это просто такое обозначение). Для информации Фишера выполняются все обычные свойства информации:

Утверждение 2.13 (свойства информации Фишера).

  1. Контрольная работа по математической статистике если Контрольная работа по математической статистике независимы.
  2. Для повторной выборки Контрольная работа по математической статистике.
  3. Пусть Контрольная работа по математической статистике — измеримое пространство значений статистики Контрольная работа по математической статистике — распределение статистики Контрольная работа по математической статистике — функция правдоподобия для Контрольная работа по математической статистике (статистика Контрольная работа по математической статистике не обязательно одномерна), Контрольная работа по математической статистикеКонтрольная работа по математической статистике — информация Фишера в статистике Контрольная работа по математической статистике. Тогда Контрольная работа по математической статистике

Докажем только пункт 3 (остальные тривиальны), да и то лишь п дискретном случае.

Контрольная работа по математической статистике
Контрольная работа по математической статистике
Контрольная работа по математической статистике

Далее (здесь штрих означает производную по Контрольная работа по математической статистике),

Контрольная работа по математической статистике

откуда

Контрольная работа по математической статистике

поэтому

Контрольная работа по математической статистике

Достаточные статистики

Контрольная работа по математической статистике — параметрическая модель; Контрольная работа по математической статистике — выборка. Определение. Статистика Контрольная работа по математической статистике называется достаточной (для данной модели), если для всех Контрольная работа по математической статистике и для всех Контрольная работа по математической статистике условная вероятность Контрольная работа по математической статистике не зависит от Контрольная работа по математической статистике для всех Контрольная работа по математической статистике для которых определена условная вероятность.

Найти достаточную статистику по определению не представляется возможным.

Контрольная работа пример с решением №6

Схема Бернулли. Контрольная работа по математической статистике. Пусть Контрольная работа по математической статистике и Контрольная работа по математической статистике таковы, что Контрольная работа по математической статистике. Тогда

Контрольная работа по математической статистике

Следовательно, Контрольная работа по математической статистике — достаточная статистика.

Теорема 2.14 (критерий достаточности — теорема Неймана —Фишера — теорема о факторизации). Контрольная работа по математической статистике — достаточная статистика тогда и только тогда, когда имеет, место следующее представление функции правдоподобия:

Контрольная работа по математической статистике

где Контрольная работа по математической статистике и Контрольная работа по математической статистике — неотрицательные измеримые функции (каждая — в своей области).

Замечание. Контрольная работа по математической статистике — плотность совместного распределения Контрольная работа по математической статистике по некоторой мере Контрольная работа по математической статистике; семейство Контрольная работа по математической статистике абсолютно непрерывно относительно меры Контрольная работа по математической статистике, плотность — производная Радона-IIикодима. Нам важны два случая: а) Контрольная работа по математической статистике — мера Лебега, б) Контрольная работа по математической статистике — считающая мера.

[Доказательство для дискретного случая] Контрольная работа по математической статистике — выборка.

Контрольная работа по математической статистике

Необходимость. Пусть Контрольная работа по математической статистике — достаточная статистика. Тогда положим

Контрольная работа по математической статистике

не зависит от Контрольная работа по математической статистике в силу достаточности Контрольная работа по математической статистике,

откуда

Контрольная работа по математической статистике

Достаточность. Пусть Контрольная работа по математической статистике. Тогда

Контрольная работа по математической статистике

не зависит от Контрольная работа по математической статистике, поэтому Контрольная работа по математической статистике — достаточная статистика.

Условное математическое ожидание

Определение. Пусть Контрольная работа по математической статистике — вероятностное пространство, Контрольная работа по математической статистике-измеримая функция (случайная величина), Контрольная работа по математической статистике-подалгебра в Контрольная работа по математической статистике. Тогда условным математическим ожиданием (УМО; обозначение: Контрольная работа по математической статистике Контрольная работа по математической статистике относительно Контрольная работа по математической статистике (более точно, вариантом УМО) называется случайная величина Контрольная работа по математической статистике удовлетворяющая следующим условиям:

  1. Контрольная работа по математической статистике-измерима;
  2. для всех Контрольная работа по математической статистике
Контрольная работа по математической статистике

Замечание. Контрольная работа по математической статистике не обязана быть Контрольная работа по математической статистике-измеримой (иначе определение тривиально: возьмём Контрольная работа по математической статистике). УМО есть осреднение случайной величины, чтобы та стала измеримой относительно более грубой Контрольная работа по математической статистике-алгебры.

Следующие два утверждения обосновывают корректность определения: Утверждение 2.15. Варианты. УМО существуют, если Контрольная работа по математической статистике.

□ Сначала рассмотрим случай неотрицательной случайной величины

Контрольная работа по математической статистике

определяет меру на Контрольная работа по математической статистике абсолютно непрерывную относительно меры Контрольная работа по математической статистике. рассмотренной па Контрольная работа по математической статистике. По теореме Радона- Никодима существует Контрольная работа по математической статистике-измеримая функция Контрольная работа по математической статистике такая, что

Контрольная работа по математической статистике

(Контрольная работа по математической статистике — производная Радона-Никодима). Контрольная работа по математической статистике по определению является вариантом УМО.

В случае знакопеременной Контрольная работа по математической статистике полагаем Контрольная работа по математической статистике(Контрольная работа по математической статистике и Контрольная работа по математической статистикенеотрицательны) и берём в качестве варианта УМО

Контрольная работа по математической статистике

Замечание. Условие Контрольная работа по математической статистике не является необходимым.

Утверждение 2.16. Любые два варианта УМО совпадают, почти наверное.

□ От противного: пусть Контрольная работа по математической статистике и Контрольная работа по математической статистике — два варианта УМО Контрольная работа по математической статистике. Пусть также

Контрольная работа по математической статистике
Контрольная работа по математической статистике

Имеем, что

Контрольная работа по математической статистике

где

Контрольная работа по математической статистике

Хотя бы одно из множеств Контрольная работа по математической статистике имеет положительную меру (иначе Контрольная работа по математической статистике); без ограничения общности считаем Контрольная работа по математической статистике. ■ Тогда по определению варианта УМО

Контрольная работа по математической статистике

что противоречит тому, что Контрольная работа по математической статистике всюду па Контрольная работа по математической статистике и Контрольная работа по математической статистике. ■

Поэтому УМО можно считать однозначно определённым с точностью до множеств Контрольная работа по математической статистике-меры нуль. Определение. Пусть Контрольная работа по математической статистике — вероятностное пространство, Контрольная работа по математической статистике-подалгебра в Контрольная работа по математической статистике. Тогда условная вероятность Контрольная работа по математической статистике относительно определяется так:

Контрольная работа по математической статистике

где Контрольная работа по математической статистике — характеристическая функция Контрольная работа по математической статистике.

Определение. Пусть Контрольная работа по математической статистике — вероятностное пространство. Контрольная работа по математической статистике и Контрольная работа по математической статистике — случайные величины, Контрольная работа по математической статистике -подалгебра в Контрольная работа по математической статистике, порождённая Контрольная работа по математической статистике (т. е. прообразы всех борелевских множеств из Контрольная работа по математической статистике). Тогда условным матожиданием Контрольная работа по математической статистике относительно Контрольная работа по математической статистике называется

Контрольная работа по математической статистике

Свойства УМО

Определение. Контрольная работа по математической статистике не зависит, от Контрольная работа по математической статистике-алгебры Контрольная работа по математической статистике, если для любого события Контрольная работа по математической статистике случайные величины Контрольная работа по математической статистике и Контрольная работа по математической статистике независимы.

Обозначение: Контрольная работа по математической статистике — тривиальная Контрольная работа по математической статистике-алгебра. Утверждение 2.17.

Контрольная работа по математической статистике

Теорема Колмогорова —Блекуэлла —Рао

Контрольная работа по математической статистике — параметрическая модель. Контрольная работа по математической статистике — достаточная статистика, если существует вариант регулярной условной вероятности Контрольная работа по математической статистике, не зависящий от параметра Контрольная работа по математической статистике.

Теорема 2.18 (Колмогоров —Блекуэлл —Рао). Пусть Контрольная работа по математической статистике — достаточная статистика; Контрольная работа по математической статистике — оценка параметра Контрольная работа по математической статистике с Контрольная работа по математической статистике. Тогда оценка Контрольная работа по математической статистике обладает следующими свойствами:

  1. Контрольная работа по математической статистике,
  2. Контрольная работа по математической статистике. Равенство имеет, место тогда и только тогда, когда Контрольная работа по математической статистике измерима относительно Контрольная работа по математической статистике (является измеримой функцией достаточной статистики).

□ В силу определения достаточной статистики Контрольная работа по математической статистике не зависит от Контрольная работа по математической статистике, поэтому Контрольная работа по математической статистике — статистика. Контрольная работа по математической статистике измерима (в силу определения УМО), поэтому Контрольная работа по математической статистике есть функция от Контрольная работа по математической статистике В силу неравенства Йенсена Контрольная работа по математической статистике. Возьмём математическое ожидание: Контрольная работа по математической статистике, причём равенство в неравенстве Иеисеиа достигается тогда и только тогда, когда Контрольная работа по математической статистике-измерима, т.е. есть функция от Контрольная работа по математической статистике.

Полная достаточная статистика

Определение. Достаточная статистика Контрольная работа по математической статистике называется полной (для данного параметрического семейства распределений), если для любой измеримой функции Контрольная работа по математической статистике при любом значении параметра из условия Контрольная работа по математической статистике следует, что Контрольная работа по математической статистике почти наверное.

Полная достаточная статистика Контрольная работа по математической статистике обладает следующим свойством: если

Контрольная работа по математической статистике

то Контрольная работа по математической статистике почти наверное. Доказательство очевидно.

Теорема 2.19. Пусть Контрольная работа по математической статистике — полная достаточная статистика и Контрольная работа по математической статистике и Контрольная работа по математической статистике таковы, что Контрольная работа по математической статистике. Тогда Контрольная работа по математической статистике является эффективной оценкой для Контрольная работа по математической статистике.

□ Докажем теорему в частном случае Контрольная работа по математической статистике.

Дано, что

Контрольная работа по математической статистике

т.е.

Контрольная работа по математической статистике

несмещённая оценка параметра Контрольная работа по математической статистике. Докажем, что эта оценка имеет наименьшую дисперсию среди всех возможных несмещённых оценок. От противного. Пусть существует такая оценка Контрольная работа по математической статистике, что Контрольная работа по математической статистике (Контрольная работа по математической статистике — несмещённая оценка) и

Контрольная работа по математической статистике

хотя бы для одного

Контрольная работа по математической статистике

Улучшим оценку Контрольная работа по математической статистике при помощи теоремы Колмогорова-Блекуэлла-Рао:

Контрольная работа по математической статистике

причём

Контрольная работа по математической статистике

Имеем:

Контрольная работа по математической статистике

Но Контрольная работа по математической статистике и Контрольная работа по математической статистике суть функции полной достаточной статистики Контрольная работа по математической статистике, откуда Контрольная работа по математической статистике почти наверное, а поэтому Контрольная работа по математической статистике. Противоречие. ■ Замечание. Полная достаточная статистика существует не всегда.

Замечания о минимальной достаточной статистике

  1. Любая измеримая взаимно-однозначная функция от достаточной статистики сама является достаточной статистикой.
  2. Если для любой достаточной статистики Контрольная работа по математической статистике существует такая измеримая взаимно-однозначная функция Контрольная работа по математической статистике, что Контрольная работа по математической статистике. то Контрольная работа по математической статистике называется минимальной достаточной статистикой. Минимальная достаточная статистика существует всегда (для любой параметрической модели). Можно проводить редукцию (без потери информации) от выборки к минимальной достаточной статистике. Дальнейшая редукция невозможна.
  3. Как правило, в разложении, которое даёт теорема Неймана-Фишера, появляется минимальная достаточная статистика.
  4. Полная достаточная статистика (если она существует) является минимальной.

Возможно эти страницы вам будут полезны: