Практика применения методов прикладной статистики часто выходит за границы классической математико-статистической теории. В качестве примера рассмотрим проверку статистических гипотез.
Базовая теоретическая модель касается проверки одной-единственной статистической гипотезы. На практике же при выполнении того или иного прикладного исследования гипотезы зачастую проверяют неоднократно. При этом, как правило, остается неясным, как влияют результаты предыдущих проверок на характеристики (уровень значимости, мощность ) последующих проверок.
Есть ли вообще влияние? Как его оценить? Как его учесть при формулировке окончательных выводов?
Изучены лишь некоторые схемы множественных проверок, например, схема последовательного анализа А. Вальда или схема оценивания степени полинома в регрессии путем последовательной проверки адекватности модели (см. «Многомерный статистический анализ» ). В таких исключительных постановках удается рассчитать характеристики статистических процедур, включающих множественные проверки статистических гипотез.
Однако в большинстве важных для практики случаев статистические свойства процедур анализа данных, основанных на множественных проверках, остаются пока неизвестными. Примерами являются процедуры нахождения информативных подмножеств признаков в регрессионном анализе ( коэффициенты для таких и только таких признаков отличны от 0) или выявления отклонений параметров в автоматизированных системах управления .
В таких системах происходит слежение за большим числом параметров. Резкое изменение значения параметра свидетельствует об изменении режима работы системы, что, как правило, требует управляющего воздействия. Существует теория для определения границ допустимых колебаний одного или фиксированного числа параметров.
Например, можно использовать контрольные карты Шухарта или кумулятивных сумм, а также их многомерные аналоги (см. гл.13 в [ [ 2.15 ] ]). В подавляющем большинстве постановок, согласно обычно используемым вероятностным моделям, для каждого параметра, находящемся в стабильном («налаженном») состоянии, существует хотя и малая, но положительная вероятность того, что его значение выйдет за заданные границы. Тогда система зафиксирует резкое изменение значения параметра («ложная разладка»). При достаточно большом числе параметров с вероятностью, близкой к 1, будет обнаружено несколько «случайных сбоев», среди которых могут «затеряться» и реальные отказы подсистем. Можно доказать, что при большом числе параметров имеется два крайних случая — независимых (в совокупности) параметров и функционально связанных параметров, а для всех остальных систем вероятность обнаружения резкого отклонения хотя бы у одного параметра лежит между соответствующими вероятностями для этих двух крайних случаев.
Почему трудно изучать статистические процедуры, использующие множественные проверки гипотез? Причина состоит в том, что результаты последовательно проводящихся проверок, как правило, не являются независимыми (в смысле независимости случайных элементов). Более того, последовательность проверок зачастую задается исследователем произвольно.
Проблема множественных проверок статистических гипотез — часть более общей проблемы «стыковки» (сопряжения, последовательного выполнения) статистических процедур. Дело в том, что каждая процедура может применяться лишь при некоторых условиях, а в результате применения предыдущих процедур эти условия могут нарушаться.
Например, часто рекомендуют перед восстановлением зависимости (регрессионным анализом) разбить данные на однородные группы с помощью какого-либо алгоритма классификации, а затем строить зависимости для каждой из выделенных групп отдельно. Здесь идет речь о «стыковке» алгоритмов классификации и регрессии.
Как вытекает из рассмотрений статьи [ [ 7.15 ] ], попадающие в одну однородную группу результаты наблюдений зависимы и их распределение не является нормальным (гауссовым), поскольку они лежат в ограниченной по некоторым направлениям области, причем границы зависят от всей совокупности результатов наблюдений. При этом при росте объема выборки зависимость уменьшается, но ненормальность остается. Распределение результатов наблюдений, попавших в одну группу, приближается не к нормальному, а к усеченному нормальному. Следовательно, алгоритмами регрессионного анализа, основанными на «нормальной теории», пользоваться некорректно. Целесообразно применять непараметрическую или робастную регрессию.
Проблема «стыковки» статистических процедур обсуждается давно. По ней проведен ряд исследований, результаты которых упомянуты выше, но сколько-нибудь окончательных рекомендаций получено не было. По нашему мнению, на скорое решение проблемы «стыковки» рассчитывать нельзя. Возможно, она является столь же «вечной», как и проблема выбора между средним арифметическим и медианой как характеристиками «центра» выборки.
В качестве примера обсудим одно интересное исследование по проблеме повторных проверок статистических гипотез — работу С.Г.Корнилова [ [ 7.8 ] ].
Как уже отмечалось, теоретическое исследование является весьма сложным, сколько-нибудь интересные результаты удается получить лишь для отдельных постановок. Поэтому вполне естественно, что С.Г. Корнилов применил метод статистического моделирования на ЭВМ. Однако нельзя забывать о проблеме качества псевдослучайных чисел. Достоинства и недостатки различных алгоритмов получения псевдослучайных чисел много лет обсуждаются в различных изданиях (см. гл.11 в [ [ 2.15 ] ]).
В работе С.Г.Корнилова хорошо моделируется мышление статистика -прикладника. Видно, насколько мешает устаревшее представление о том, что для проверки гипотез необходимо задавать определенный уровень значимости. Особенно оно мешает, если в дальнейшем понадобятся дальнейшие проверки.
Гораздо удобнее использовать «достигаемый уровень значимости», т.е. вероятность того, что статистика критерия покажет большее отклонение от нулевой гипотезы, чем то отклонение, что соответствует имеющимся экспериментальным данным. Если есть желание, можно сравнивать «достигаемый уровень значимости» с заданными значениями 0,05 или 0,01. Так, если «достигаемый уровень значимости» меньше 0,01, то нулевая гипотеза отвергается на уровне значимости 0,01, в противном случае — принимается. Следует рассчитывать «достигаемый уровень значимости» всегда, когда для этого есть вычислительные возможности.
Переход к «достигаемому уровню значимости» может избавить прикладника от еще одной трудности, связанной с использованием непараметрических критериев. Дело в том, что их распределения, как правило, дискретны, поскольку эти критерии используют только ранги наблюдений. Поэтому обычно невозможно построить критерий с заданным номинальным уровнем значимости — реальный уровень значимости может принимать лишь конечное число значений, среди которых, как правило, нет ни 0,05, ни 0,01, ни других популярных номинальных значений.
Невозможность построения критических областей критериев с заданными уровнями значимости затрудняет сравнение критериев по мощности, как это продемонстрировано в работе [ [ 2.4 ] ]. Есть формальный способ достичь заданного номинального уровня значимости — провести рандомизацию, т.е. при определенном (граничном) значении статистики критерия провести независимый случайный эксперимент, в котором одни исходы (с заданной суммарной вероятностью) приводят к принятию гипотезы, а остальные — к ее отклонению. Однако подобную процедуру рандомизации прикладнику трудно принять — как оправдать то, что одни и те же экспериментальные данные могут быть основанием как для принятия гипотезы, так и для ее отклонения? Вспоминается журнал «Крокодил», на обложке которого был изображен хозяйственник, обращающийся к другому: «Бросим монетку. Упадет гербом — будем строить завод, а упадет решкой — нет». Описанная процедура рандомизации имеет практический смысл лишь при массовой рутинной проверке гипотез, например, при статистическом контроле больших выборок изделий или деталей.
При использовании все еще распространенных критерия Стьюдента и других параметрических статистических критериев существуют свои проблемы. Такие критерии построены исходя из предположения о том, что функции распределения результатов наблюдений входят в определенные параметрические семейства небольшой размерности.
Наиболее распространена гипотеза нормальности распределения. Однако давно известно, что подавляющее большинство реальных распределений результатов измерений не являются нормальными. Об этом говорится, например, в классической для инженеров и организаторов производства монографии проф. В.В. Налимова [ [ 7.12 ] ]. Ряд недавно полученных конкретных экспериментальных фактов и теоретических соображений, подтверждающих точку зрения В.В. Налимова, рассмотрен в «Описание данных» .
Как же быть? Проверять нормальность распределения своих данных? Но это дело непростое, можно допустить те или иные ошибки, в частности, применяя критерии типа Колмогорова или омега-квадрат.
Как уже говорилось (в «Основы вероятностно-статистических методов описания неопределенностей» ), одна из наиболее распространенных ошибок состоит в том, что в статистики вместо неизвестных параметров подставляют их оценки, но при этом пользуются критическими значениями, рассчитанными для случая, когда параметры полностью известны. Кроме того, для сколько-нибудь надежной проверки нормальности нужны тысячи наблюдений (см. 7.2). Поэтому в подавляющем большинстве реальных задач нет оснований принимать гипотезу нормальности. В лучшем случае можно говорить о том, что распределение результатов наблюдений мало отличается от нормального.
Как влияют отклонения от нормальности на свойства статистических процедур? Для различных процедур — разный ответ. Если речь идет об отбраковке выбросов — влияние отклонений от нормальности настолько велико, что делает процедуру отбраковки с практической точки зрения эвристической, а не научно обоснованной. Если же речь идет о проверке однородности двух выборок с помощью критерия Стьюдента (при априорном предположении о равенстве дисперсий) или Крамера-Уэлча (при отсутствии такого предположения), то при росте объемов выборок влияние отклонений от нормальности убывает, как это подробно показано в «Статистический анализ числовых величин» . Это вытекает из Центральной предельной теоремы. Правда, при этом оказывается, что процентные точки распределения Стьюдента не приносят реальной пользы, достаточно использовать процентные точки предельного нормального распределения.
Весьма важна обсуждаемая, в частности, в работе [ [ 7.8 ] ] постоянно встающая перед исследователем проблема выбора того или иного статистического критерия для решения конкретной прикладной задачи. Например, как проверять однородность двух независимых выборок числовых результатов наблюдений? Известны параметрические критерии: Стьюдента, Лорда; непараметрические: Крамера-Уэлча, Вилкоксона, Ван-дер-Вардена, Сэвиджа, Мартынова, Смирнова, типа омега-квадрат (Лемана-Розенблатта) и многие другие (см., например, «Статистический анализ числовых величин» и справочник [ [ 2.1 ] ]). Какой из них выбрать для конкретных расчетов?
Некоторые авторы предлагают формировать технологию принятия статистического решения, согласно которой решающее правило формируется на основе комбинации нескольких критериев. Например, технология может предусматривать проведение «голосования»: если из 5 критериев большинство «высказывается» за отклонение гипотезы, то итоговое решение — отвергнуть ее, в противном случае — принять. Однако в таком подходе нет ничего принципиально нового, просто к уже имеющимся критериям добавляются их комбинации — очередные варианты критериев, тем или иным образом выделяющие критические области в пространствах возможных значений результатов измерений, т.е. попросту увеличивается число рассматриваемых критериев.
Итак, имеется некоторая совокупность критериев. У каждого — свой набор значений уровней значимости и мощностей на возможных альтернативах. Математическая статистика демонстрирует в этой ситуации виртуозную математическую технику для анализа частных случаев и полную беспомощность при выдаче практических рекомендаций.
Так, оказывается, что практически каждый из известных критериев является оптимальным в том или ином смысле для какого-то набора нулевых гипотез и альтернатив. Математики изучают асимптотическую эффективность в разных смыслах — по Питмену, по Бахадуру и т.д., но — для узкого класса альтернативных гипотез, обычно для альтернативы сдвига.
При попытке переноса асимптотических результатов на конечные объемы выборок возникают новые нерешенные проблемы, связанные, в частности, с численным оцениванием скорости сходимости (см. 4.7). В целом эта область математической статистики может активно развиваться еще многие десятилетия, выдавая «на гора» превосходные теоремы (которые могут послужить основанием для защиты кандидатских и докторских диссертаций, выборов в академики РАН и т.д.), но не давая ничего практике. Хорошо бы, чтобы этот пессимистический прогноз не вполне оправдался!
С точки зрения прикладной статистики необходимо изучать проблему выбора критерия проверки однородности двух независимых выборок. Такое изучение было проведено, в том числе методом статистических испытаний, и в результате был получен вывод о том, что наиболее целесообразно применять критерий Лемана-Розенблатта типа омега-квадрат (см. «Статистический анализ числовых величин» ).
В литературе по прикладным статистическим методам, как справедливо замечает С.Г. Корнилов в работе [ [ 7.8 ] ], имеется масса ошибочных рекомендаций. Чего стоят хотя бы принципиально неверные государственные стандарты СССР по статистическим методам, а также соответствующие им стандарты СЭВ и ИСО, т.е.
Международной организации по стандартизации (о них см. гл.13 учебника [ [ 2.15 ] ], а также статью [ [ 7.18 ] ]). Особо выделяются ошибочные рекомендации по применению критерия типа Колмогорова для проверки нормальности. Ошибки есть и в научных статьях, и в нормативных документах (государственных стандартах), и в методических разработках, и даже в вузовских учебниках. К сожалению, нет способа оградить инженера и научного работника, экономиста и менеджера, нуждающихся в применении статистических методов, от литературных источников и нормативно-технических и инструктивно-методических документов с ошибками, неточностями и погрешностями. Единственный способ — либо постоянно поддерживать профессиональные контакты с квалифицированными специалистами по прикладной статистике, либо самому стать таким специалистом.
Как оценить достигаемый уровень значимости конкретного критерия, предусматривающего повторные проверки? Сразу ясно, что в большинстве случаев никакая современная теория математической статистики не поможет. Остается использовать современные компьютеры.
Методика статистического моделирования может стать ежедневным рабочим инструментом специалиста, занимающегося применением методов анализа данных. Для этого она должна быть реализована в виде соответствующей диалоговой программной системы. Современные персональные компьютеры позволяют проводить статистическое моделирование весьма быстро (за доли секунд). Можно использовать различные модификации бутстрепа — одного из вариантов применения статистического моделирования (см. [ [ 2.15 ] ] и «Компьютеры в прикладной статистике» ).
Проведенное обсуждение показывает, как много нерешенных проблем стоит перед специалистом, занимающимся, казалось бы, рутинным применением стандартных статистических процедур. Прикладная статистика — молодая наука, ее основные проблемы, по нашему мнению, еще не до конца решены. Много работы как в сравнительно новых областях, например, в анализе нечисловых и интервальных данных, так и в классических.
Контрольные вопросы
- Сколько выборочных моментов необходимо использовать для проверки согласия с двухпараметрическим семейством функций распределения?
- Почему методы отбраковки резко выделяющихся результатов наблюдений, основанные на предположении нормальности, нельзя считать научно обоснованными?
- Какую роль играет условие интегрируемости по Риману-Стилтьесу в предельной теории статистик интегрального типа?
- Как проверяют независимость альтернативных признаков с помощью таблиц 2×2?
- Как влияет предварительное выделение однородных групп на проведение регрессионного анализа?
- Как повлияет проверка однородности двух совокупностей (с помощью критерия Лемана-Розенблатта) на последующую оценку дисперсии по объединенной выборке (в случае подтверждения однородности)?
Темы докладов, рефератов, исследовательских работ
- На основе метода моментов разработайте критерий согласия с семейством экспоненциальных распределений.
- Методы отбраковки выбросов и их анализ с точки зрения теории устойчивости статистических процедур.
- С помощью метода аппроксимации ступенчатыми функциями найдите асимптотическое распределение статистики Колмогорова.
- Статистический приемочный контроль по альтернативным признакам.
- Асимптотика Колмогорова в задачах прикладной статистики.
- Проблема «стыковки» алгоритмов в технологиях обработки статистических данных.
- Статистическая теория множественных проверок гипотез о разладке с помощью независимых датчиков.
Источник: intuit.ru
Нулевая гипотеза в статистике: пример. Проверка нулевой гипотезы
Статистика — сложная наука об измерении и анализе различных данных. Как и во многих других дисциплинах, в этой отрасли существует понятие гипотезы. Так, гипотеза в статистике — это какое-либо положение, которое нужно принять или отвергнуть. Причём в данной отрасли есть несколько видов таких допущений, схожих между собой по определению, но отличающихся на практике. Нулевая гипотеза — сегодняшний предмет изучения.
От общего к частному: гипотезы в статистике
От основного определения предположений отходит ещё одно, не менее важное, — статистическая гипотеза есть изучение генеральной совокупности важных для науки объектов, относительно коих учёными делаются выводы. Ее можно проверить с помощью выборки (части генеральной совокупности). Приведём несколько примеров статистических гипотез:
1. Успеваемость всего класса, возможно, зависит от уровня образования каждого учащегося.
2. Начальный курс математики в равной степени усваивается как детьми, пришедшими в школу в 6 лет, так и детьми, пришедшими в 7.
Простой гипотезой в статистике называют такое предположение, которое однозначно характеризует определённый параметр величины, взятой учёным.
Сложная состоит из нескольких или бесконечного множества простых. Указывается некоторая область или нет точного ответа.
Полезно понимать несколько определений гипотез в статистике, чтобы не путать их на практике.
Концепция нулевой гипотезы
Нулевая гипотеза — это теория о том, что есть некие две совокупности, которые не различаются между собой. Однако на научном уровне нет понятия «не различаются», но есть «их сходство равно нулю». От этого определения и было образовано понятие. В статистике нулевая гипотеза обозначается как Н0. Причём крайним значением невозможного (маловероятного) считается от 0.01 до 0.05 или менее.
Лучше разобрать, что такое нулевая гипотеза, пример из жизни поможет. Педагог в университете предположил, что различный уровень подготовки учащихся двух групп к зачётной работе вызван незначительными параметрами, случайными причинами, не влияющими на общий уровень образования (разница в подготовке двух групп студентов равна нулю).
Однако встречно стоит привести пример альтернативной гипотезы — допущения, опровергающего утверждение нулевой теории (Н1). Например: директор университета предположил, что различный уровень в подготовке к зачётной работе у учащихся двух групп вызван применением педагогами разных методик обучения (разница в подготовке двух групп существенна и на то есть объяснение).
Теперь сразу видна разница между понятиями «нулевая гипотеза» и «альтернативная гипотеза». Примеры иллюстрируют эти понятия.
Проверка нулевой гипотезы
Создать предположение — это ещё полбеды. Настоящей проблемой для новичков считается проверка нулевой гипотезы. Именно тут многих и ожидают трудности.
Используя метод альтернативной гипотезы, утверждающей нечто обратное нулевой теории, можно сравнить оба варианта и выбрать верный. Так действует статистика.
Пусть нулевая гипотеза Н0, а альтернативная Н1, тогда:
Н0: c = c0;
Н1: c ≠ c0.
Здесь c — это некое среднее значение генеральной совокупности, которое предстоит найти, а c0 — данное изначально значение, по отношению к которому проверяется гипотеза. Также есть некоторое число Х — среднее значение выборки, по которому определяется c0.
Итак, проверка заключается в сравнении Х и c0, если Х=c0 ,то принимается нулевая гипотеза. Если же Х≠c0, то по условию верной считается альтернативная.
«Доверительный» способ проверки
Существует наиболее действенный способ, с помощью которого нулевая статистическая гипотеза легко проверяется на практике. Он заключается в построении диапазона значений до 95% точности.
Для начала понадобится знать формулу расчёта доверительного интервала:
X — t*Sx ≤ c ≤ X + t*Sx,
где Х — данное изначально число на основе альтернативной гипотезы;
t — табличные величины (коэффициент Стьюдента);
Sx — стандартная средняя ошибка, которая рассчитывается как Sx = σ/√n, где в числителе стандартное отклонение, а в знаменателе — объём выборки.
Итак, предположим ситуацию. До ремонта конвейер в день выпускал 32.1 кг конечной продукции, а после ремонта, как утверждает предприниматель, коэффициент полезного действия вырос, и конвейер, по недельной проверке, начал выпускать 39.6 кг в среднем.
Нулевая гипотеза будет утверждать, что ремонт никак не повлиял на КПД конвейера. Альтернативная гипотеза скажет, что ремонт коренным образом изменил КПД конвейера, поэтому производительность его повысилась.
По таблице находим n=7, t = 2,447, откуда формула примет следующий вид:
39,6 – 2,447*4,2 ≤ с ≤ 39,6 + 2,447*4,2;
Получается, что значение 32.1 входит в диапазон, а следовательно, значение, предложенное альтернативой — 39.6 — не принимается автоматически. Помните, что сначала проверяется на правильность нулевая гипотеза, а потом — противоположная.
Разновидности отрицания
До этого рассматривался такой вариант построения гипотезы, где Н0 утверждает что-либо, а Н1 это опровергает. Откуда можно было составить подобную систему:
Н0: с = с0;
Н1: с ≠ с0.
Но существует ещё два родственных способа опровержения. К примеру, нулевая гипотеза утверждает, что средняя оценка успеваемости класса больше 4.54, а альтернативная тогда скажет, что средняя успеваемость того же класса менее 4.54. И выглядеть в виде системы это будет так:
Обратите внимание, что нулевая гипотеза утверждает, что значение больше или равно, а статистическая — что строго меньше. Строгость знака неравенства имеет большое значение!
Статистическая проверка
Статистическая проверка нулевых гипотез заключается в использовании статистического критерия. Такие критерии подчиняются различным законам распределения.
К примеру, существует F-критерий, который рассчитывается по распределению Фишера. Есть T-критерий, чаще всего используемый на практике, зависящий от распределения Стьюдента. Квадратный критерий согласия Пирсона и т. д.
Область принятия нулевой гипотезы
В алгебре есть понятие «область допустимых значений». Это такой отрезок или точка на оси Х, на котором находится множество значений статистики, при которых нулевая гипотеза верна. Крайние точки отрезка — критические значения. Лучи по правую и левую сторону отрезка — критические области. Если найденное значение входит в них, то нулевая теория опровергается и принимается альтернативная.
Опровержение нулевой гипотезы
Нулевая гипотеза в статистике временами очень изворотливое понятие. Во время проверки её можно допустить ошибки двух типов:
1. Отвержение верной нулевой гипотезы. Обозначим первый тип как а=1.
2. Принятие ложной нулевой гипотезы. Второй тип обозначим как а=2.
Стоит понимать, что это не одинаковые параметры, исходы ошибок могут существенно различаться между собой и иметь разные выборки.
Пример ошибок двух типов
Со сложными понятиями легче разобраться на примере.
Во время производства некоего лекарства от учёных требуется чрезвычайная осторожность, так как превышение дозы одного из компонентов провоцирует высокий уровень токсичности готового препарата, от которого пациенты, принимающие его, могут умереть. Однако на химическом уровне выявить передозировку невозможно.
Из-за этого перед тем как выпустить лекарство в продажу, небольшую его дозу проверяют на крысах или кроликах, вводя им препарат. Если большая часть испытуемых умирает, то лекарство в продажу не допускается, если подопытные живы, то лекарство разрешают продавать в аптеках.
Первый случай: на самом деле лекарство было не токсично, но во время эксперимента была допущена оплошность и препарат классифицировали как токсичный и не допустили в продажу. А=1.
Второй случай: в ходе другого эксперимента при проверке другой партии лекарства решено, что препарат не токсичен, и в продажу его допустили, хотя на самом деле препарат был ядовит. А=2.
Первый вариант повлечёт за собой крупные финансовые затраты поставщика-предпринимателя, так как придётся уничтожить всю партию лекарства и начинать с нуля.
Вторая ситуация спровоцирует смерть пациентов, купивших и употреблявших это лекарство.
Теория вероятности
Не только нулевые, но все гипотезы в статистике и экономике разделяют по уровню значимости.
Уровень значимости — процент появления ошибок первого рода (отклонение верной нулевой гипотезы).
• первый уровень — 5% или 0.05, т. е. вероятность ошибиться 5 к 100 или 1 к 20.
• второй уровень — 1% или 0.01, т. е. вероятность 1 к 100.
• третий уровень — 0.1% или 0.001, вероятность 1 к 1000.
Критерии проверки гипотезы
Если учёным уже был сделан вывод о правильности нулевой гипотезы, то её необходимо подвергнуть проверке. Это необходимо, чтобы исключить ошибку. Существует основной критерий проверки нулевой гипотезы, состоящий из нескольких этапов:
1. Берётся допустимая ошибочная вероятность P=0.05.
2. Подбирается статистика для критерия 1.
3. По известному методу находится область допустимых значений.
4. Теперь вычисляется значение статистики Т.
5. Если Т (статистика) принадлежит области принятия нулевой гипотезы (как в «доверительном» методе), то предположения считаются верными, а значит, и сама нулевая гипотеза остаётся верной.
Именно так действует статистика. Нулевая гипотеза при грамотной проверке будет принята или отвергнута.
Стоит заметить, что для обычных предпринимателей и пользователей первые три этапа бывает очень сложно выполнить безошибочно, поэтому их доверяют профессиональным математикам. Зато 4 и 5 этапы может выполнить любой человек, в достаточной мере знающий статистические методы проверки.
Источник: businessman.ru
ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ
На разных стадиях статистического исследования и моделирования возникает необходимость в формулировке и экспериментальной проверке некоторых предположений (гипотез) относительно природы и величины неизвестных параметров анализируемой генеральной совокупности (совокупностей). Например, исследователь высказывает предположение: «выборка извлечена из нормальной генеральной совокупности» или «генеральная средняя анализируемой совокупности равна пяти». Такие предположения называются статистическими гипотезами.
Сопоставление высказанной гипотезы относительно генеральной совокупности с имеющимися выборочными данными, сопровождаемое количественной оценкой степени достоверности получаемого вывода, осуществляется с помощью того или иного статистического критерия и называется проверкой статистических гипотез.
Выдвинутая гипотеза называется нулевой (основной). Ее принято обозначать Н0.
По отношению к высказанной (основной) гипотезе всегда можно сформулировать альтернативную (конкурирующую), противоречащую ей. Альтернативную (конкурирующую) гипотезу принято обозначать Н1.
Цель статистической проверки гипотез состоит в том, чтобы на основании выборочных данных принять решение о справедливости основной гипотезы Н0.
Если выдвигаемая гипотеза сводится к утверждению о том, что значение некоторого неизвестного параметра генеральной совокупности в точности равно заданной величине, то эта гипотеза называется простой, например: «среднедушевой совокупный доход населения России составляет 650 рублей в месяц»; «уровень безработицы (доля безработных в численности экономически активного населения) в России равна 9%» . В других случаях гипотеза называется сложной.
В качестве нулевой гипотезы Н0 принято выдвигать простую гипотезу, т.к. обычно бывает удобнее проверять более строгое утверждение.
По своему содержанию статистические гипотезы можно подразделить на несколько основных типов[6]:
— гипотезы о виде закона распределения исследуемой случайной величины;
— гипотезы о числовых значениях параметров исследуемой генеральной совокупности[7];
— гипотезы об однородности двух или нескольких выборок или некоторых характеристик анализируемых совокупностей;
— гипотезы об общем виде модели, описывающей статистическую зависимость между признаками и др.
Так как проверка статистических гипотез осуществляется на основании выборочных данных, т.е. ограниченного ряда наблюдений, решения относительно нулевой гипотезы Н0 имеют вероятностный характер. Другими словами, такое решение неизбежно сопровождается некоторой, хотя возможно и очень малой, вероятностью ошибочного заключения как в ту, так и в другую сторону.
Так, в какой-то небольшой доле случаев α нулевая гипотеза Н0 может оказаться отвергнутой, в то время как в действительности в генеральной совокупности она является справедливой. Такую ошибку называют ошибкой первого рода. А ее вероятность принято называтьуровнем значимости и обозначать α.
Наоборот, в какой-то небольшой доле случаев β нулевая гипотеза Н0 принимается, в то время как на самом деле в генеральной совокупности она ошибочна, а справедлива альтернативная гипотеза Н1. Такую ошибку называют ошибкой второго рода. Вероятность ошибки второго рода принято обозначать β. Вероятность 1 — β называют мощностью критерия.
При фиксированном объеме выборки можно выбрать по своему усмотрению величину вероятности только одной из ошибок α или β. Увеличение вероятности одной из них приводит к снижению другой. Принято задавать вероятность ошибки первого рода α — уровень значимости. Как правило, пользуются некоторыми стандартными значениями уровня значимости α: 0,1; 0,05; 0,025; 0,01; 0,005; 0,001.
Тогда, очевидно, из двух критериев, характеризующихся одной и той же вероятностью α отклонить правильную в действительности гипотезу Н0, следует принять тот, который сопровождается меньшей ошибкой второго рода β, т.е. большей мощностью. Снижения вероятностей обеих ошибок α и β можно добиться путем увеличения объема выборки.
Правильное решение относительно нулевой гипотезы Н0 также может быть двух видов:
— будет принята нулевая гипотеза Н0, тогда как и на самом деле в генеральной совокупности верна нулевая гипотеза Н0 ; вероятность такого решения 1 — α;
— нулевая гипотеза Н0 будет отклонена в пользу альтернативной Н1, тогда как и на самом деле в генеральной совокупности нулевая гипотеза Н0 отклоняется в пользу альтернативной Н1; вероятность такого решения 1 — β — мощность критерия.
Результаты решения относительно нулевой гипотезы можно проиллюстрировать с помощью таблицы 8.1.
| Нулевая гипотеза Н0 | Результаты решения относительно нулевой гипотезы Н0 | |
| отклонена | принята | |
| верна | ошибка первого рода, ее вероятность Р(Н1/Н0) = α | правильное решение, его вероятность Р(Н0/Н0) = 1 — α |
| не верна | правильное решение, его вероятность Р(Н1/Н1) = 1 — β | ошибка второго рода, ее вероятность Р(Н0/Н1) = β |
Проверка статистических гипотез осуществляется с помощью статистического критерия (назовем его в общем виде К), являющего функцией от результатов наблюдения.
Статистический критерий — это правило (формула), по которому определяется мера расхождения результатов выборочного наблюдения с высказанной гипотезой Н0.
Статистический критерий, как и всякая функция от результатов наблюдения, является случайной величиной и в предположении справедливости нулевой гипотезы Н0подчинена некоторому хорошо изученному (и затабулированному) теоретическому закону распределения с плотностью распределения f(k).
Выбор критерия для проверки статистических гипотез может быть осуществлен на основании различных принципов. Чаще всего для этого пользуются принципом отношения правдоподобия, который позволяет построить критерий наиболее мощный среди всех возможных критериев. Суть его сводится к выбору такого критерия К с известной функцией плотности f(k) при условии справедливости гипотезы Н0, чтобы при заданном уровнем значимости α можно было бы найти критическую точку Ккр.распределения f(k), которая разделила бы область значений критерия на две части: область допустимых значений, в которой результаты выборочного наблюдения выглядят наиболее правдоподобными, и критическую область, в которой результаты выборочного наблюдения выглядят менее правдоподобными в отношении нулевой гипотезы Н0.
Если такой критерий К выбран, и известна плотность его распределения, то задача проверки статистической гипотезы сводится к тому, чтобы при заданном уровне значимости α рассчитать по выборочным данным наблюдаемое значение критерия Кнабл. и определить является ли оно наиболее или менее правдоподобным в отношении нулевой гипотезы Н0.
Проверка каждого типа статистических гипотез осуществляется с помощью соответствующего критерия, являющегося наиболее мощным в каждом конкретном случае. Например, проверка гипотезы о виде закона распределения случайной величины может быть осуществлена с помощью критерия согласия Пирсона χ 2 ; проверка гипотезы о равенстве неизвестных значений дисперсий двух генеральных совокупностей — с помощью критерия F — Фишера; ряд гипотез о неизвестных значениях параметров генеральных совокупностей проверяется с помощью критерия Z — нормальной распределенной случайной величины и критерия T- Стьюдента и т.д.
Значение критерия, рассчитываемое по специальным правилам на основании выборочных данных, называется наблюдаемым значением критерия (Кнабл.).
Значения критерия, разделяющие совокупность значений критерия на область допустимых значений (наиболее правдоподобных в отношении нулевой гипотезы Н0) и критическую область (область значений, менее правдоподобных в отношении таблицам распределения случайной величины К, выбранной в качестве критерия, называются критическими точками(Ккр.).
Областью допустимых значений (областью принятия нулевой гипотезы Н0) называют совокупность значений критерия К, при которых нулевая гипотеза Н0 не отклоняется.
Критической областью называют совокупность значений критерия К, при которых нулевая гипотеза Н0 отклоняется в пользу конкурирующей Н1.
Различают одностороннюю (правостороннюю или левостороннюю) и двустороннюю критические области.
Если конкурирующая гипотеза — правосторонняя, например, Н1: а > а0, то и критическая область — правосторонняя (рис 1). При правосторонней конкурирующей гипотезе критическая точка (Ккр. правосторонняя)принимает положительные значения.
Если конкурирующая гипотеза — левосторонняя, например, Н1: а < а0, то и критическая область — левосторонняя (рис 2). При левосторонней конкурирующей гипотезе критическая точка принимает отрицательные значения (Ккр. левосторонняя).
Если конкурирующая гипотеза — двусторонняя, например, Н1: а ¹ а0, то и критическая область — двусторонняя (рис 3). При двусторонней конкурирующей гипотезе определяются две критические точки (Ккр. левосторонняя и Ккр. правосторонняя).
Область допустимых Критическая
К
0 Ккр.
Рис 8.1. Правосторонняя критическая область.
Источник: megaobuchalka.ru