Вероятность отвергнуть ложную гипотезу Н0 называется мощностью критерия.
На разных этапах статистического исследования возникает необходимость в формулировании и экспериментальной проверке некоторых предположительных утверждений (гипотез). Статистической называют гипотезу о виде неизвестного распределения или о параметрах известных распределений. Выдвигается основная (нулевая) гипотеза Н0 и проверяется, не противоречит ли она имеющимся эмпирическим данным.
Конкурирующей (альтернативной) называют гипотезу Н1, которая противоречит нулевой.
В результате статистической проверки гипотезы могут быть допущены ошибки двух родов:
Ошибка первого рода состоит в том, что будет отвергнута правильная гипотеза; вероятность совершить такую ошибку обозначают α и называют ее уровнем значимости.
Ошибка второго рода состоит в том, что будет принята неправильная гипотеза, вероятность которой обозначают β
а мощностью критерия является вероятность .
Вероятность правильного отклонения нулевой гипотезы Н0, когда она неверна, называется мощностью критерия.
Мощностью критерия называют вероятность попадания критерия в критическую область при условии, что верна конкурирующая гипотеза.
Если обозначить вероятность ошибки второго рода (принятия неправильной нулевой гипотезы) β, то мощность критерия равна 1 – β. Следовательно, чем больше мощность критерия, тем меньше вероятность совершить ошибку второго рода. Поэтому после выбора уровня значимости следует строить критическую область так, чтобы мощность критерия была максимальной.