***************************************************************************
Материал подготовлен при поддержке SkillFactory. Скидка 45% по промокоду MATH-45 на все обучающие курсы по Data Science. Записывайся!
***************************************************************************
В первую очередь, необходимо понимать, что теорема Байеса — это не голословное математическое суждение, не какие-то абстрактные буквы и цифры, а настоящий фундамент мышления, подразумевающий ясность, чистоту и непредвзятость, который затыкает "за хвост" любую хваленую интуицию! Например, представьте ситуацию и ответьте на такой вопрос:
Вас диагностируют на наличие некоторого заболевания, которое имеется у 1 процента ваших ровесников. Тест, который Вам делают, дает верные результаты в 95 процентах случаев. Какова вероятность Вашей болезни, если Ваш тест положительный ?
Если Вы ответили "около 95%, "чуть больше 90%", Вам обязательно нужно прочитать этот текст, потому что Вы абсолютно не правы! Да и всем остальным, кто "почуял неладное", лучше получить строгое математическое обоснование своих сомнений. Поехали!
Томас Байес — это британский священник, которому основной род занятий не мешал быть членом Королевского научного общества в 18 веке.
Начнем с пары простых задач (предварительных знаний не нужно!)
Перед Вами находятся три урны. В первой урне 4 черных шара и 6 белых шаров, во второй урне только белые, а в третье урне — только черные шары. Если вытащить шар из наудачу выбранной урны, какова вероятность, что он будет белым?
Я ОЧЕНЬ подробно разберу решение. В дальнейшем, Вы будете щелкать такие задачи как орешки.
Начинать решение необходимо с составления перечня гипотез — предположений, которые, по-простому, не пересекаются и приводят к необходимому событию А (в данном случае — событию вытаскивания наудачу белого мяча). В данном случае есть три несовместные гипотезы:
- Шар взяли из первой урны — B1.
- Шар взяли из второй урны — B2 .
- Шар взяли из третьей урны — B3.
Теперь по шагам.
- Если урна выбрана наугад, значит вероятность выбрать одну из них равна 1/3.
- В первой урне 4 черных и 6 белых шаров, значит, если гипотеза B1 верна, то вероятность вытащить белый шар равна 6 / (4+6) = 0,6.
- Если верна гипотеза B2, то вероятность вытащить белый шар равна 1, ведь в этой урне только белые шары!
- Напротив, если верна гипотеза B3, то вероятность вытащить белый шар равна 0.
В красной рамке формула полной вероятности
Теперь стоит сказать о зависимых и независимых событиях. Например, два события — выбор первой урны и вытаскивание из неё белого шара являются зависимыми, т.е. как-будто следующими друг за другом. В таком случае их вероятности по правилу перемножаются.
- Для первой урны: 1/3 (вероятность выбора урны) * 0,6 (вероятность выбора белого шара) = 0,2.
- Для второй урны: 1/3*1 = 1/3.
- Для третьей урны: 1/3 * 0 = 0.
Вероятность независимых или несовместных событий же, напротив, складывается, насколько нам известно из формулы полной вероятности. Тогда чтобы получить ответ, необходимо сложить 1/3 и 0,2 и получить вероятность наступления события А равную 8/15.
А теперь немного изменим задачу и подберемся к Байесу
Вы не глядя вытащили белый шар, какова вероятность, что он из первой урны? Пусть
- А — событие, в результате которого Вы достали белый шар.
- B1 — гипотеза, согласно которой Вы достали его из первой урны.
Условная вероятность наступления события А при справедливости гипотезы B1 как раз и рассчитывается по формуле Байеса:
А теперь сравните две вероятности в двух задачах. В той и другой, напомню, шла речь о вытаскивании белого шара. Но в первой задаче мы искали априорную вероятность (примерно 0,533), а во второй апостериорную (0,375), т.е. уже опираясь на некий опыт. Таким образом, опыт даёт информацию для переоценки вероятности!
Вернемся же к решению задачи из начала статьи
Пусть B1 — вероятность заболевания. А — вероятность получения положительного результата. Тогда
- P(A)=0,01*0,95 (вероятность болезни при положительном тесте) + 0,99*0,05 (ложноположительный результат, болезни нет)= 0,059.
- P(B1) = 0,01 ( болеет 1% ровесников).
- Наконец, вероятность безошибочности теста — 0,95.
- (0,01*0,95)/0,059=0,161=16,1% (!!!).
Таким образом, вероятность заболевания не 90%, даже не 50%, а всего лишь 15 %. Вот так глобально отличается строгая математическая оценка от интуитивной.
*****************************************************************************
Заинтересовало? Хотите знать о том, как теорема Байеса ежедневно применяется на практике, как с её помощью обучаются нейронные сети, как создаются наивные классификаторы для спам-фильтров и как в нереально больших объемах данных находят закономерности?
В этом случае хочу порекомендовать Вам курсы Data Science от онлайн-школы SkillFactory.
Data Scientist — это специалист по работе с данными, который применяет знания математики и программирования для решения задач бизнеса и производства. Учебная программа в SkillFactory построена таким образом, что обучиться этой современной, востребованной и ОЧЕНЬ высокооплачиваемой профессии можно с нуля, имея только школьное образование!
На всех этапах обучения студентов поддерживают наставники курса, а выпускникам помогают с трудоустройством.
До 31.09 действует скидка 45 % по промокоду math-45!
Записаться на курсы сейчас!
