Ebm_base

📢 «Белые ночи» 2026 Q²: Quality & Quantities

Приглашаем на секцию, где честно разберут «обратную сторону» онкологических исследований — систематические ошибки (bias), которые искажают результаты и выводы.

🎤 В видео приглашает спикер и сопредседатель Никита Николаевич Бурлов (Военно-медицинская академия им. С.М. Кирова).

Ключевые темы: ▪️ Общие положения о bias ▪️ Publication bias, Selection bias, Confounding, Misclassification ▪️ Дискуссия «Знание о bias – ЗА и ПРОТИВ»

👉 Регистрируйтесь и изучайте программу: forum-onco.ru ⏰ Бесплатная регистрация – до 17 июня! До встречи на «Белых ночах» 2026! ⭐

Рекомендую регистрироваться пока есть возможность)

🌟Врач или искусственный интеллект — кто эффективнее? 🔹июня приглашаем на форум «Врач или искусственный интеллект, что лучше? v2.0» — площадку, где ведущие эксперты обсудят реальные возможности ИИ в современной медицине. В программе:

🔹Практические кейсы применения ИИ в работе врача 🔹Дискуссия о будущем медицинской профессии 🔹 Мастер-класс по использованию AI-инструментов 🔹 Выступления ведущих специалистов в области онкологии и цифрового здравоохранения

ИИ не заменяет врача — он помогает принимать более быстрые и точные решения. Приходите, чтобы увидеть, как это работает на практике. 🗓6 июня 2026 📍Москва, Novotel Киевская ⌨️Онлайн и офлайн участие 🔗 Регистрация: https://llceoc.ru/vrach-ai-2026 Ждем врачей, руководителей медицинских организаций, исследователей и всех, кто интересуется будущим медицины. Но я не договорил… @doctorevdokimovonco

Встретимся там)

❗️4️⃣ Выбор критерия исходя из параметров собранных данных противоречит принципам предварительного планирования дизайна исследования. В этом случае для нас открывается возможность манипуляций. Например, если с помощью t-критерия Стьюдента не будут получены желаемые различия, можно отказаться от мнения о нормальности распределения и испытать другие критерии: Манна-Уитни, ван дер Вардена, Вальда-Вольфовица, медианный тест Муда и др. Авось где-то p опустится ниже заветных 0.05 и можно будет сделать вывод, что эффект достигнут. Такой подход относится к нежелательному и порицаемому явлению под названием «p-hacking». Надежным средством против него является четкое указание в протоколе, публикуемом до набора данных, какие гипотезы планируется проверять и с помощью каких методов. Интересно, что даже выбор программы - совсем уже нестатистический фактор! - может повлиять на результаты сравнения. Ведь доступные в одних программах критерии могут отсутствовать в других, что неизбежно приводит к различиям в выводах. Пример такой ситуации с использованием SPSS и Minitab приводят Pearce and Derrick (2019). Выбирая метод анализа на этапе планирования исследований, можно сослаться на Аддендум по эстимандам к руководству по статистическим принципам для клинических испытаний (ICH E9(R1)). В нем сказано, что эстиманды (оцениваемый эффект, например, разность средних) с основными эстиматорами (метод оценивания, например, t-критерий Стьюдента) должны определяться заранее, на этапе планирования исследования. При этом, конечно, учитываются предположения о популяции и изучаемом параметре, а в случае выявления отклонений от предположений рекомендуется выполнять анализ чувствительности.

Также про опасность манипуляций с выводом можно прочитать у Fay and Proschan (2010).

❗️5️⃣ Использование предварительного тестирования допущений применения статистических методов, таких как нормальность или равенство дисперсий, создает проблемы с контролем ошибок I и II типа. То есть помимо ошибок проверки статистических гипотез, совершаемых при использовании конкретного метода, которые обычно успешно контролируются самим методом, мы сталкиваемся с вероятностью ошибок, связанных с проверкой допущений. В результате мы можем получить p-значения, значительно отличающиеся от реальных. А может и незначительно… В общем, проверка допущений делает статистический вывод неопределенным.

Какие авторы пишут об этом:

Zimmerman (2004), Wells and Hintze (2007), Rochan et al. (2012), Garcia-Perez (2012)

❗️6️⃣ В случае предполагаемых нарушений допущений статистических тестов (если они все-таки важны), сразу использовать такие методы, которые устойчивы к этим допущениям. Например, при сомнениях в целесообразности сравнения средних значений можно без каких-либо предварительных проверок отказаться от t-теста в пользу ранговых методов.

Такую рекомендацию в отношении разных параметрических методов можно встретить в работах:

Wells and Hintze (2007), Fagerland (2012), Lantz (2013), Derrick et al. (2017).

Данный принцип также относится к проверке гомоскедастичности (равенства дисперсий). Это допущение является важным при использовании параметрических методов: классического t-теста или F-теста, post-hoc критерия Тьюки, а также непараметрического критерия Манна-Уитни. У каждого из них есть аналоги, устойчивые к нарушению данного допущения: соответственно, t-тест и F-тест Уэлча, тест Геймса-Хауэлла, критерий Бруннера-Мюнцеля. Рекомендуется по умолчанию использовать именно эти аналоги без проверки равенства дисперсий. Симуляции показывают их надежность как при гетеро-, так и при гомоскедастичности.

О предпочтительном использовании теста Уэлча пишут:

Zimmerman (2004), Rash et al. (2011), West (2021).

О предпочтительном использовании критерия Бруннера-Мюнцеля:

Karch (2023), Noguchi at al. (2021), Nowak et al. (2022).

О предпочтительном использовании критерия Геймса-Хауэлла:

Keselman and Rogan (1978).

Все ссылки на упомянутые в этом посте источники, которые могут пригодиться для подготовки ответов рецензентам и для более глубокого погружения в эту тему, приведены в комментариях.

Продолжение. Первая часть поста опубликована здесь и здесь. Чем же нас не устраивает алгоритм №2? Тот, который предлагает выбирать критерий исходя из нормальности распределения? К сожалению, для критики есть серьезные основания, подробно представленные в многочисленных источниках. ❗️1️⃣ При достаточно большом числе наблюдений t-критерий Стьюдента, дисперсионный анализ, ковариационный анализ, линейная регрессия устойчивы к отсутствию нормальности распределения. Стьюдент в своей знаменитой статье “The probable error of a mean” (1908) описал t-критерий исходя из допущения о том, что в популяции показатель имел нормальное распределение. При таком допущении t-критерий является точным тестом и может использоваться для анализа даже небольших выборок. Но при достаточно большом числе наблюдений t-критерий можно рассматривать как консервативную форму z-теста, не имеющего допущений по форме распределения. Это подтверждается многочисленными симуляциями, где t-критерий применяли к очень ненормально распределенным данным и всё равно получали корректные выводы о различиях средних значений (справедливости ради отметим, что сценарии, где t-критерий не будет работать, также существуют). То же относится и к дисперсионному анализу и линейной регрессии. Позволю себе процитировать Norman G., рассмотревшего в своей статье устойчивость ANOVA к нарушениям различных допущений: «Parametric statistics can be used with Likert data, with small sample sizes, with unequal variances, and with non-normal distributions, with no fear of ‘‘coming to the wrong conclusion’’.»

Какие авторы пишут об этом: Feir-Walsh and Toothaker (1974), Driscoll (1996), Scovlund and Fenstad (2001), Fay and Proschan (2010), Norman (2010), Rash et al. (2011), Fagerland (2012), Lumley et al. (2012), Blanca et al. (2023).

❗️2️⃣ Нормальность распределения трудно оценить объективно. Особенно это актуально для небольшого числа наблюдений. Используемые для оценки нормальности критерии, такие как популярный и рекомендуемый многими авторами критерий Шапиро-Уилка, на малых выборках имеют слишком низкую мощность и могут подтверждать нормальность даже если её нет. Обратная проблема возникает при большом числе наблюдений, когда даже малозначимые отклонения от нормальности сопровождаются выводом об отсутствии нормальности. Ряд авторов рекомендует использовать для проверки на нормальность графические методы, т.е. визуальное изучение гистограммы или квантильной диаграммы (QQ-plot), но этот подход тоже недостаточно точен. Другими словами, объективная оценка нормальности распределения - слишком сложная задача.

Какие авторы пишут об этом:

Garcia-Perez (2012), Rochon et al. (2012), Kozak and Piepho (2017)

❗️3️⃣ Параметрические и непараметрические критерии не являются взаимозаменяемыми - они решают разные задачи и отвечают на разные вопросы. Представьте, что нам нужно завернуть шуруп. Но сделать это отверткой затруднительно, например, из-за сбитых шлицов на головке шурупа. И тогда нам предлагают воспользоваться молотком. Конечно, можно забить им шуруп, вот только держаться он будет плохо. Молоток - для гвоздей, отвертка - для шурупов. Так же, как молоток не заменит отвертку, непараметрические критерии не заменят параметрические, в связи с тем, что проверяют разные гипотезы. Например, t-критерий Стьюдента проверяет, отличаются ли друг от друга средние значения. А непараметрический критерий Манна-Уитни - то, что вероятность бОльших значений в одной из выборок выше, чем в другой. 🔹В тех исследованиях, где важно доказать, что именно средний уровень показателя в одной из групп выше или ниже - мы практически всегда будем использовать t-критерий. 🔹Но иногда нас в меньшей степени интересуют средние значения или их разность, мы бы хотели доказать, что в одной из групп чаще встречаются более высокие значения. В таких случаях мы можем сразу предпочесть критерий Манна-Уитни.

Какие авторы пишут об этом:

Sawilowski and Shlomo (2005), Fay and Proschan (2010), Fagerland (2012), Lumley et al. (2012)

Если что, то #СТАТИСТИКА_ПРОСТО указывает на какой-то контекст 😁 Можно посмотреть этот пример Я не иронизирую по поводу аналитиков, которые серьезно занимаются А/Б-тестами

Я ПРОВОЖУ А/Б-ТЕСТ У некоторых блогеров можно встретить термин А/Б-тест (видимо они считают это чем-то крутым и элитным + #СТАТИСТИКА_ПРОСТО). Давайте разберемся, что это на самом деле и при чем тут маркетинг? А/Б-тест - это рандомизированное исследование, если перевести на язык клинической терминологии [1, 2]. Т.е. суть в том, что: 1) возникает идея, из которой формируем гипотезу (можно тут почитать про нюансы [3]); 2) определяем объекты/популяцию (пациенты, рилсы, команды, посты), в отношении которых потом будем делать выводы; 3) определяем какой исход/KPI (первичная конечная точка) мы будем оценивать (про конечные точки можно посмотреть здесь, много информации); 4) фиксируем общий срок проведения А/Б-теста (чтобы не подглядывать). Можно немного прочитать здесь и здесь; 5) случайном образом (с помощью рандомизации, это важно!) определяем кого-то в группу вмешательства (новое лечение, конкретный тип рилсов, методика работы команды, структура постов), а кого-то в контроль (стандартное лечение или плацебо, предудыщий тип рилсов, работы команды или постов). Тут важно учесть такое предположение как SUTVA (можно почитать здесь); 6) проводим сам тест; 7) сравниваем группы по исходу, чтобы оценить причинный эффект (обычно это ATE, смотри здесь); 8) делаем вывод об эффективности нового лечения, типа рилсов, стратегии работы команды или структуры постов. Получаем хороший эксперимент, где, правда, на каждом этапе есть свои нюансы. И всего-то несколько пунктов) но для этого как минимум нужна инфраструктура и специалисты, с необходимым знаниями и навыками При чем тут маркетинг? Потому что такие исследования в нем тоже проводятся. В частных компаниях, где есть аналитический отдел, постоянно проводят А/Б-тесты, в которых оценивают как новое вмешательство (работа системы, дизайн, интерфейс и прочее) меняет конверсии, ARPU, ARPPU, LTV и прочие метрики. Можно найти исследования, где оценивают сами А/Б-тесты [4], показывают свои результаты [5, 6], предлагают идеи оптимизации [7]. Как говорится, это мощный инструмент) Если вы хотите проводить А/Б-тесты, то нужно сначала научиться (благо мест для обучения сейчас достаточно), а не просто болтать в сторисах. По заветам великого учителя врачей блогеров давайте наставим под этим постом 🍌 @Ebm_base

И вот такие люди учат нас "этичности" в общении с коллегами) Выводы с потолка (видимо А/Б-тест подвёл), оценка знаний по внешнему виду (кажется это можно считать лукизмом), демонстрация личности (что может вызвать негатив к человеку) Ну и, конечно, ведь главное бабки

😍 Уважаемые коллеги, добрый день. 🌟 Приглашаем Вас 30 мая 2026 г. присоединиться к двум симпозиумам Национальной Независимой Академии доказательной медицины, которые пройдут в рамках XIII Форума молодых кардиологов Российского кардиологического общества «Сердечно-сосудистые заболевания и глобальное здоровье» с международным участием. Запланировано 2 симпозиума: 🌟 Симпозиум 1 (онлайн). 12:30-14:00 Время Уфы (10:30 - 12:00 по МСК) «ClinicalStudy.ru: прозрачность, доверие и видимость ваших исследований. Почему регистрация — это обязательный этап? Председатель - Марцевич С.Ю. (Москва) ✅ Реестр как противоядие: как проспективная регистрация исследований нейтрализует публикационную предвзятость. Навасардян А.Р., Юрков Р.П. (Москва). ✅ Selective reporting в практической медицине. Что это такое и как минимизировать риски. Марцевич С.Ю. (Москва). ✅ «Требования ведущих медицинских журналов к публикации исследований: взгляд изнутри от руководителя издательства». Филиппов Ю.И. (Москва). ✅ Согласительные документы ведущих научных обществ: требования к регистрации и отчётности по клиническим исследованиям. Майорова Е.М. (Москва). 🌟 Симпозиум 2 (очный/онлайн). Коротко о доказательной медицине. 15.30-17.00 Время Уфы (13:30 - 15:00 по МСК) Председатель - Навасардян А.Р. (Москва) ✅ Врачебная инертность. Макарова Д.Д. (Москва). ✅ Научный маркетинг это просто ... Майорова Е.М. (Москва). ✅ Регрессионные модели. Начало. Визуализация моделей. Марапов Д.И. (Казань). ✅ Линейная регрессия - база основ. Бурлов Н.Н. (Нижний Тагил). ✅ Валидирующие исследования с ИИ. Суворов А.Ю. (Москва) 🎥 Информация о трансляции будет анонсирована позже в нашем ТГ канале. Кроме того, будет сделана рассылка по электронной почте. ⚠️ PDF программы закреплен под постом. ⚠️ От имени экспертов ННАДМ, хотим поблагодарить нашего друга и эксперта Академии - Ляпину Ирину Николаевну за возможность провести 2 симпозиума на площадке Форума молодых кардиологов. 🌟Рекомендуем подписаться на каналы наших друзей и экспертов, которые примут участие в рамках наших мероприятий. Канал "medstatistic" - Марапов Д.И. Канал "Ebm_base" - Бурлов Н.Н. Канал "Lobastov’s Scientific Library" - Лобастов К.В. Канал СценарИИ в фарме - канал друзей Академии 👨‍🏫 Читайте. Думайте. Делитесь. Создавайте. ТГ канал | Чат| Рубрикатор |Сайт | Группа ВК | Ютуб | Контакты| Clinicalstudy.ru 👉 Подписаться на рассылку от ННАДМ по почте

ИЩИ РАЗЛИЧИЯ В РАЗЛИЧИЯХ Представьте ситуацию, что мы хотим оценить, какой эффект оказало влияние, которое уже введено в практику. И по каким-то причинам провести РКИ невозможно (например, оценивается на уровне всей страны). Но нам доступны данные до, после его внедрения, в каких местах применяется или не используется. Тогда мы можем воспользоваться подходом разность разностей (Difference-in-Difference, DiD) Но сначала нам нужно выдвинуть предположение о потенциальном исходе (фактическом (factual outcome) и контрфактуальном (counterfactual outcome), это стандартно в causal inference). Точнее нам нужно предположение о параллельности трендов [1, 2]. У нас есть группы контроля и вмешательства, которое нас интересует. Базово они изначально могли уже отличаться. Если бы вмешательства не было, то это различие не изменилось бы (сохранился тренд). И вот исход группы вмешательства, который мог бы быть, и есть потенциальный контрфактуальный, а наблюдаемый (изменившийся) - фактический [2, 3]. Нам интересно, какой эффект наблюдается между ними. Для этого мы считаем разность в каждой группе между после и до, а затем разность между полученными разностями. Получаем ATT (average treatment effect on the treated) [2, 4] (про это писали я и канал влияния). ATT = 𝔼[Y1(1) − Y1(0)|T = 1] = (𝔼[Y1|T = 1] − 𝔼[Y0|T = 1]) − (𝔼[Y1|T = 0] − 𝔼[Y0|T = 0]) Как это выглядит статистически? Мы вводим в модель предикторы времени (до/после), группы (контроль/вмешательство) и их взаимодействие (можем добавить ещё ковариаты для контроля). Формула (достаточно простая): Y = b0 + b1 * Группа (вмешательство) + b2 * Время (после) + b3 * Группа (вмешательство) * Время (после) Графически все это выглядит на рисунке [5]: b1 - эффект между группами до b2 - эффект контроля после-до b3 - разница между группами во времени Затем нам просто нужно получить оценку (b3 или через marginal effects). Главное помнить, что это не ATE, а ATT [6]. Метод достаточно интересный, но, как и для других квази-экспериментов, необходимо хорошо продумывать. @Ebm_base

Сегодняшний день можно считать пидорским Запомните как день, когда хирурга забрали с его хирургической работы и посадили в стул клерка просиживать штаны и свои навыки

В мае начинается третий сезон открытого онлайн-лектория «Разрушители статистических мифов»! Регистрация | 19 мая, 16 июня, 7 июля В новом сезоне преподаватели трека по биостатистике Института биоинформатики продолжат разбирать привычные статистические практики, которые выглядят безобидно, но иногда ведут исследователя совсем не туда! На этот раз поговорим о том, в какие дебри могут завести автоматические методы отбора признаков для регрессионных моделей, обсудим тонкости (не)правильного описания признаков в Таблице I, а также подробно разберём стандартное оправдание: «нам просто не хватило мощности». 19 мая, 19:00 МСК | Евгений Бакин

🦖 Миф №7: Автоматизированный выбор многофакторной модели: кто ищет, тот всегда найдёт

16 июня, 19:00 МСК | Алексей Глазков

🦖 Миф №8: Придай нормальности описательной статистике

7 июля, 19:00 МСК | Матвей Славенко

🦖 Миф №9: Расчёт мощности: лучше поздно, чем никогда

Будет (само)критично, местами болезненно, но, как всегда, с любовью к статистике и здравому смыслу ❤️ ✨ Мы в VK | Мы в почте | Мы в Telegram #bioinf_online #bioinf_education @bioinformatics_institute

Мне кажется, что это хороший пример, когда статистику не превращают в #СТАТИСТИКА_ПРОСТО, а объясняют, что все сложно

Предлагаю в комментах написать, какие вы находили, видели или знаете зашквары/кринж и прочее про меня 😁 можно писать все, что считаете нужным А то вдруг подумают, что я тут в белом пальте 🤡

Так как меня исключили из канала (и войти в него я не могу, видимо приват дело дорогое), где проводился данный вебинар, то напишу у себя Почему-то в комментариях призвали разделять на прикладную и ещё какую-то статистику, на науку, диссертации и Q1. Честно, звучит как абсолютный бред. Если вы хотите научиться или научить работать с данными так, как положено (и более менее обоснованно), то не надо упрощать все до уже 100500 раз разобранных мифов (особенно если вы сами не владеете аргументацией указанных или альтернативных подходов). Не надо превращать статистику в #СТАТИСТИКА_ПРОСТО Ещё забавнее, что аргументы

"это используется в 80/90/95 (любая цифра) % исследований так"

не являются основанием, чтобы повторять чужие ошибки. В документах регуляторов даже есть указания как лучше делать, чтобы это было логично и обоснованно. Мне не ясно, к чему призывает данный аргумент. Если в 90% исследований делают дичь, то и нам надо повторять? Вроде нелогично. Контр-аргумент:

"неужели 90% исследований фуфло?"

Ну да, в той или иной степени. Большинство исследований действительно несут не так много полезной информации, как хотелось/казалось бы. Ещё есть аргумент

"наша ЦА - это обычные люди/смертные/врачи, откуда им взять столько времени на изучение всего этого"

Во-первых, странно держать свою ЦА за идиотов, которая не способна освоить какие-то знания (хотя медицине как-то научились). Во-вторых, бинго, перед вам врач-хирург, который почему-то находил, находит и будет находить время, чтобы все это читать, изучать, учиться, попробовать и даже в чем-то участвовать. Вопрос желания и упорности. Да, времени будет потрачено не мало. Но так подготовьте ЦА к тому, что если хотите, то готовьтесь потратить много времени и сил. А если не хотите, то может быть и не надо лезть в эти дебри? Как врачи реагируют на пациентов, которые поверхностно поначитались мифов о своем заболевании и начинают задавать вопросы или, ещё хуже, самолечением заниматься? Негативно? Интересно почему? А теперь поставьте "статистики" вместо "врачи" и "статистические методы" вместо "заболевание". Вот то-то и оно. Когда я встречаю подобные вещи на просторах интернета, у меня складывается пара впечатлений: 1) либо автор все понимает, но намеренно так рассказывает, т.к. это продается; 2) либо автор невежда (это кстати не оскорбление, в чем тоже попытались упрекнуть, хотелось бы пруфы), который не углубился достаточно, чтобы рассуждать о данных проблемах (сам был и остаюсь таким во многих вопросах, поэтому обычно пытаюсь сначала вести дискуссию и с чем-то ознакомиться). Ещё уточню, что я не против упрощений. Сам это делаю регулярно (иначе не донести информацию), но стараюсь подробно объяснять почему, как и зачем (и что действительность сложнее). Я против упрощений, которые приводят к искажению идеи, распространению мифов, отказу от мыслительной дейтельности (

"зачем нам это знать"

). Мне вспомнилось ссылка, которую мне как-то прислала Оля, где хирургам уже давали лещей расписывали критические замечания. Рекомендую почитать, занятно. В конце хочу сказать, что статистика это не про "знать куда тыкнуть", а больше про "я знаю и понимаю почему хочу туда тыкнуть"

Нам это все ни к чему совершенно

Другие комментарии после этого излишни. Гений!

Кто прошел в 3 этап ЖК, информация для вас Я немного выпал из-за переезда. Прошу набраться терпения. Про вас никто не забыл. На майских я все посмотрю и будем связываться с вами для окончательного решения!

Я решил, что репост – это слишком жирно А жирного много есть – вредно Поэтому, вот ссылка на этот самый честный пост этой волшебной женщин-к-и https://t.me/dissertaciya_malinovich/2725