Trisigma — про эксперименты
Ir al canal en Telegram
Канал про эксперименты, статистику и анализ данных Черемисинов Виталий: @vitche (сотрудничество) Мирмахмадов Искандер: @iskndr_m (гл. автор) Trisigma — https://trisigma.io A/B платформа Sigma — https://expf.ru/sigma Консалтинг — https://expf.ru
Mostrar más7 375
Suscriptores
-424 horas
-157 días
+16430 días
Carga de datos en curso...
Canales Similares
Nube de Etiquetas
Sin datos
¿Algún problema? Por favor, actualice la página o contacte a nuestro gerente de soporte.
Menciones Entrantes y Salientes
---
---
---
---
---
---
Atraer Suscriptores
julio '26
julio '26
+11
en 0 canales
junio '26
+747
en 1 canales
Get PRO
mayo '26
+612
en 7 canales
Get PRO
abril '26
+25
en 3 canales
Get PRO
marzo '26
+25
en 1 canales
Get PRO
febrero '26
+79
en 3 canales
Get PRO
enero '26
+29
en 0 canales
Get PRO
diciembre '25
+13
en 1 canales
Get PRO
noviembre '25
+27
en 1 canales
Get PRO
octubre '25
+10
en 0 canales
Get PRO
septiembre '25
+52
en 4 canales
Get PRO
agosto '250
en 0 canales
Get PRO
julio '250
en 2 canales
Get PRO
junio '250
en 0 canales
Get PRO
mayo '250
en 0 canales
Get PRO
abril '250
en 0 canales
Get PRO
marzo '250
en 0 canales
Get PRO
febrero '250
en 0 canales
Get PRO
enero '250
en 0 canales
Get PRO
diciembre '24
+1
en 0 canales
Get PRO
noviembre '24
+22
en 0 canales
Get PRO
octubre '24
+80
en 4 canales
Get PRO
septiembre '24
+95
en 0 canales
Get PRO
agosto '24
+64
en 0 canales
Get PRO
julio '24
+147
en 0 canales
Get PRO
junio '24
+107
en 0 canales
Get PRO
mayo '24
+106
en 0 canales
Get PRO
abril '24
+140
en 2 canales
Get PRO
marzo '24
+141
en 1 canales
Get PRO
febrero '24
+247
en 1 canales
Get PRO
enero '24
+1 947
en 3 canales
Get PRO
diciembre '23
+138
en 1 canales
Get PRO
noviembre '23
+117
en 0 canales
Get PRO
octubre '23
+143
en 0 canales
Get PRO
septiembre '23
+88
en 0 canales
Get PRO
agosto '23
+290
en 0 canales
Get PRO
julio '23
+141
en 0 canales
Get PRO
junio '23
+96
en 0 canales
Get PRO
mayo '23
+590
en 0 canales
Get PRO
abril '23
+47
en 0 canales
Get PRO
marzo '23
+52
en 0 canales
Get PRO
febrero '23
+56
en 0 canales
Get PRO
enero '23
+100
en 0 canales
Get PRO
diciembre '22
+101
en 0 canales
Get PRO
noviembre '22
+53
en 0 canales
Get PRO
octubre '22
+76
en 0 canales
Get PRO
septiembre '22
+91
en 0 canales
Get PRO
agosto '22
+122
en 0 canales
Get PRO
julio '22
+96
en 0 canales
Get PRO
junio '22
+133
en 0 canales
Get PRO
mayo '22
+53
en 0 canales
Get PRO
abril '22
+72
en 0 canales
Get PRO
marzo '22
+55
en 0 canales
Get PRO
febrero '22
+79
en 0 canales
Get PRO
enero '22
+49
en 0 canales
Get PRO
diciembre '21
+43
en 0 canales
Get PRO
noviembre '21
+116
en 0 canales
Get PRO
octubre '21
+111
en 0 canales
Get PRO
septiembre '21
+120
en 0 canales
Get PRO
agosto '21
+61
en 0 canales
Get PRO
julio '21
+66
en 0 canales
Get PRO
junio '21
+119
en 0 canales
Get PRO
mayo '21
+36
en 0 canales
Get PRO
abril '21
+47
en 0 canales
Get PRO
marzo '21
+69
en 0 canales
Get PRO
febrero '21
+82
en 0 canales
Get PRO
enero '21
+61
en 0 canales
Get PRO
diciembre '20
+1 777
en 0 canales
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 09 julio | +1 | |||
| 08 julio | +1 | |||
| 07 julio | +2 | |||
| 06 julio | +1 | |||
| 05 julio | +1 | |||
| 04 julio | +1 | |||
| 03 julio | +1 | |||
| 02 julio | +3 | |||
| 01 julio | 0 |
Publicaciones del Canal
Привет, на связи Вит.
Давно не было рубрики «Не утверждаем — а обсуждаем».
Sequential testing убивает воспроизводимость результатов.
Согласны или нет? Почему? Ждём в комментариях 👇
Trisigma — канал про A/B-тестирование
#trisigma
| 2 |  Привет! На связи Вит.
Мы ищем старшего аналитика данных в Trisigma. Команда у нас одна из самых сильных на рынке. Поэтому и задачи ждут интересные:
— проводить R&D;
— проектировать дизайн продуктовых инкрементов, развивать движок Semantic Layer и документацию (подходы, best practices, статьи);
— проектировать аналитические решения для клиентов и внедрять их.
🔵Откликайтесь напрямую на карьерном сайте. И обязательно пересылайте знакомым, которым может быть интересна позиция.
Trisigma — канал про A/B-тестирование
#trisigma | 2 416 |
| 3 |  Привет! Это Даня Никольский, бэкенд-инженер Trisigma.
Недавно я рассказывал, как мы в внедрили Switchback в нашу платформу. Сейчас мы вместе с коллегами написали большой гайд про такие эксперименты. Рассказали, как они устроены, почему для них не подходит обычный t-тест и какая инфраструктура нужна, чтобы проводить их в промышленном масштабе.
🔵Читайте по этой ссылке. А вопросы — оставляйте в комментариях 👇
Trisigma — канал про A/B-тестирование
#trisigma | 2 214 |
| 4 |  Ребят, это Вит, и я к вам с очень крутой новостью!
🔵У нас в EXPF был блог на Medium с максимально прикладными статьями. И вот наконец-то мы перенесли материалы оттуда на сайт Trisigma. Так что встречайте и читайте Trisigma блог!
Конкретные материалы рекомендовать не буду, они все хороши. А все новые будем анонсировать тут. Так что stay tuned!
Trisigma — канал про A/B-тестирование
#trisigma | 3 006 |
| 5 | Ребят, это Вит, и я к вам с очень крутой новостью!
🔵У нас в EXPF был блог на Medium с максимально прикладными статьями. И вот наконец-то мы перенесли материалы оттуда на сайт Trisigma. Так что встречайте и читайте Trisigma блог!
Конкретные материалы рекомендовать не буду, они все хороши. А все новые будем анонсировать тут. Так что stay tuned! | 3 |
| 6 | Есть мнение, что
CUPED переоценён — в большинстве кейсов он не даёт значимого выигрыша.
Согласны? Сталкивались? Ждём в комментариях 👇
Trisigma — канал про A/B-тестирование
#trisigma | 3 559 |
| 7 | Привет! На связи Вит.
🔵Не так давно выступал на KARPOF.CONF, делюсь записью и удобным конспектом. Говорил про AI, а точнее про то, как выстроить аналитическую инфраструктуру, чтобы он был активом.
Запись есть только в ВК (смотреть можно без регистрации), а конспект — прикрепил в пдф.
Буду рад вашим кейсам с AI и в экспериментах, и в аналитике в целом. Делитесь, как используете и насколько это эффективно. | 3 376 |
| 8 | Привет! Это Вит.
🔵Ещё весной рассказали «Коммерсанту», как устроен рынок платформ для экспериментов в России. Если кратко и по интересным цифрам: половина компаний ещё не поняла, зачем им культура данных, а создание своей платформы обойдется от 150 млн руб. за три года. При этом готовое решение — от 2,5 млн в год. И да, 80% гипотез не дают значимого эффекта, но именно 10% негативных спасают бизнес от факапов.
Почему так, и в целом про экономику, VPC, on‑prem и почему все хотят не готовое решение, а консалтинг — читайте тут.
А мнения/вопросы/комментарии туда 👇
Trisigma — канал про A/B-тестирование
#trisigma | 4 064 |
| 9 | Всем привет, это Искандер.
🔵В прошлый раз я поделился с вами пейпером про подход с ARMA-Design от нескольких международных университетов. Следующий пейпер, который хочу обсудить, снова про нарушение SUTVA, но уже не во времени, а в пространстве.
Откуда проблема
Запускаете A/B на социальной сети: часть пользователей получает новый тип реакций, часть — нет. Казалось бы, всё чисто. Но контрольные пользователи видят, что их друзья из treatment что-то делают иначе. Они, в свою очередь, меняют свое поведение. ATE по итогу будет смещён, и авторы оценивают это смещение в 30%+. Очевидно перед нами сетевой эффект. Но стандартные способы с ним бороться работают плохо.
Наиболее популярных подход и его проблемы
Чаще всего используется сплиттование через Cluster randomization: назначаем воздействие кластерам пользователей, а не индивидуально. Тогда spillover-эффект внутри кластера, но не между ними. Проблема: теряется мощность за счет перехода на новый уровень рандомизации, и кластеры часто плохо соответствуют тому, как реально распространяется воздействие от A/B.
Что предлагают авторы
Двухшаговый метод, который автоматизирует задание exposure mapping.
Шаг первый: для каждого пользователя строится вектор — causal network motif. Он описывает топологию ближайшего окружения с учётом того, кто из соседей обработан. Важна не просто доля обработанных, а структура связей между ними. «4 друга, 2 обработаны, и они между собой связаны» — это другой мотив, чем «2 из 4 обработаны, но изолированы друг от друга». Плотный кластер обработанных давит на поведение иначе, чем рассеянные.
Шаг второй: эти векторы кластеризуются алгоритмом ближайших соседей. На выходе — автоматически найденные группы с разными паттернами интерференции. Целевая метрика — GATE: что было бы, если бы все получили фичу, против состояния, где никто ничего не получил. Не "насколько лучше у тех, кому показали" — а глобальный эффект с учётом spillover эффекта.
Проверка
Протестировали на синтетике и на реальном крупном тесте. По точности оценки GATE — выше cluster randomization.
Когда это нужно
Продукты с механиками социального взаимодействия с вирусным компонентом: реакции, шеринг, рекомендации «добавить в друзья». Двусторонние маркетплейсы, где обработка продавца влияет на покупателей. В общем — всё, где SUTVA нарушается через явные связи в графе, а не через время.
От себя
Практически важнее самого алгоритма — диагностика. Большинство команд вообще не проверяют, есть ли интерференция. Обычно просто говорят – «у нас есть сетевой эффект». Если граф пользователей доступен, тест на отсутствие spillover — несложная операция, которая может перевернуть интерпретацию уже прошедших экспериментов.
Если есть мысли, пишите в комментах.
Trisigma — канал про A/B-тестирование
#trisigma | 4 414 |
| 10 | Привет! Продолжаем рубрику «Не утверждаем — а обсуждаем». На повестке пятницы вот такой вопрос:
Стратифицированная рандомизация — когда помогает а когда вредит?
Что думаете? Ждём в комментариях 👇
Trisigma — канал про A/B-тестирование
#trisigma | 4 154 |
| 11 | Всем привет, это Искандер.
🔵Предлагаю вам взглянуть на новый пейпер про подход с ARMA-Design сразу от нескольких международных университетов.
Есть допущение, которое большинство A/B платформ делают молча: юниты независимы. В маркетплейсах это почти никогда не так.
Проблема
Когда тестируется алгоритм выдачи заказов в ride-tech-продуктах (например, в Uber или DoorDash), эффект не исчезает в момент назначения заказа. Водитель оказался в другом районе и он, вероятно, возьмёт или не возьмёт следующий заказ через час. Это так называемый carryover-эффект: воздействие сегодня меняет состояние системы завтра.
Стандартный switchback это частично решает, но молча предполагает, что данные «марковские». Авторы проверили это на реальных данных из двух городов и заметили, что PACF остатков дохода водителей показал значимые лаги 5-го, 6-го порядка. Иначе говорят это не марков.
Что предлагают авторы
Данные экспериментов моделируются через контролируемую VARMA-модель. AR-часть ловит carryover, MA-часть компенсирует то, что вы не наблюдаете в состоянии системы. После этого задача дизайна эксперимента формулируется как: найди последовательность назначений групп A/B, которая минимизирует дисперсию оценки ATE.
Это решается двумя способами: constrained optimization и RL. Оба смотрят на всю историю назначений, а не только на текущий период. Сравнивали с тремя базовыми дизайнами — alternating-day, uniform random, switchback.
— Alternating-day: по сути чередование между днями в гео-локе, A в понедельник, B во вторник, A в среду...
— Uniform random: в каждом периоде бросаем монетку
— Switchback с фиксированным окном
Все три показывают плохие результаты.
Когда это реально нужно
Если тестируете что-то, что меняет состояние маркетплейса — dispatch-алгоритмы, pricing, балансировку supply/demand — и эксперимент короткий при слабом сигнале (допустим, ATE 0.5–2%). Switchback не спасает, если проблема в частичной наблюдаемости.
От себя
Switchback стал стандартом для маркетплейсов, и это шаг вперёд. Но он не решает проблему, о которой говорится в пейпере, что часть состояния системы просто не записывается. Прогнать PACF на остатках ваших операционных метрик до начала дизайна эксперимента — это достаточно простая проверка, которую мало кто делает. Если увидите значимые лаги 4+, switchback с фиксированным окном уже не будет подходить для ваших A/B.
Если есть мысли, пишите в комментах.
Trisigma — канал про A/B-тестирование
#trisigma | 3 962 |
| 12 | 🔵Делимся записью вчерашнего митапа
📱 YouTube
📱 VK
Обязательно оставляйте в комментах свои вопросы. И хороших выходных!
Trisigma — канал про A/B-тестирование
#trisigma | 3 464 |
| 13 |  Сегодня наш онлайн-митап про неклассические инструменты для экспериментов
Поэтому, если ещё не зарегистрировались, то самое время это исправить. После регистрации вам придёт индивидуальная ссылка на стрим.
В программе три кейса от коллег из Авито, Finom и ex. Lamoda Tech, Ozon Tech.
🔵Подробности и регистрация тут. До встречи в 18:30.
#trisigma | 3 145 |
| 14 | Есть мнение — Long-term эффекты эксперимента всегда противоречат краткосрочным.
Что думаете?
#trisigma | 2 598 |
| 15 | Привет, это Вит Черемисинов.
Под недавним постом у нас с вами случилась классная дискуссия. Поэтому решил ввести рубрику «Не утверждаем — а обсуждаем». Буду делиться вопросами, которые мы получаем от наших клиентов и партнеров. И вместе разбирать их, думать, спорить.
Первый — в следующем посте👇
Жду в комментариях!
P.S. Кстати, у меня есть мой личный тг. В нём я пишу про всё — и про A/B, и про рынок в целом, и про личное. | 2 444 |
| 16 | Не забывайте зарегистрироваться на наш онлайн-митап 21 мая
Будем обсуждать три кейса, в которых нужно было выйти за рамки привычных инструментов A/B.
🔵Подробности и регистрация тут.
Trisigma — канал про A/B-тестирование
#trisigma | 2 772 |
| 17 | Кто сегодня на онлайн-дне AHA'26?
Сегодня в 14:20 Даниил Никольский, backend-разработчик Trisigma, расскажет про то, как мы спроектировали систему Switchback-тестов с предрасчитанными окнами вместо runtime-вычислений. А также разберёт, почему это позволило внедрять недетерминированные стратегии и держать консистентность между SDK и DWH.
🔵Доклад Дани можно посмотреть в свободном доступе, нужно только зарегистрироваться на сайте AHA. Также после поделимся тезисами и презентацией здесь.
Также рекомендуем недавний пост Дани о том, как мы в Trisigma внедрили Switchback-тесты, чтобы избежать искажения сетевых эффектов в экспериментах.
Trisigma — канал про A/B-тестирование
#trisigma | 2 682 |
| 18 |  Ребят, привет!
🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию. В нём собрали качественную и полную базу — на примерах разобрали, как устроены эксперименты и статистический анализ. В общем, внутри всё это нужно, чтобы решения, принимаемые для развития продукта, положительно влияли на целевые метрики.
Думаю, что хендбук будет полезен и начинающим аналитикам, и опытным, чтобы освежить в памяти базу. Забрать его можно в боте.
Ждём обратной связи!
Trisigma — канал про A/B-тестирование
#trisigma | 2 985 |
| 19 |  21 мая обсудим кейсы, где классический A/B-тест не работает
Стрим проведём вместе с аналитиками и продактами из Авито, Finom и ex. Lamoda Tech, Ozon Tech. Поговорим про:
— Как проводить офлайн-эксперименты с AI-агентами и измерять качество, когда всё недетерминировано;
— Когда и какими нестандартными инструментами можно заменить A/B;
— Можно ли сделать рабочую связку PSM, фейкдоров и оценки эластичности.
🔵Подробности и регистрация тут. До встрече на стриме 21 мая в 18:30.
#trisigma | 2 677 |
| 20 | Коллеги, вопрос:
Что вы делаете, когда A/B-тесты невозможны или недостаточны?
#trisigma | 2 212 |
