ar
Feedback
Trisigma — про эксперименты

Trisigma — про эксперименты

الذهاب إلى القناة على Telegram

Канал про эксперименты, статистику и анализ данных Черемисинов Виталий: @vitche (сотрудничество) Мирмахмадов Искандер: @iskndr_m (гл. автор) Trisigma — https://trisigma.io A/B платформа Sigma — https://expf.ru/sigma Консалтинг — https://expf.ru

إظهار المزيد
7 400
المشتركون
-124 ساعات
-17 أيام
+67630 أيام

جاري تحميل البيانات...

سحابة العلامات
لا توجد بيانات
هل تواجه مشاكل؟ يرجى تحديث الصفحة أو الاتصال بمدير الدعم الخاص بنا.
الإشارات الواردة والصادرة
---
---
---
---
---
---
جذب المشتركين
يونيو '26
يونيو '26
+736
في 1 قنوات
مايو '26
+612
في 7 قنوات
Get PRO
أبريل '26
+25
في 3 قنوات
Get PRO
مارس '26
+25
في 1 قنوات
Get PRO
فبراير '26
+79
في 3 قنوات
Get PRO
يناير '26
+29
في 0 قنوات
Get PRO
ديسمبر '25
+13
في 1 قنوات
Get PRO
نوفمبر '25
+27
في 1 قنوات
Get PRO
أكتوبر '25
+10
في 0 قنوات
Get PRO
سبتمبر '25
+52
في 4 قنوات
Get PRO
أغسطس '250
في 0 قنوات
Get PRO
يوليو '250
في 2 قنوات
Get PRO
يونيو '250
في 0 قنوات
Get PRO
مايو '250
في 0 قنوات
Get PRO
أبريل '250
في 0 قنوات
Get PRO
مارس '250
في 0 قنوات
Get PRO
فبراير '250
في 0 قنوات
Get PRO
يناير '250
في 0 قنوات
Get PRO
ديسمبر '24
+1
في 0 قنوات
Get PRO
نوفمبر '24
+22
في 0 قنوات
Get PRO
أكتوبر '24
+80
في 4 قنوات
Get PRO
سبتمبر '24
+95
في 0 قنوات
Get PRO
أغسطس '24
+64
في 0 قنوات
Get PRO
يوليو '24
+147
في 0 قنوات
Get PRO
يونيو '24
+107
في 0 قنوات
Get PRO
مايو '24
+106
في 0 قنوات
Get PRO
أبريل '24
+140
في 2 قنوات
Get PRO
مارس '24
+141
في 1 قنوات
Get PRO
فبراير '24
+247
في 1 قنوات
Get PRO
يناير '24
+1 947
في 3 قنوات
Get PRO
ديسمبر '23
+138
في 1 قنوات
Get PRO
نوفمبر '23
+117
في 0 قنوات
Get PRO
أكتوبر '23
+143
في 0 قنوات
Get PRO
سبتمبر '23
+88
في 0 قنوات
Get PRO
أغسطس '23
+290
في 0 قنوات
Get PRO
يوليو '23
+141
في 0 قنوات
Get PRO
يونيو '23
+96
في 0 قنوات
Get PRO
مايو '23
+590
في 0 قنوات
Get PRO
أبريل '23
+47
في 0 قنوات
Get PRO
مارس '23
+52
في 0 قنوات
Get PRO
فبراير '23
+56
في 0 قنوات
Get PRO
يناير '23
+100
في 0 قنوات
Get PRO
ديسمبر '22
+101
في 0 قنوات
Get PRO
نوفمبر '22
+53
في 0 قنوات
Get PRO
أكتوبر '22
+76
في 0 قنوات
Get PRO
سبتمبر '22
+91
في 0 قنوات
Get PRO
أغسطس '22
+122
في 0 قنوات
Get PRO
يوليو '22
+96
في 0 قنوات
Get PRO
يونيو '22
+133
في 0 قنوات
Get PRO
مايو '22
+53
في 0 قنوات
Get PRO
أبريل '22
+72
في 0 قنوات
Get PRO
مارس '22
+55
في 0 قنوات
Get PRO
فبراير '22
+79
في 0 قنوات
Get PRO
يناير '22
+49
في 0 قنوات
Get PRO
ديسمبر '21
+43
في 0 قنوات
Get PRO
نوفمبر '21
+116
في 0 قنوات
Get PRO
أكتوبر '21
+111
في 0 قنوات
Get PRO
سبتمبر '21
+120
في 0 قنوات
Get PRO
أغسطس '21
+61
في 0 قنوات
Get PRO
يوليو '21
+66
في 0 قنوات
Get PRO
يونيو '21
+119
في 0 قنوات
Get PRO
مايو '21
+36
في 0 قنوات
Get PRO
أبريل '21
+47
في 0 قنوات
Get PRO
مارس '21
+69
في 0 قنوات
Get PRO
فبراير '21
+82
في 0 قنوات
Get PRO
يناير '21
+61
في 0 قنوات
Get PRO
ديسمبر '20
+1 777
في 0 قنوات
التاريخ
نمو المشتركين
الإشارات
القنوات
26 يونيو+2
25 يونيو+2
24 يونيو+2
23 يونيو+4
22 يونيو+7
21 يونيو+1
20 يونيو+6
19 يونيو+2
18 يونيو+4
17 يونيو+9
16 يونيو+10
15 يونيو+5
14 يونيو+7
13 يونيو+9
12 يونيو+20
11 يونيو+123
10 يونيو+13
09 يونيو+18
08 يونيو+57
07 يونيو+8
06 يونيو+6
05 يونيو+28
04 يونيو+16
03 يونيو+75
02 يونيو+85
01 يونيو+217
منشورات القناة
Ребят, это Вит, и я к вам с очень крутой новостью! 🔵У нас в EXPF был блог на Medium с максимально прикладными статьями. И во
Ребят, это Вит, и я к вам с очень крутой новостью! 🔵У нас в EXPF был блог на Medium с максимально прикладными статьями. И вот наконец-то мы перенесли материалы оттуда на сайт Trisigma. Так что встречайте и читайте Trisigma блог! Конкретные материалы рекомендовать не буду, они все хороши. А все новые будем анонсировать тут. Так что stay tuned! Trisigma — канал про A/B-тестирование #trisigma

2
Ребят, это Вит, и я к вам с очень крутой новостью! 🔵У нас в EXPF был блог на Medium с максимально прикладными статьями. И во
Ребят, это Вит, и я к вам с очень крутой новостью! 🔵У нас в EXPF был блог на Medium с максимально прикладными статьями. И вот наконец-то мы перенесли материалы оттуда на сайт Trisigma. Так что встречайте и читайте Trisigma блог! Конкретные материалы рекомендовать не буду, они все хороши. А все новые будем анонсировать тут. Так что stay tuned!
3
3
Есть мнение, что CUPED переоценён — в большинстве кейсов он не даёт значимого выигрыша. Согласны? Сталкивались? Ждём в комментариях 👇 Trisigma — канал про A/B-тестирование #trisigma
2 507
4
Привет! На связи Вит. 🔵Не так давно выступал на KARPOF.CONF, делюсь записью и удобным конспектом. Говорил про AI, а точнее про то, как выстроить аналитическую инфраструктуру, чтобы он был активом. Запись есть только в ВК (смотреть можно без регистрации), а конспект — прикрепил в пдф. Буду рад вашим кейсам с AI и в экспериментах, и в аналитике в целом. Делитесь, как используете и насколько это эффективно.
2 569
5
Привет! Это Вит. 🔵Ещё весной рассказали «Коммерсанту», как устроен рынок платформ для экспериментов в России. Если кратко и по интересным цифрам: половина компаний ещё не поняла, зачем им культура данных, а создание своей платформы обойдется от 150 млн руб. за три года. При этом готовое решение — от 2,5 млн в год. И да, 80% гипотез не дают значимого эффекта, но именно 10% негативных спасают бизнес от факапов. Почему так, и в целом про экономику, VPC, on‑prem и почему все хотят не готовое решение, а консалтинг — читайте тут. А мнения/вопросы/комментарии туда 👇 Trisigma — канал про A/B-тестирование #trisigma
3 641
6
Всем привет, это Искандер. 🔵В прошлый раз я поделился с вами пейпером про подход с ARMA-Design от нескольких международных университетов. Следующий пейпер, который хочу обсудить, снова про нарушение SUTVA, но уже не во времени, а в пространстве. Откуда проблема Запускаете A/B на социальной сети: часть пользователей получает новый тип реакций, часть — нет. Казалось бы, всё чисто. Но контрольные пользователи видят, что их друзья из treatment что-то делают иначе. Они, в свою очередь, меняют свое поведение. ATE по итогу будет смещён, и авторы оценивают это смещение в 30%+. Очевидно перед нами сетевой эффект. Но стандартные способы с ним бороться работают плохо. Наиболее популярных подход и его проблемы Чаще всего используется сплиттование через Cluster randomization: назначаем воздействие кластерам пользователей, а не индивидуально. Тогда spillover-эффект внутри кластера, но не между ними. Проблема: теряется мощность за счет перехода на новый уровень рандомизации, и кластеры часто плохо соответствуют тому, как реально распространяется воздействие от A/B. Что предлагают авторы Двухшаговый метод, который автоматизирует задание exposure mapping. Шаг первый: для каждого пользователя строится вектор — causal network motif. Он описывает топологию ближайшего окружения с учётом того, кто из соседей обработан. Важна не просто доля обработанных, а структура связей между ними. «4 друга, 2 обработаны, и они между собой связаны» — это другой мотив, чем «2 из 4 обработаны, но изолированы друг от друга». Плотный кластер обработанных давит на поведение иначе, чем рассеянные. Шаг второй: эти векторы кластеризуются алгоритмом ближайших соседей. На выходе — автоматически найденные группы с разными паттернами интерференции. Целевая метрика — GATE: что было бы, если бы все получили фичу, против состояния, где никто ничего не получил. Не "насколько лучше у тех, кому показали" — а глобальный эффект с учётом spillover эффекта. Проверка Протестировали на синтетике и на реальном крупном тесте. По точности оценки GATE — выше cluster randomization. Когда это нужно Продукты с механиками социального взаимодействия с вирусным компонентом: реакции, шеринг, рекомендации «добавить в друзья». Двусторонние маркетплейсы, где обработка продавца влияет на покупателей. В общем — всё, где SUTVA нарушается через явные связи в графе, а не через время. От себя Практически важнее самого алгоритма — диагностика. Большинство команд вообще не проверяют, есть ли интерференция. Обычно просто говорят – «у нас есть сетевой эффект». Если граф пользователей доступен, тест на отсутствие spillover — несложная операция, которая может перевернуть интерпретацию уже прошедших экспериментов. Если есть мысли, пишите в комментах. Trisigma — канал про A/B-тестирование #trisigma
4 120
7
Привет! Продолжаем рубрику «Не утверждаем — а обсуждаем». На повестке пятницы вот такой вопрос: Стратифицированная рандомизация — когда помогает а когда вредит? Что думаете? Ждём в комментариях 👇 Trisigma — канал про A/B-тестирование #trisigma
4 137
8
Всем привет, это Искандер. 🔵Предлагаю вам взглянуть на новый пейпер про подход с ARMA-Design сразу от нескольких международных университетов. Есть допущение, которое большинство A/B платформ делают молча: юниты независимы. В маркетплейсах это почти никогда не так. Проблема Когда тестируется алгоритм выдачи заказов в ride-tech-продуктах (например, в Uber или DoorDash), эффект не исчезает в момент назначения заказа. Водитель оказался в другом районе и он, вероятно, возьмёт или не возьмёт следующий заказ через час. Это так называемый carryover-эффект: воздействие сегодня меняет состояние системы завтра. Стандартный switchback это частично решает, но молча предполагает, что данные «марковские». Авторы проверили это на реальных данных из двух городов и заметили, что PACF остатков дохода водителей показал значимые лаги 5-го, 6-го порядка. Иначе говорят это не марков. Что предлагают авторы Данные экспериментов моделируются через контролируемую VARMA-модель. AR-часть ловит carryover, MA-часть компенсирует то, что вы не наблюдаете в состоянии системы. После этого задача дизайна эксперимента формулируется как: найди последовательность назначений групп A/B, которая минимизирует дисперсию оценки ATE. Это решается двумя способами: constrained optimization и RL. Оба смотрят на всю историю назначений, а не только на текущий период. Сравнивали с тремя базовыми дизайнами — alternating-day, uniform random, switchback. — Alternating-day: по сути чередование между днями в гео-локе, A в понедельник, B во вторник, A в среду... — Uniform random: в каждом периоде бросаем монетку — Switchback с фиксированным окном Все три показывают плохие результаты. Когда это реально нужно Если тестируете что-то, что меняет состояние маркетплейса — dispatch-алгоритмы, pricing, балансировку supply/demand — и эксперимент короткий при слабом сигнале (допустим, ATE 0.5–2%). Switchback не спасает, если проблема в частичной наблюдаемости. От себя Switchback стал стандартом для маркетплейсов, и это шаг вперёд. Но он не решает проблему, о которой говорится в пейпере, что часть состояния системы просто не записывается. Прогнать PACF на остатках ваших операционных метрик до начала дизайна эксперимента — это достаточно простая проверка, которую мало кто делает. Если увидите значимые лаги 4+, switchback с фиксированным окном уже не будет подходить для ваших A/B. Если есть мысли, пишите в комментах. Trisigma — канал про A/B-тестирование #trisigma
3 962
9
🔵Делимся записью вчерашнего митапа 📱 YouTube 📱 VK Обязательно оставляйте в комментах свои вопросы. И хороших выходных! Trisigma — канал про A/B-тестирование #trisigma
3 464
10
Сегодня наш онлайн-митап про неклассические инструменты для экспериментов Поэтому, если ещё не зарегистрировались, то самое в
Сегодня наш онлайн-митап про неклассические инструменты для экспериментов Поэтому, если ещё не зарегистрировались, то самое время это исправить. После регистрации вам придёт индивидуальная ссылка на стрим. В программе три кейса от коллег из Авито, Finom и ex. Lamoda Tech, Ozon Tech. 🔵Подробности и регистрация тут. До встречи в 18:30.  #trisigma
3 145
11
Есть мнение — Long-term эффекты эксперимента всегда противоречат краткосрочным. Что думаете? #trisigma
2 598
12
Привет, это Вит Черемисинов. Под недавним постом у нас с вами случилась классная дискуссия. Поэтому решил ввести рубрику «Не утверждаем — а обсуждаем». Буду делиться вопросами, которые мы получаем от наших клиентов и партнеров. И вместе разбирать их, думать, спорить. Первый — в следующем посте👇 Жду в комментариях! P.S. Кстати, у меня есть мой личный тг. В нём я пишу про всё — и про A/B, и про рынок в целом, и про личное.
2 444
13
Не забывайте зарегистрироваться на наш онлайн-митап 21 мая Будем обсуждать три кейса, в которых нужно было выйти за рамки привычных инструментов A/B. 🔵Подробности и регистрация тут. Trisigma — канал про A/B-тестирование #trisigma
2 772
14
Кто сегодня на онлайн-дне AHA'26? Сегодня в 14:20 Даниил Никольский, backend-разработчик Trisigma, расскажет про то, как мы спроектировали систему Switchback-тестов с предрасчитанными окнами вместо runtime-вычислений. А также разберёт, почему это позволило внедрять недетерминированные стратегии и держать консистентность между SDK и DWH. 🔵Доклад Дани можно посмотреть в свободном доступе, нужно только зарегистрироваться на сайте AHA. Также после поделимся тезисами и презентацией здесь. Также рекомендуем недавний пост Дани о том, как мы в Trisigma внедрили Switchback-тесты, чтобы избежать искажения сетевых эффектов в экспериментах. Trisigma — канал про A/B-тестирование #trisigma
2 682
15
Ребят, привет! 🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию. В нём собрали качественную и полну
Ребят, привет! 🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию. В нём собрали качественную и полную базу — на примерах разобрали, как устроены эксперименты и статистический анализ. В общем, внутри всё это нужно, чтобы решения, принимаемые для развития продукта, положительно влияли на целевые метрики. Думаю, что хендбук будет полезен и начинающим аналитикам, и опытным, чтобы освежить в памяти базу. Забрать его можно в боте. Ждём обратной связи! Trisigma — канал про A/B-тестирование #trisigma
2 985
16
21 мая обсудим кейсы, где классический A/B-тест не работает Стрим проведём вместе с аналитиками и продактами из Авито, Finom
21 мая обсудим кейсы, где классический A/B-тест не работает Стрим проведём вместе с аналитиками и продактами из Авито, Finom и ex. Lamoda Tech, Ozon Tech. Поговорим про: — Как проводить офлайн-эксперименты с AI-агентами и измерять качество, когда всё недетерминировано; — Когда и какими нестандартными инструментами можно заменить A/B; — Можно ли сделать рабочую связку PSM, фейкдоров и оценки эластичности. 🔵Подробности и регистрация тут. До встрече на стриме 21 мая в 18:30.  #trisigma
2 677
17
Коллеги, вопрос: Что вы делаете, когда A/B-тесты невозможны или недостаточны? #trisigma
2 212
18
Привет, на связи Вит. Завтра выступаю на KARPOV.CONF онлайн. В этом году ключевая тема предсказуема — и это ИИ. Поэтому я рас
Привет, на связи Вит. Завтра выступаю на KARPOV.CONF онлайн. В этом году ключевая тема предсказуема — и это ИИ. Поэтому я расскажу про то, как выстроить аналитическую инфраструктуру, чтобы AI был активом, а не иллюзией. Другие доклады тоже максимально прикладные. Посмотреть всю программу и зарегистрироваться можно тут. Кстати, конференция бесплатная. До встречи завтра в эфире! Если идёте, ставьте 👍 #trisigma
0
19
Привет! Это Вит Черемисинов. Мы сделали важный и крутой шаг — теперь Trisigma можно разворачивать в формате VPC (Virtual Priv
Привет! Это Вит Черемисинов. Мы сделали важный и крутой шаг — теперь Trisigma можно разворачивать в формате VPC (Virtual Private Cloud). Прямо в изолированной инфраструктуре заказчика. Раньше Trisigma была доступна только как SaaS — вы пользуетесь, но данные хранятся на нашей стороне. Теперь клиент получает ту же платформу для экспериментов, но она работает в его собственном облачном контуре. Сеть, доступы, политики безопасности — всё настраивается самим заказчиком. Данные не покидают его периметр. О том, для кого такой формат актуален, что происходит на рынке и о планах на будущее расписал ниже. Для кого такой формат доставки особенно актуален Для банков, госкомпаний, крупного enterprise — всех, у кого повышенные требования к безопасности и локализации данных. VPC помогает проходить аудиты и быстро проходить процесс согласования с собственной службой безопасности. Что происходит на рынке Рынок платформ для экспериментов в России только формируется. Наша оценка — около 3,5 млрд рублей потенциально. Но важнее другое: 70% запросов от бизнеса уже сегодня — про закрытые модели поставки (VPC или полностью изолированный on‑prem). Мы оцениваем потенциал этого спроса в 3,22 млрд рублей в ближайшие годы. Как мы это посчитали — написал в самом конце под*. Раньше компании использовали публичные обкала. Сейчас приоритет смещается: контроль над инфраструктурой и безопасность данных во многих случаях важнее, чем лёгкость старта. Что будем делать дальше в Trisigma Следующий логичный шаг — on‑prem‑версия: развёртывание на собственных серверах клиента, без какого‑либо облака вообще. Для тех, у кого максимально жёсткие требования к ИБ. 🔵А пока — VPC уже работает. Приходите экспериментировать, не отдавая данные наружу. Заявку на демо можно оставить тут. *По какой методологии мы оценивали рынок На основе отчетов по глобальному рынку A/B-платформ, был сформирован отраслевой CAGR в размере 11,48%. Данный тренд был использован при прогнозировании потенциальной выручки конкурентов на отечественном рынке — объем занятого рынка: — На основе данных ЦБ РФ за последние 3 года была сформирована оценка среднегодовой инфляции — 8,17%. Данный тренд был использован при прогнозировании потенциального среднего чека; — На основе данных Спарк, была сформирована оценка динамики ежегодного изменения числа компаний, соответствующих профилю, за 2022/2024 года, которая составила 0.34%. Данный тренд был применен для прогнозирования объема рынка в количественном выражении; — На основе открытых источников было сформировано целевое значение сквозной конверсии холодного контакта в сделку для B2B рынка технологических продуктов, составляющее 10%; Занятый рынок: 1) Брались методы из клиентских SDK или API 2) Проверяли по Common Crawl datasets встречаемость этих методов на сайтах 3) Получали количество компаний, где используется тот или иной сервис 4) Умножали портфель на средний чек 5) Дополнительно валидировали выручку в СПАРК #analytics #trisigma
0
20
🔵Ищем старшего аналитика данных в команду Trisigma Вы будете проводить R&D, проектировать дизайн продуктовых инкрементов, ра
🔵Ищем старшего аналитика данных в команду Trisigma Вы будете проводить R&D, проектировать дизайн продуктовых инкрементов, развивать движок Semantic Layer и документацию (подходы, best practices, статьи). И, конечно, работать с клиентами: - проектировать аналитические решения и внедрять их; - представлять выводы исследований и обосновывать рекомендации. Подробнее — на нашем карьерном сайте. Откликнуться можно там же! И обязательно пересылайте коллегам, которым может быть интересна эта позиция. #analytics #trisigma
0