Интересное что-то

Сравнение топовых harness на локальных моделях Совместно с rnd отделом red_mad_robot подготовили и провели данный бенчмарк, отдельное спасибо Андрею Иванову за подготовку стендов и проведение бенчмарка! Модели взяли LLM хаба https://hub.neuraldeep.ru/ Сохраняйте ссылку на бенчмарк, теперь это буде регулярная страничка которую мы будем обновлять! Бенчмарк: https://hub.neuraldeep.ru/#harness Лидерборд будет пополнятся моделями Drift планируется к open source в этом году! gpt oss 120b | Qwen3.6-35B-A3B Все модели были развернуты на rtx 6000 pro/4090(48gb x2) Как вывод абсолютный лидер сегодня это hermes agent Даже удалось погонять на PAC1 от Рината!

#agents #llm

В прошлом году в мы брали интервью у Насти из Avaturn, а сегодня мы принесли вам потрясающий релиз от ребят💃 Команда Avaturn.live выложила в опенсорс AVTR-1 - фреймворк, который позволяет вести видео диалог с аватаром в реалтайме. Загружаете фотку, и болтаете с героями любимых мемов! (если конечно у вас есть видеокарта) 🐰В релиз входят: — веса модели — инференс-стек, оптимизированный под TensorRT — бэкенд для запуска живой диалоговой сессии end-to-end 💅Насколько мы знаем, это первый публичный опенсорс-релиз, где в комплекте идёт не только модель, но и серверный стек для интерактивной сессии. Производительность: — RTX 3070 / 4060 Ti — реал-тайм — A100 / L40 — более чем 2× быстрее реал-тайма 💻 То есть вам хватит обычной игровой карты, чтобы поговорить с кастомным аватаром, а если лень настраивать локально - с демо версией. 💻 https://github.com/avaturn-live/avtr-1 🌐 https://avaturn.live/demo 🤗 https://huggingface.co/avaturn-live/avtr-1 С вас лайки и звездочки на гит! Оставляйте ваши технические вопросики в комментах, вам ответят авторы этого шикарного дропа 🎉

#cv #gan #petproject

Я принес. Почему новички получают больше, чем старые сотрудники? Казалось бы, никогда такого не было и вот опять. https://t.me/grade_practicum/1106 Не абы кто, а сам Harvard Business Review сделал исследования и установил, что новичкам платят больше, для их привлечения, пока недоиндексированные до этого уровня старички про это узнают, расстраиваются и уходят. Вроде бы и не новость никакая. Ну кто такого не видал? Я еще 5 лет назад (звучит-то как – 5 лет!) писал про добавочную стоимость старожилов. Потом, спустя полгода, уточнял, что у новичков тоже есть польза, которой нет у старослужащих, так сказать. На всё это намазываем хороший разбор про финансовую мотивацию и демотивацию от Александра Клименко. Приправляем согласием с авторами исходного поста, что ничего не утаишь и если не все всё знают, то многие. И получаем сложную управленческую дилемму, которую мы в Трех тимлидах разбирали аж в двух частях. В один не уложились. Часть 1 и часть 2. Какой посыл у сегодняшнего поста, распадающегося на кучу связных тематических материалов? Он в том, что если решение, что новички получают больше, чем старые сотрудники обосновано, осмыслено и приняты все риски – это нормальная (тут «нормальное» – не синоним слова «хорошее», а производное от «норма») в бизнесе история. А вот если это просто потому что «ну они молчат, есть не просят, вот и пусть дальше молчат, либо скажут, и мы там подумаем, какого размера кость в будку кинуть», то будет всё как в изначальном исследовании. Первыми разойдутся самые толковые. Будете новичками, да засидевшимися дела делать.

#softskills #career

Материалы для подготовки к продуктовой секции Выше писала как прокачивать продуктовое мышление самостоятельно, а сегодня будет список источников, что почитать и послушать на эту тему. Книги: 🟡Lean Analytics, это классика, но написана немного тяжелым языком и есть только на английском, сама тоже читаю сейчас. 🟡Доверительное АБ тестирование, больше про тесты, но для общего понимания тоже полезно. Я писала даже небольшой обзор на нее 🟡Спроси маму (Роб Фитцпатрик) – небольшая книга про эмпатию и правильные вопросы пользователям, есть кстати у нас на Литрес. Я прочитала, интересно, хотя и напрямую на собеседовании не факт что поможет) Фреймворки для структурирования метрик: 🟡AARRR – пиратские метрики. Фреймворк описывает путь пользователя через воронку: Acquisition → Activation → Retention → Revenue → Referral. Помогает понять, какой этап воронки самый проблемный и где может быть наибольший рост. Подробнее почитать можно здесь и здесь. 🟡HEART – фреймворк от Google для продуктов, больше про пользовательский опыт. Расшифровывается как Happiness, Engagement, Adoption, Retention, Task Success. Неплохая статья тут, а оригинальная статья от гугл по этой ссылке. 🟡CJM (Customer Journey Map) – карта пути пользователя. Помогает разложить метрики с точки зрения юзера. Шаблон в Miro 🟡Дерево метрик, иерархия метрик – декомпозиция North Star Metric на составляющие. Это довольно часто спрашивают на собеседованиях, могут попросить накидать дерево метрик для конкретного продукта. Ознакомиться подробнее можно здесь. Я считаю, что классификации и фреймворки выше не охватывают все многообразие метрик с точки зрения философии 😁 (а точнее правил деления, писала здесь). Однако перефразируя классику, все классификации неверные, но некоторые полезные. Поэтому рекомендую ознакомиться с источниками выше, для всех интересующихся продуктовой аналитикой. База по юнит экономике: Лекция Ильи Красинского. Материал топ, но признаться честно с первого раза не осилила, смотрела в несколько подходов. Еще очень рекомендую статьи на gopractice, много всего полезного по теме продуктового мышления. Например, статья про метрики роста и метрики продукта. #analytics #собес_PA

#analytics #books

Привет всем!👋 Как и обещал ранее, сегодня расскажу про интересную штуку, о которой, вы вероятно не знали. Как известно, основным способом улучшения нейронных сетей является два основных метода: дообучение уже существующей модели (обучение архитектуры с инициированными ненулевыми весами, полученными ранее) или Transfer Learning (ярким примером является дообучение BERT'ов, где мы обучаем поверх уже существующего эмбеддера полносвязный слой 'голову' на нужный нам таргет). И в целом, я тут вам Америку не открыл. -Но знали ли вы, что аналогичные финты ушами можно проводить с моделями градиентного бустинга? Если нет, то давайте расскажу. Прежде всего я хотел бы ответить на вопрос "а зачем такое надо? ". Нередко, особенно в рисках, например в моделях скоринга, модели имеют схожий домен и таргет, но при этом обучаются и значит используются на разных бизнес сегментах. Если в более крупном сегменте по выручке мы имеем недостаток данных или целевых наблюдений (мало компаний, низкий Default Rate), то тогда мы можем взять наработки более мелкого сегмента и переиспользовать на более крупный, путем дообучения. Глобально, метода дообучения два: у вас имеется базовая модель и имеется базовый скор. Оба имеют свои плюсы и свои минусы. Давайте поподробнее поговорим о них. 🔸🔠🔠🔠🔠🔠🔠🔠 🔠🔠🔠🔠🔠🔠 Это сценарий, когда ранее была использована модель градиентного бустинга и теперь мы можем дообучить ее, технически добавляя деревьев в уже существующий бустинг. 🔠🔠🔠🔠🔠⬇️ ➕Простота вывода. Результат - единая модель бустинга, не требующая дополнительных вызовов базовой модели. ➕Экономия вычислительной мощности. Ваша базовая модель уже с какой-то точностью умеет предсказывать целевую метку, вам не нужно строить модель с нуля. 🔠🔠🔠🔠🔠🔠⬇️ 〰️ Ограничение выбираемой реализации. Дообучая XGBoost, вы получите бустинг, написанный на XGBoost. Другого не дано. 〰️Ограничение базовых параметров. Большинство параметров дерева в бустинге, наследуются от базовой модели.

Интересный факт: В Catboost можно изменять learning_rate, но при этом большинство параметров, включая способ кодирования категориальных признаков, наследуется от базовой модели.

🔠🔠🔠🔠🔠🔠🔠⬇️ 🔸XGBoost:

xgb.train(data=data, xgb_model=old_model)

🔸LightGBM:

lgb.train(train_set=train_new, init_model=old_model)

🔸Catboost:

model.fit(X_new, y_new, init_model=old_model)

🔸🔠🔠🔠🔠🔠🔠🔠 🔠🔠🔠🔠 Это сценарий, когда вместо базовой модели мы получаем на вход предсказания уже готовой модели и строим уже на них модель бустинга, уточняющую предсказание старой модели.

Важно: Предсказания в случае бинарной классификации должны подаваться не в формате предсказаний вероятности, а именно логитов, т.е предсказания до сигмоидального преобразования!

🔠🔠🔠🔠🔠⬇️ ➕Свобода выбора базовой модели. В данной конфигурации мы воспринимаем базовую модель в формате black box, то есть нам не важна ее архитектура. 🔠🔠🔠🔠🔠🔠⬇️ 〰️ Сложность вывода. Базовый скор необходимо откалибровать на выборке дообучения, т.е построить простейшую линейную модель. Также нам необходимо в продовом инференсе использование инференса базовой модели, то нам необходимо реализовать где-то рядом с дообученной моделью вызов базовой модели. 〰️Итоговая модель - не финальная. Основной сложностью данного подхода является то, что дообученная модель дает лишь смещение и для получения итоговой вероятности модели нам нужно смешать скоры базовой и дообученной модели и после этого прогнать через сигмоидальное преобразование. 🔠🔠🔠🔠🔠🔠🔠⬇️ 🔸XGBoost:

xgb.train(data=data, base_margin=init_logits)

🔸LightGBM:

lgb.train(train_set=train_new, init_score=init_score)

🔸Catboost:

model.fit(X_new, y_new, baseline=init_logits)

На этом все, подробнее познакомится с данными техниками призываю самостоятельно, ставь 🔥, если понравилось! #ds_лайфхаки

#ml

Проговори вслух Недавно я начал обучение у Саши Брызгаловой по ТОС, где она нас неоднократно просила вслух проговаривать те логические связи, которые мы пишем. Я вспомнил Максима Дорофеева с его «логическими улитками». Он тоже настаивает на озвучивании вслух. А ещё я неоднократно видел (да и сам был главным героем) ситуации, когда человек готовил какое-то обоснование или хотел объяснить проблему, но в середине проговаривания сам понимал, что фигня какая-то получается. Метод резинового утенка Если вдруг кто не знал, есть такой метод, который говорит, что если хочешь разобраться в проблеме и никого нет рядом, то попробуй объяснить какому-либо неодушевлённому предмету (например, резиновому утенку, кукле, вазе со мхом в виде головы Грута, которую подарила любимая жена), и высок шанс, что сам придёшь к решению, пока объясняешь. Почему так происходит? Внутренняя речь фрагментарна: мозг «понимает себя с полуслова», пропуская иной раз неясные места, и живёт ощущением «я в целом понимаю». Проговаривание вслух заставляет развернуть это «в целом»: объяснить контекст, определить термины, привести аргументы, факты и разъяснить логику причинно-следственной связи. В момент, когда ты не можешь чётко сформулировать какой-то кусок из своего обоснования, проявляется зона, где понимания на самом деле нет. А еще речь замедляет мышление. В голове ты можешь пробежать рассуждение за секунды и не заметить разрывов (ставь ⚡, если помнишь мем про «НИ ЕДИНОГО РАЗРЫВА!!!»). Вслух ты «исполняешь» ход мысли последовательно, как при пошаговой отладке: «делаю А, потом Б, потом В… стоп, а что между Б и В, а точно из А следует Б?» Ошибки часто прячутся именно в этих переходах. Когда проговариваешь логику вслух, ты слышишь свою идею как будто от другого человека. Появляется роль внутреннего слушателя, который оценивает: «звучит нелогично», «слишком размыто», «тут точно не покатит», «это слабая аргументация», и это усиливает критичность мышления. Итог Когда надо придумать решение какой-то запутанной проблемы, оптимизацию процесса, структуру для доклада, аргументацию для защиты оценок своих соколов на перф-ревью, я люблю проговаривать это вслух помногу раз, пока не щелкнет в голове какая-нибудь полезная идея. Еще люблю при этом расхаживать взад-вперед и крутить что-то в руках – подбрасывать мячик, например. Но это уже другая история. Подозреваю, что это скорее успокаивает моего внутреннего тревожника, отводя его энергию в эти движения и оставляя ресурс для концентрации именно на необходимом решении.

#softskills

🎲 Сыграем в игру с кубиком? Майские уже не за горами! В преддверии праздников мы принесли вам немного полезных квестов, которые можно выполнить в свободное время. А какой из них достанется вам — решит удача: 🔵 Бросайте кубик 🎲 в комментах 🔵 Запоминайте результат 🔵 Открывайте спойлер для выпавшего числа 🔵 Держите квест на выходные 📝 ⬇️ Список заданий 1️⃣ Послушать подкаст «Доверительный интервал». Награда: 500 XP и клад лайфхаков, которые помогут справиться со срочными задачами 2️⃣ Почитать настольные книги аналитика. Награда: 1000 XP и сундук с классикой о системном анализе, математике и подходах к метрикам: тут подборка 2025-го, а здесь — 2026-го 3️⃣ Выяснить, как поставить эксперимент без A/B-теста. Награда: 500 XP и новое заклинание — Propensity Score Matching 4️⃣ Порешать задачки. Награда: 300 XP и +1 к теории вероятностей. А если войдёте во вкус — переходите по хештегу #задачи_для_аналитиков 5️⃣ Посмотреть доклады с Data Driven 2025. Награда: 500 XP и способность трансмутировать данные в артефакты и инсайты. Плейлисты по трекам: Data to Artifacts (ютуб и VK Видео), Data to Insights (ютуб и VK Видео) 6️⃣ Завести пет-проект. Награда: 1000 XP и верный компаньон, который поможет в приключениях (и в поиске работы квестов, за которые платят голдой 💰) Подписывайтесь: 💬 @Yandex4Analytics

#analytics

Недавно прошел интенсив от Школы Анализа данных Яндекса - Agents week. Лекции будут полезны для понимания всего цикла создания мультиагентной системы (МАС) и нюансов в этом цикле, в т.ч. про проверку МАС и бенчмарки. Рекомендую для просмотра, часть идей забрал для своей мультиагентной системы. Также в части QA есть интересные вопросы и рассуждения про использование и применимость Мультиагентных систем от команды Яндекса. 1. Лекции 1.1 и 1.2 Intro to AI Agents и Tools. MCP Алёна Зайцева, руководитель службы ИИ-сервисов Яндекс Лавки VK: Лекция 1.1, Лекция 1.2 YouTube: Лекция 1.1, Лекция 1.2 2. Лекция 2 и Семинар 2 Memory and Guardrails in LLM-Powered Agents Кирилл Мищенко, руководитель группы ML-разработки в Яндекс Браузере VK: Лекция 2, Семинар 2 YouTube: Лекция 2, Семинар 2 3. Лекция 3 и Семинар 3 Agent Workflow Multi-Agent Systems Multimodality Софья Проскурина, разработчик платформы для внутренних ИИ-агентов Яндекс Лавки VK: Лекция 3, Семинар 3 YouTube: Лекция 3, Семинар 3 4. Лекция 4 и Семинар 4 Agent Evaluation: From Metrics to Managed Quality Сергей Купцов, отвечает за развитие агентных решений в Алисе и Умных устройствах VK: Лекция 4, Семинар 4 YouTube: Лекция 4, Семинар 4 5. Лекции 5.1 и 5.2 Production Engineering for LLM Agents Даниил Артамонов, отвечает за платформу внутренних ИИ-агентов в Яндекс Лавке Кирилл Власов, отвечает за развитие генеративных моделей Yandex AI Studio VK: Лекция 5.1, Лекция 5.2 YouTube: Лекция 5.1, Лекция 5.2 6. QA со спикерами интенсива P.S. Примеры показаны в Google Colab ноутбуках (ссылки под видео) на LangGraph. P.P.S. Презентации есть в описаниях

#agents #llm #courses

Полезный режим был в ChatGPT — Study Mode Пока собрался про него написать, его уже убрали 💀 Но сам подход мне прям зашёл. Отлично вскрывает иллюзии понимания. Я использую очень просто: “погоняй меня по X” И дальше модель начинает задавать вопросы, копать глубже, цепляться к формулировкам. Часто уже после 3–4 вопросов понимаешь, что на самом деле не понимаешь. Неплохо работает: — когда учишь новую тему — перед собесами Он пропал в ChatGPT, но я сделал проект с системным промптом отсюда и получил такое же поведение

#prompt

#quant