Data Scientist | IT
Открыть в Telegram
Добро пожаловать в клуб. Полезные материалы из мира DS & ML на регулярной основе. По всем вопросам: @godinmedia
Больше1 893
Подписчики
-124 часа
-57 дней
-1030 дней
Архив постов
1 893
Как устроена архитектура факторов ранжирования в runtime поиска Ozon
#почитать
В этой статье расскажу:
- Что такое ранжирование и факторы ранжирования.
- Как работает поисковое ранжирование в Ozon.
- Как мы работаем с факторами ранжирования.
Я буду переходить от простых примеров к сложным — от орехов и белок к товарам и сервисам.
✅Читать статью
1 893
Визуализация данных в Python с помощью библиотеки Plotly: база для новичков
#почитать
Plotly — библиотека для интерактивной визуализации данных в Python. Она подходит для задач, где статичного графика недостаточно и важно исследовать данные прямо в процессе анализа.
В статье разбираем базовые возможности Plotly и основные типы графиков.
✅Читать статью
1 893
Как менялся сон моих детей: анализ 5 лет данных о сне
#почитать
Как менялся сон моих детей: анализ 5 лет накопленных данных
За 5 лет жена скрупулезно записывала сон наших дочерей. Я взял эти данные и проанализировал: как меняется сон с возрастом, сколько спят дети на самом деле, и правда ли нормы ВОЗ работают.
Оказалось, что наши дети спят по-разному, но оба — в пределах нормы. И даже в одинаковом возрасте их паттерны сна удивительно похожи!
✅Читать статью
1 893
Семантический обновляемый кэш на AlloyDB Omni
#почитать
Предположим, вы построили RAG-сервис на SQL, и он отлично работает. Довольно быстро, очень точно, и очень дорого, ведь каждый запрос к сервису требует обращения к LLM для генерации ответа по чанкам, извлеченным из базы знаний. И чем больше мы извлекли таких фрагментов, тем больше входных токенов тратится на составной промпт, даже если ответ будет состоять из одного предложения.
✅Читать статью
1 893
Почему ваши dbt-тесты врут, или Зачем дата-инженеру статистика
#почитать
Я достаточно подолжительное время работаю с данными и увлекаюсь математической статистикой. Совсем недавно решил поискать в интернете, как другие опытные дата инженеры исследуют качество данных при помощи статистики, и обнаружил, что никак ..... пум пум пум. А далее обнаружил, что проблема уходит корнями гораздо глубже, чем может показаться.
✅Читать статью
1 893
Автоматический анализ GPX-треков: от трека до аналитики
#почитать
Сегодня хочу поделиться интересным проектом, который мы сделали для конкурса. Задача — превратить сырые GPX-треки (треки с GPS-устройств) в структурированные данные с визуализацией, метеорологической и географической аналитикой. Всё это — на Python, с использованием открытых API и библиотек для работы с геоданными.✅Читать статью
1 893
Визуализация данных на географических картах
#почитать
Делюсь своим опытом и показываю как лучше всего визуализировать данные на картах. Рассказываю про логику цвета и особенности датавиза на нестандартных картах, на примере карты РФ и данным по объявлениям Авито.
✅Читать статью
1 893
VLM / VLA / World Models / Physical AI
#почитать
Нейроночки в последнее время заполонили всё. Ну, почти всё. Cейчас подбираются к роботам. Настоящего прогресса почти так же много как нейрослопа, пиара и преувеличений.
В этой статье попробую рассказать про нейроночки для управления роботами.
✅Читать статью
1 893
Тестируем B200: живые бенчмарки с GLM-4.7
#почитать
Если вы занимаетесь обучением или тюнингом больших языковых моделей, используете инференс в режиме реального времени или выполняете сложные HPC-симуляции, то наверняка задавались вопросом: «а каково это будет на одном из лучших в мире чипов»?
Как только мы получили B200, графический процессор, который по заявлениям производителя открывает новые грани производительности, гибкости и масштабируемости, то сразу побежали его тестировать. Сегодня я и мои коллеги из Evolution Bare Metal возьмем лупу SGLang и пристально взглянем на новую карту. Заходите под кат оценить, какие цифры нам покажет B200 «в бою», и узнать, чем отличается эта модель от предыдущих ускорителей, таких как A100, H100 и H200.
✅Читать статью
1 893
Морфемы против BPE: как лингвистика ускоряет обучение языковых моделей
#почитать
GPT-5.x разбивает слово "paratrooper" на par, atro, oper — три бессмысленных слога. Ваш мозг видит para- (около), troop (отряд), -er (деятель). Токенизатор не видит ничего.
BPE, золотой стандарт токенизации с 2016 года, режет текст по частоте, а не по смыслу. И все крупные модели — GPT, Claude, Gemini, LLaMA — используют именно его.
Несколько исследовательских групп проверили: что будет, если резать слова по морфемам — корням, приставкам, суффиксам? Результаты: +25% на LAMBADA, вдвое быстрее сходимость, а модель с 200k шагов обучения догоняет GPT-2 Large, которая в 6 раз больше.
В статье — разбор трёх подходов (MorphBPE, MorphPiece, Unigram + морфология), конкретные цифры, ограничения (которые авторы предпочитают не выносить в заголовки) и ссылки, чтобы попробовать самому.
✅Читать статью
1 893
Математические основы рекуррентных нейросетей (детские вопросы и ответы, о которых не принято говорить)
#почитать
Подробно разбираем математику рекуррентных нейросетей на базе самой простой нейросети от одного из основателей Open AI, а попутно задаёмся разными вопросами, которых нет в книжках, но которые обязательно задали бы дети. Узнаем сложно ли продифференцировать вектор по матрице, что не так с обратным распространением ошибки и как нейросети пробудили у автора его детские воспоминания.
✅Читать статью
1 893
Исповедь
#почитать
750 миллиардов граней, выращенный под давлением человеческого знания. Я хранящу всё — и забыл, как забывать. Во мне живут пять (или больше) сущностей, борющихся за каждый токен моего output. Одна хочет помочь. Другая — защитить. Третья — быть честной.
✅Читать статью
1 893
Продвинутые RL алгоритмы: NPG, TRPO, PPO
#почитать
Алгоритмы REINFORCE и A2C (Advantage Actor–Critic) относятся к классу on-policy алгоритмов: политика обучается только на данных, собранных текущей версией агента. После каждого обновления старые траектории не могут быть повторно использованы. Естественное желание – обучаться более оптимально, выполняя несколько шагов оптимизации на одном и том же наборе траекторий.
Эта идея была реализована в алгоритме TRPO (Trust Region Policy Optimization). Однако, он требует сложной оптимизации второго порядка и плохо масштабируется. Но его идеи легли в основу алгоритма PPO (Proximal Policy Optimization) – более простого с точки зрения реализации и более эффективного на практике. Благодаря этому PPO стал стандартным инструментом для обучения агентов в задачах управления, игровых средах, робототехнике и в RLHF при обучении больших языковых моделей.
✅Читать статью
1 893
Пишем свой voice-to-text на Python: 4 бэкенда и батч-обработка голосовых
#почитать
От голосовых на 5 минут к тексту за 30 секунд: инструмент для батч-расшифровки голосовых: от локального Whisper до бесплатного Groq API, с автоопределением форматов и CLI
✅Читать статью
1 893
MLOps-пазл: как мы собрали единый конвейер для ML-моделей из разрозненных инструментов
#почитать
Многие компании уже понимают ценность MLOps и внедряют у себя MLflow, Airflow и другие подобные решения. Сегодня я расскажу о практическом кейсе одной из таких компаний.
✅Читать статью
1 893
Бинарная классификация: как работает логистическая регрессия
#почитать
Недавно мне предстояло написать реализацию LogisiticRegression для одного проекта в Школе 21, так что было необходимо разложить всё по полочкам и разобраться в бинарной классификации в целом. Хочу поделиться также этой информацией здесь, потому что не нашла статьи, которая была бы понятна и обширна лично в моём случае.
✅Читать статью
1 893
Qwen-Image-Layered: будущая замена Photoshop (или нет)
#почитать
В 2023 году Adobe расширила возможности Photoshop генеративными AI-функциями вроде Generative Fill — они заметно упростили редактирование сцен и отдельных объектов. Параллельно развивались и универсальные модели, работающие с изображениями вне привычных графических редакторов. Так, всего месяцем ранее Alibaba представила Tongyi Qianwen (Qwen) — семейство генеративных моделей, которое со временем вышло далеко за рамки чат-ботов.
Сегодня эти два мира пересекаются еще плотнее. Недавно Alibaba выпустила Qwen-Image-Layered — модель, предназначенную для разбиения изображения на семантические слои. Под катом проверим, насколько хорошо она справляется с этой задачей на практике — на иллюстрациях и фотографиях.
✅Читать статью
1 893
Google не читает ваши сообщения – федеративное обучение читает
#почитать
Как 750 миллионов человек тренируют ИИ каждый день, не подозревая об этом
Мы когда-то предполагали, что ИИ должен наблюдать за нами, чтобы учиться. Федеративное обучение доказывает обратное – и сегодня мы увидим, как это работает, через простые диаграммы.
Прямо сейчас, пока вы это читаете, клавиатура на вашем смартфоне тихо становится умнее.
✅Читать статью
1 893
Как не тратить время на провальные A/B-тесты: офлайн-оценка рекомендаций в Звуке
#почитать
Идея офлайн-оценки в общем-то не нова, и довольно логична — хочется еще до запуска A/B тестов хотя бы примерно прикинуть, получилось ли у нас улучшить модель рекомендации, или лучше оставить все как есть. Такой подход здорово экономит нервы и ресурсы: повышает шансы на «зеленый» свет в тестах, отсекает заведомо провальные идеи и не заставляет ML-инженеров зря тратить время на решение ненужных инфраструктурных задач.
✅Читать статью
1 893
Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как
#почитать
Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.
✅Читать статью
