Data Science | Machinelearning [ru]

🖥 Появился тул, который сам подбирает скиллы для вашего ИИ-агента Запускаешь npx autoskills, и он сканирует репозиторий: читает package.json и конфиги, определяет технологический стек и ставит нужные скиллы из проверенного списка. Короче, сильно экономит время на ручной настройке и поиске. ✖️ xCode Journal

Изучаете программирование, или хотите стать классным айтишником с высокой ЗП? Пока многие паникуют из-за бума ИИ, вы можете стремительно войти в сферу IT при помощи сборки "IT в деле" которую мы составили. Специально для вас разбили нашу сборку мини папки по конкретным тематикам:) Что внутри сборки: - Каналы о программировании и разработке: Python, CSS, HTML, Java и Swift - GameDev и каналы о QA тестироварии, создание игр, помощь для ваших проектов и реальный опыт от тестировщиков 💍 - Авторские каналы и вайбкодинг: IT & AI, простые заметки с проектов, работа с нейросетями, и как они реально влияют на индустрию 🔤 - Информационная безопасность: многое узнаете о работе хакеров и о том, как защитить себя в этом интернет-хаосе. 🔫 Для каждого здесь что-то найдётся! Выберите интересные вам каналы или подпишитесь на всю сборку, и найдите то, что нужно вам для следующего шага в IT.

Как бороться с переобучением в нейросетях Переобучение — это момент, когда модель: 👉 идеально знает train 👉 и плохо работает на новых данных

Она запоминает, а не обобщает.

Разберём, как с этим бороться на практике. 1. Больше данных Самый надёжный способ. Если данных мало: 👉 собирай новые 👉 делай data augmentation 👉 используй синтетические данные

Больше разнообразия = меньше шансов запомнить шум.

2. Regularization Добавляем штраф за сложность модели. Основные варианты: 👉 L2 (weight decay) 👉 L1

Меньше веса → проще модель → меньше overfitting.

3. Dropout Во время обучения случайные нейроны «выключаются». Что происходит: 👉 модель не может полагаться на конкретные связи 👉 учится быть более устойчивой Обычно используют: 👉 0.2 – 0.5 4. Early Stopping Следим за валидацией: 👉 train loss падает 👉 val loss сначала падает, потом растёт

Останавливаем обучение в момент роста val loss.

Это один из самых эффективных методов. 5. Упростить модель Иногда решение очевидное: 👉 меньше слоёв 👉 меньше параметров 👉 проще архитектура

Большая модель легче переобучается.

6. Data Augmentation Особенно важно для: CV: 👉 повороты 👉 шум 👉 кропы NLP: 👉 перефразирование 👉 замены

Модель видит больше вариантов одного и того же.

7. Batch Normalization Помогает: 👉 стабилизировать обучение 👉 немного снижает переобучение

Не основное решение, но усиливает остальные.

8. Правильная валидация Если плохой split — ты не заметишь проблему. Используй: 👉 train / val / test 👉 k-fold при малых данных

Иначе будешь оптимизировать иллюзию.

Главный инсайт Переобучение — это сигнал: 👉 либо мало данных 👉 либо модель слишком сложная 👉 либо обучение настроено неправильно В одном предложении

Чтобы уменьшить переобучение — добавь данных или убери сложность модели.

🤔Что происходит, когда AI выходит за пределы прототипа? 20 мая в 15:00 приглашаем на Inside AI Meetup от Wildberries & Russ. Там обсудят реальные кейсы: от высоконагруженной модерации с векторным поиском и AIOps-подходов к управлению ML-сервисами до практики построения RAG-систем, тонкостей реранкинга и реальных этапов запуска LLM-продуктов. Среди спикеров эксперты Wildberries & Russ, MWS, Avito, Сбера, Альфа-Банка, red_mad_robot. Принять участие советуем senior ML/AI инженерам, MLE, DS, инженерам платформ и всем, кто строит или масштабирует AI-системы в продакшене. Митап пройдет в Москве + будет трансляция. Подробности и регистрация — на сайте.

Миграция фреймворков через AI. Где ломается наивный подход Принято считать, что миграция с одной библиотеки на другую - типичная задача для LLM. Открыл файл, попросил переписать с React на Vue, получил результат. На паре компонентов работает. На реальном проекте перестаёт работать к десятому файлу. 👉 одинаковые паттерны переписываются по-разному 👉 контекст между файлами теряется 👉 решения деградируют к пятой итерации 👉 тесты, которые зеленели, начинают падать Код выглядит мигрированным, но ведёт себя иначе. Что работает Детерминистический рефакторинг: LLM формулирует правила перехода на двух-трёх файлах, дальше OpenRewrite или ts-morph применяет их через AST. После каждого этапа компиляция и тесты. Бонусом ревью плана до применения и откатываемость. Это один из десятка приёмов, без которых AI-разработка на больших проектах разваливается. SPEC-разработка, AGENTS.md, SKILLS.md, контекст-инжиниринг, Plan Mode. Всё можно изучить в документации, собрать в систему самому - примерно год. Команда Naition научит этому за 12 недель на буткемпе с преподавателями из Google, Yandex Cloud, Сбера и других компаний. Формат: живые онлайн-встреч: 30 минут теории, час разбора кейса, полтора часа практики на своём коде. За 14 уроков вы научитесь: • Настраивать ИИ-окружение — RAG-системы, MCP, SPEC-разработка, агенты и контекст под свой стек. • Создавать фичи в разы быстрее, используя ИИ в каждом этапе — от планирования до внедрения. • Управлять полноценной командой ИИ-агентов — ваш продукт 24/7 создают бекэнд / фронтэнд разработчики, системные аналитики, DevOps и другие агенты. И не только! Записаться Старт 5 мая. По промокоду FRONTENDER — скидка 20%. Бонус для участников первых когорт: 3 месяца в закрытом клубе после обучения. Записаться Команда также собрала бесплатную дорожную карту из 40+ концептов со ссылками на источники. По сути оглавление того, что сейчас составляет базовую инженерную грамотность для работы с AI. Забрать роадмеп по ссылке

❌ «Никакого кода вручную — такая политика» Так говорит айтишник Disney. Дело в том, что компания Disney сделала для своих программистов «панель мониторинга внедрения ИИ» с лидербордом. Чем больше дней подряд ты используешь Cursor или Claude, тем больше у тебя ачивок. Некоторые сотрудники говорят, что чувствуют давление «максимально использовать токены». ✖️ xCode Journal

На Stepik запустили годный курс по «Troubleshooting Docker и Kubernetes: поиск и устранение проблем» В программе только важные аспекты: — troubleshooting Docker и образов — диагностика сетевых проблем — настройка readiness/liveness probes — отладка pod’ов, деплоев и ingress — анализ логов контейнеров и кластера — разбор ошибок CrashLoopBackOff, OOMKilled, ImagePullBackOff и других Собеседования на DevOps/SRE сейчас всё чаще строятся вокруг реальных инцидентов. Данный курс фокусируется именно на таких сценариях и помогает в подготовке к практическим вопросам 48 часов доступен со скидкой 25% ↗️ Пройти курс на Stepik

🤣 ИИ не дурак — прям так и не написал. Просто скопировал. 💥 xCode Journal

GPU в облаке: RTX 4090, A100, H100, 6000 Blackwell Рендеринг в Blender, CAD-модели и обучение LLM — задачи разные, но упираются в одно: нужный GPU не всегда стоит на рабочей машине. Облачная аренда позволяет взять подходящую карту на час или на длительность проекта, без покупки железа. В Cloud4Y доступна линейка NVIDIA под любые задачи: - RTX 4090 и 5090 — для рендера, моушна и инференса небольших моделей; - A100 (40/80 GB) и H100 (80 GB) — для обучения и инференса LLM; - RTX 6000 Blackwell — для нагрузок следующего поколения. CUDA, PyTorch и TensorFlow уже стоят, удалённый доступ — через RDP, Parsec, NICE DCV. ЦОД уровня Tier III в Москве, Стамбуле и Новосибирске, почасовой биллинг в рублях, инфраструктура соответствует ФЗ-152. Новым клиентам — скидка 20% на GPU NVIDIA, 30 дней бесплатного доступа юридическим лицам. Попробовать #реклама 16+ cloud4y.ru О рекламодателе

🐱 GitHub покидают разрабы и опенсорс проекты Разработчик Митчелл Хашимото, создатель популярного эмулятора терминала Ghostty, переносит проект из-за проблем со стабильностью платформы.

«Я пользователь GitHub под номером 1299, присоединился в феврале 2008 года. Я заходил на GitHub почти каждый день в течение более 18 лет. Для меня никогда не было вопроса, куда размещать свои проекты: всегда GitHub. Мне очень грустно это говорить, но пришло время уходить», — пишет он.

✖️ xCode Journal

⚡️Я долго собирал IT-каналы вручную. Добавлял, удалял, снова искал. В итоге понял одно: проблема не в каналах. Проблема в том, что хорошие раскиданы, а плохие занимают место. Сделал IT Base - папку где только то, что реально читаю сам. Разработка, продукт, стартапы, tech-карьера. Одно касание и ты внутри. 👉🏻 Забирай

Random Forest vs Gradient Boosting — реальное сравнение Самый частый вопрос в табличных данных: что выбрать — Random Forest или Gradient Boosting?

Ответ, который никто не любит: зависит от задачи.

Но давай разберёмся по-честному, без мифов. Что такое Random Forest Это ансамбль деревьев, где: 👉 каждое дерево обучается независимо 👉 используются случайные подвыборки данных и фич

Идея: уменьшить variance за счёт усреднения.

Что такое Gradient Boosting Это ансамбль деревьев, где: 👉 каждое следующее дерево исправляет ошибки предыдущего 👉 обучение идёт последовательно

Идея: минимизировать ошибку шаг за шагом.

Главное отличие 👉 Random Forest → деревья независимы 👉 Gradient Boosting → деревья зависят друг от друга 👉 RF = параллель 👉 GB = последовательность Качество модели В большинстве задач: 👉 Gradient Boosting выигрывает Почему: 👉 лучше улавливает сложные зависимости 👉 оптимизирует ошибку напрямую Поэтому: 👉 XGBoost 👉 LightGBM 👉 CatBoost

Стали стандартом индустрии.

Переобучение Random Forest: 👉 устойчив к переобучению 👉 работает «из коробки» Gradient Boosting: 👉 легко переобучается 👉 требует настройки

GB мощнее, но опаснее.

Скорость Обучение: 👉 RF → быстрее и параллелится 👉 GB → медленнее (последовательность) Инференс: 👉 часто сопоставим Чувствительность к данным Random Forest: 👉 менее чувствителен к шуму 👉 проще в использовании Gradient Boosting: 👉 чувствителен к: 👉 шуму 👉 выбросам 👉 плохим фичам

Зато раскрывает хороший feature engineering.

Когда выбирать Random Forest 👉 нужен быстрый baseline 👉 мало времени на тюнинг 👉 данные шумные 👉 нужна стабильность

«Запустил и работает».

Когда выбирать Gradient Boosting 👉 нужна максимальная точность 👉 есть время на тюнинг 👉 данные относительно чистые 👉 важен результат

«Выжать максимум».

Главный инсайт

Random Forest — надёжный середняк. Gradient Boosting — инструмент для победы.

В одном предложении

Хочешь быстро и стабильно → Random Forest. Хочешь максимум качества → Gradient Boosting.

Станьте специалистом по Data Science высокого уровня на программе от ФКН НИУ ВШЭ Хотите не просто теоретически разбираться в устройстве нейросетях, а и уметь создавать их самостоятельно? Центр непрерывного образования ФКН НИУ ВШЭ запускает полный цикл обучения: от нуля до профессионального уровня. Профессиональная переподготовка «Специалист по Data Science»: 🟣Первая программа профессиональной переподготовки, получившая аккредитацию Альянса в сфере искусственного интеллекта.  🟣Вы пройдете весь путь: от высшей математики и программирования до нейросетей и работы с большими данными. Программа включает курсы по ключевым дисциплинам: 🟣Математика для анализа данных 🟣Алгоритмы и структуры данных 🟣Python для автоматизации 🟣Прикладная статистика для машинного обучения 🟣Машинное и глубинное обучение По окончании обучения вы получите диплом о профессиональной переподготовке от НИУ ВШЭ. Старт: 19 мая. Подробнее о программе 📍

😁 Они просто обеспечивают себе рабочие места 💥 xCode Journal

🤔Как создать автономного ИИ-агента для анализа трендов и поиска точек роста? 📅6 мая в 20:00 приглашаем на открытый вебинар курса «Разработка ИИ-агентов» с Артёмом Ревой. На занятии разберём, как с помощью LangGraph выстраивать сценарий работы агента с несколькими этапами анализа, подключать протокол взаимодействия моделей (MCP) в среде разработки Cursor и расширять возможности интеллектуального помощника. Покажем, как собрать агента для работы с Google Trends: находить аномалии, сравнивать запросы и выявлять перспективные темы. Вы узнаете, как превращать сырые данные в понятные рекомендации и использовать их для выбора направлений с высоким потенциалом роста. 💡Участие бесплатное — регистрируйтесь: https://vk.cc/cXdK5S Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvE1tfh

👀 Нашли быстрый единый вход во все LLM сразу — GoModel Этот сервис на Go даёт OpenAI-совместимый API поверх всего зоопарка: от OpenAI и Claude до Groq и Ollama. По сути это уже API-шлюз для LLM, как nginx когда-то для веба. Главный кайф — двухслойный кэш ✖️ xCode Journal

Большие данные требуют порядка, а платформа — инструментов, которые этот порядок поддерживают. Такой вывод можно сделать после митапа YTsaurus, посвященного трехлетию выхода платформы в опенсорс. Максим Бабенко — руководитель команды, преподаватель ШАДа и ВШЭ, кандидат физико-математических наук — рассказал о развитии платформы и её возможностях для ML. В Яндексе YTsaurus активно используется как основная инфраструктура для запуска GPU-вычислений. Все обучение моделей и batch-инференс делается при помощи YTsaurus. Команда активно развивает платформу, появились разные вспомогательные инструменты и микросервисы, за последний год вышло много обновлений.

🤩 Claude Code можно юзать бесплатно На GitHub появился прокси, который подменяет API и гоняет запросы через бесплатные или локальные модели. Запросы перенаправляются к NVIDIA NIM (~40 запросов в минуту бесплатно), OpenRouter, где более 100 моделей, а также через LM Studio или llama.cpp. Весь остальной функционал на месте — агентский режим, работа с файлами и другие фичи будут доступны. ✖️ xCode Journal

Роскошный максимум: получить приглашение в команду SberAds за один день! 😉 Сделать это можно на One Day Offer* для Data Analyst**, который пройдёт уже 25 апреля. Сбер ждёт специалистов, которые готовы: ✔️ создавать и улучшать модели для real-time аукционов ✔️ трансформировать SberAds — вывести на пик эффективности, качества и релевантности рекламы ✔️ стать частью команды из 8000+ коллег (это вау! 🤩) Занимай место в проекте мечты! * One Day Offer — предложение о работе за один день. ** Data Analyst — аналитик данных.

😁 Даёшь опенсорс 💥 xCode Journal