Data Science | Machinelearning [ru]

ИИ уже сам настраивает окружение и разворачивает приложения Открытые репозитории с кодом, моделями и датасетами предлагают массу готовых решений. Однако, чтобы заставить всё работать, разработчикам часто приходится вручную настраивать окружение, устанавливать зависимости, скачивать нужные файлы и правильно настроить параметры. Но теперь есть решение, которое меняет подход.

EnvX — это не просто инструмент, а настоящий ассистент для разработчиков, который использует возможности больших языковых моделей (LLM) для автоматизации многих задач. Он помогает автоматизировать не только подготовку окружения, но и взаимодействие между разными репозиториями, обеспечивая их «умную» кооперацию через стандартный интерфейс. Агент понимает README файлы, автоматически настраивает все необходимые компоненты и выполняет функции, руководствуясь природными инструкциями, без необходимости переписывать код. Как это работает? Всё делится на три ключевых фазы. Первая — подготовка рабочего окружения. EnvX автоматически извлекает все необходимые шаги из документации и туториалов, собирает их в TODO-план и может выполнить их в нужной последовательности, при этом откатывая изменения, если что-то пошло не так. Это позволяет существенно упростить настройку и проверку окружения. Вторая фаза — агентная автоматизация. Агент осваивает базовые DevOps-инструменты и понимает, как взаимодействовать с конкретным репозиторием. Он находит нужные функции и вызывает их с корректными параметрами, объясняя, что именно происходит на каждом шаге. Важно, что это всё происходит прозрачно и с возможностью повторить шаги при необходимости. Третья фаза — взаимодействие агентов. Благодаря стандартизированному интерфейсу (A2A) агенты могут обмениваться информацией и работать вместе, решая задачи, которые требуют кооперации между различными репозиториями. Это позволяет создать действительно эффективную мультиагентную систему, где все элементы работают как единое целое. В основе работы EnvX лежат несколько важных технологий, включая загрузку артефактов, управление зависимостями, чтение и запись файлов, а также поддержку множества популярных инструментов. Всё это даёт возможность работать с репозиториями в любом контексте, независимо от их специфики. В испытаниях на репозиториях с различными типами задач (от обработки изображений до работы с текстами и видео) EnvX показал лучшие результаты в области исполнимости и качества работы. В сравнении с другими решениями, такими как OpenHands и Aider, система на основе EnvX продемонстрировала заметные улучшения по нескольким меткам, включая процент успешных завершённых задач (ECR) и качество выполнения задач (TPR).

Data Science

Qwen3-Next: Новая модель от Alibaba — мощь, цена и скорость в одном флаконе 🍒 Alibaba представила новое поколение своих языковых моделей — Qwen3-Next, которое обещает сочетание мощности крупных моделей с ценой и скоростью средних. В линейке доступны три версии:

— Base: для исследований и дообучения — Instruct: основная версия для приложений и общения — Thinking: для задач, требующих пошагового рассуждения, например, в математике или логике Что нового в Qwen3-Next? Qwen3-Next использует уникальную архитектуру mixture-of-experts: из 80 миллиардов параметров модель задействует лишь 3 миллиарда, выбирая «нужных специалистов» под задачу. Это позволяет значительно ускорить работу без потери качества. Кроме того, модель поддерживает работу с очень длинными документами — до 262 тысяч токенов «из коробки» и до 1 миллиона токенов в специальном режиме. По заявлению разработчиков, обучение модели обходится в 10 раз дешевле, чем у предыдущей версии Qwen3-32B, а её пропускная способность на длинных контекстах увеличена более чем в 10 раз. • Уровень производительности сопоставим с Gemini 2.5 Flash и Qwen3-235B, но при этом запуск требует меньших ресурсов • Открытая лицензия Apache-2.0, доступ через Hugging Face

Подходит для работы с движками SGLang и vLLM, поддерживающими как длинный контекст, так и ускоренные режимы генерации. Как вам такие решения от китайцев? 😮‍💨 Data Science

Как подготовить качественные данные для LLM 👌 Когда речь идет о внедрении больших языковых моделей (LLM) в бизнес-процессы, от ботов техподдержки до HR-ассистентов, ключевым моментом становится качественная подготовка данных. И если объём данных важен, то качество играет решающую роль: хорошие данные снижают ошибки и помогают моделям работать точнее. В этом посте поделимся инструментами, которые упростят обработку и нормализацию ваших данных.

1. dlt — авто-создание датасетов для различных источников данных dlt — это Python-библиотека с открытым исходным кодом, которая позволяет генерировать датасеты из самых разных источников: SQL, векторные хранилища, локальные БД и многое другое. dlt не только помогает преобразовать данные, но и поддерживает автоматическую миграцию схем, инкрементальную загрузку и мониторинг. Это идеальное решение для быстрого формирования и нормализации больших объемов данных. 2. Databonsai — оптимизация данных с помощью LLM Databonsai помогает очищать и разметить данные с использованием LLM. Библиотека позволяет категоризировать неструктурированные данные и даже обрабатывать их пакетами для экономии токенов. В дополнение, Databonsai поддерживает трансформацию данных, создавая улучшенные шаблоны вывода для структурированных результатов. Это идеальный инструмент для тех, кто работает с большим количеством неструктурированных данных. 3. Lilac — проверка и кластеризация неструктурированных данных Lilac был создан для обработки неструктурированных данных перед обучением LLM. Этот инструмент помогает фильтровать, кластеризовать и аннотировать данные, а также отслеживать изменения в разных версиях датасетов. Lilac особенно полезен для обработки текстов и изображений, а его интеграция с Databricks позволяет более эффективно работать с большими данными. Это решение помогает устранить ошибки в данных до того, как они попадут в модель. 4. Oxen — система контроля версий для больших данных Oxen — это система для контроля версий больших датасетов, таких как CSV-файлы с миллионами строк. В отличие от стандартных инструментов, таких как Git LFS, Oxen оптимизирован для работы с крупными данными. Он имеет интерфейс командной строки и библиотеки для Python и Rust, а также интеграцию с HTTP. Это идеальный выбор для разработчиков, работающих с большими объемами данных и нуждающихся в высокой скорости.

Каждый из этих инструментов решает специфические задачи по обработке данных, которые необходимы для успешного внедрения LLM в продакшн. Работали с подобными инструментами в своих проектах? Data Science

Разбираемся, что «под капотом» у дата-платформ SmartData — это конференция не про «ценность данных для бизнеса». Это площадка, где обсуждают, как устроены реальные системы. Программа конференции охватывает все стороны работы с данными — от Analytical до Data и ML Engineering, Data Governance и Data Quality, от старых добрых Airflow и Hadoop до Bleeding Edge «в лице» StarRocks и DataFusion Comet. Станьте частью профессионального сообщества 5–6 октября в Санкт-Петербурге. С промокодом YA10 персональные билеты дешевле. Узнать больше #реклама smartdataconf.ru О рекламодателе

Разработчики: «У нас нет выгорания» Разработчики после рабочего дня: 💥 xCode Journal

Бесплатный вебинар: LLM в реальных кейсах На бесплатном вебинаре от karpov.courses и AvitoTech "LLM и агентские системы: от хайпа до рабочих практик" мы покажем, как компании масштабируют многоагентные сервисы, что решает Model Context Protocol и как обеспечить безопасность AI-сервисов. Вместо теории - реальные кейсы Авито, где LLM автоматизируют поддержку и интегрируются в бизнес-процессы. Спикер Ярослав Хрипков - Data Scientist в области LLM в Авито. Участников ждут подарки: карьерный гайд и во время эфира узнаете промокод, который дает скидку на программы karpov.courses. Также вы узнаете, как строить карьеру и развиваться в ML с помощью karpov.courses. Начинаем 16 сентября в 19-00, регистрация бесплатна. Зарегистрироваться #реклама 16+ karpov.courses О рекламодателе

Подборка каналов IT от наших друзей: 🦥 Lazy_Programmer – Для ленивых 🎬 videos_it  — База видеоуроков по IT 🐧 Linux_Club — Для Linuxоидов 📔 BOOKS — Читать не перечитать 🇷🇺 our_computer — У нас как в СССР 🔐 LazySecurity — Канал по ИБ 🤩 iwannabeprogrammer  — IT-мемы 🔥 floppydisky — ITUMOR 📱 codebase_frontend — Красим кнопки ➡️ LazyDevOps —  Канал для дев и псов 🐈‍⬛️ LazyTester — Протестируй канал!

Режим разработчика в ChatGPT: новые возможности для продвинутых пользователей 💃 Теперь у ChatGPT есть режим разработчика, который открывает новые горизонты для пользователей подписки ChatGPT Plus и Pro. С его помощью можно подключать собственные MCP-коннекторы, а также интегрировать ИИ с внешними сервисами. Однако стоит отметить, что эта возможность доступна не всем сразу — OpenAI проводит поэтапную выкатку, и некоторым пользователям придется подождать.

Как активировать режим разработчика? — Перейдите в настройки — Выберите раздел коннекторы — Включите опцию дополнительные настройки и активируйте Режим разработчика Что дает Режим разработчика? • Включать Режим разработчика для отдельных чатов через иконку «+» • В меню «Добавить источники» указать адрес вашего MCP-сервера • Настроить дополнительные параметры для подключения и взаимодействия с внешними сервисами Что такое MCP? MCP (Model Context Protocol) — это протокол, который позволяет ИИ взаимодействовать с внешними системами. Например, можно подключить ChatGPT к корпоративным базам данных или интегрировать с системами тикетов вроде Jira, если настроены соответствующие разрешения. Ранее в ChatGPT поддерживались только MCP, одобренные OpenAI. С новым режимом разработчика пользователи и разработчики смогут подключать любые MCP — но при этом важно помнить о безопасности. Подключая сторонние сервисы, вы берете на себя ответственность за безопасность данных и интеграций.

Режим разработчика — это мощный инструмент, которым нужно интегрировать ИИ с различными системами и сервисами. Если вы работаете с данными или нуждаетесь в кастомных подключениях, этот режим откроет перед вами новые возможности 🐹 Data Science

Новый подход в обучении ИИ: Memento — агенты, которые учатся на опыте Учёные из Университетского колледжа Лондона (UCL) и лаборатории Huawei Noah’s Ark разработали революционный метод обучения ИИ-агентов. Вместо традиционного дообучения модели, они предлагают использовать систему памяти, которая автоматически обновляется по мере накопления опыта. Это позволяет агентам адаптироваться в реальном времени, решая сложные задачи без больших вычислительных затрат 🤨

Метод, получивший название Memento, использует Memory-augmented MDP — концепцию, где ИИ «вспоминает» решения из прошлого, чтобы справляться с новыми задачами. Такой подход избавляет от необходимости обновлять параметры модели, улучшая эффективность и масштабируемость. Как это работает? Memento состоит из трёх компонентов: • Планировщик, который анализирует задачу и обращается к памяти • Исполнитель, решающий подзадачи • Банк случаев, где сохраняются решения, пригодные для использования в будущем Этот метод не только решает текущие задачи, но и делает систему ИИ более гибкой и адаптивной к изменениям.

Для компаний Memento открывает путь к созданию универсальных ИИ-агентов, которые постоянно учатся и развиваются без необходимости дорогого дообучения, при этом оставаясь интегрируемыми с корпоративными системами. Как вы думаете, может ли такая система полностью заменить традиционные методы обучения ИИ в бизнесе? Data Science

AI R&D Day от Сбера На конференции эксперты исследовательских команд Сбера поделятся актуальными разработками в ML, LLM, TTS, CV и других областях AI-разработки. Пообщайтесь с разработчиками Kandinsky, GigaCode и других AI-продуктов. 📍 Офлайн в Москве — с живыми дискуссиями и афтерпати 🌐 Онлайн на сайте конференции 📆 24 сентября, 11:00 (МСК, GMT+3) Главные темы — LLM: от обучения размышлять до создания copilot. — Бенчмарки для оценки способностей моделей к программированию. — Доведение AI-разработок до продакшена. — Мультимодальность и CV: генерация изображений, распознавание видео. — AI в нестандартных сферах от спорта до расшифровки манускриптов. — Синтез речи, генеративная музыка. Смотрите полную программу на сайте В программе также панельная дискуссия о нейросетях будущего с Сергеем Марковым — директором по развитию технологий искусственного интеллекта. Подробности и бесплатная регистрация — на сайте AI R&D Day. Реклама. ПАО Сбербанк. ИНН 7707083893

🤩 Нашли визуализацию, в которой можно наглядно увидеть работу LLM Можно не просто почитать про слои моделей, а буквально пощупать их, покрутить со всех сторон, посмотреть как работают веса и матричные операции. На выбор есть внутрянка GPT-2, nanoGPT, GPT-2 XL и GPT-3. ✖️ xCode Journal

Будущее джунов в эпоху ИИ: угроза или шанс? В мире технологий часто возникает вопрос: могут ли ИИ и автоматизация полностью заменить начинающих разработчиков? В статье утверждают, что это невозможно и даже опасно. Именно джуны — будущие тимлиды и лидеры команд, и их роль в индустрии по-прежнему крайне важна. Однако чтобы оставаться востребованными, начинающим разработчикам предстоит освоить «новую версию» своей профессии и научиться эффективно работать с ИИ 😂

Сегодня мы видим, как сокращаются команды, увольняют сотрудников, и компании активно утверждают, что ИИ повысит продуктивность. Но кто будет управлять командами разработки в будущем, если исключить джунов из процесса обучения? Джуны играют ключевую роль в подготовке нового поколения инженеров, и без их участия в обучении мы рискуем потерять тех, кто впоследствии станет лидерами. Да, ИИ изменяет правила игры, но он не может заменить начальные позиции в команде, которые дают шанс развиваться и расти. Современные джуны должны научиться работать с ИИ, адаптируя его возможности под реальные задачи, а не полагаться на него как на замену человеческого труда. Для этого джунам стоит не только овладеть новыми техническими навыками, но и развивать коммуникацию и способность работать с различными стейкхолдерами. Самый важный навык на пути к успеху — это способность к обучению и адаптации в условиях изменений, а ИИ может стать отличным помощником на этом пути, если научиться правильно его использовать. Инструменты ИИ, такие как агентные IDE и автодополнение, помогают ускорить рутинные задачи, но ключевым остаётся умение понимать, где ИИ работает лучше, а где нужен человеческий подход. Джунам нужно освоить этот баланс, чтобы не только эффективно работать с ИИ, но и стать полноценными участниками команды, готовыми к лидерству в будущем.

В будущем роль джуна не исчезнет, но изменится. Те, кто не боится принятия новых технологий и адаптации, смогут пройти этот путь и стать лидерами, которые не просто пишут код, но и ведут команды, разрабатывают стратегии и принимают важные решения. Что думаете? 🔥— Нет, это лишь инструмент 👎— Да, ИИ возьмёт на себя всё Data Science

big tech night — это «ночь музеев» в мире IT, где Яндекс, Сбер, X5, Т-Банк и Lamoda впервые приглашают за кулисы. Формат, придуманный в Яндексе, для тех, кто уже в IT или только стремится туда попасть. Здесь можно увидеть, как создаются технологии, меняющие окружающую среду, познакомиться с коллегами, обменяться опытом, задать неудобные вопросы и почувствовать себя частью комьюнити. Вас ждут доклады, иммерсивные экскурсии и атмосфера IT-андеграунда. А если вы не в Москве, подключайтесь к онлайн-студии с двумя потоками — от серьезных дискуссий для гиков до лампового ночного шоу с историями из жизни. Когда: 12 сентября. Где: Москва или онлайн. Регистрация - здесь.

OpenAI ускоряет «сжигание» денег: прогноз расходов вырос до $115 млрд Reuters сообщает, что OpenAI пересмотрела свои финансовые ожидания. До конца 2029 года компания потратит около $115 млрд — это на $80 млрд больше, чем прогнозировалось всего полгода назад.

Где горят деньги? По новым расчетам, в 2025 году расходы превысят $8 млрд, а уже к 2028-му достигнут $45 млрд. Для сравнения: в старом прогнозе на этот год фигурировала сумма всего $11 млрд. Львиная доля пойдет на обучение моделей ($9 млрд в 2025-м и $19 млрд в 2026-м), а также на компенсации сотрудникам акциями — их объем в прогнозе вырос на $20 млрд. А как с доходами? Только ChatGPT в 2025-м должен принести почти $10 млрд — на $2 млрд выше прежних ожиданий. К 2030-му выручка чатбота оценивается уже в $90 млрд. Общая выручка компании к концу десятилетия должна достичь $200 млрд. Главная ставка — монетизация бесплатной аудитории через подписки и рекламу: ожидается около $110 млрд допдохода за 2026–2030 годы. При этом OpenAI планирует увеличить средний доход на пользователя с $2 до $15 и довести число еженедельных активных пользователей до 2 млрд.

Чем больше OpenAI тратит, тем выше поднимает планку выручки. Но первые реальные прибыли компания ожидает только ближе к 2029–2030 годам 💻 Data Science

Статья от инженера Google «Agentic Design Patterns» В статье одна из самых амбициозных работ в области проектирования интеллектуальных систем. Эта книга предоставляет исчерпывающее руководство по разработке систем, которые могут мыслить, принимать решения и взаимодействовать с внешней средой, основываясь на уникальных «агентных» паттернах 😐

В первой части книги внимание уделяется ключевым аспектам работы с агентами, таким как цепочка команд, маршрутизация и параллелизация — все это с реальными примерами кода. Важно подчеркнуть, что каждый из разделов направлен на то, чтобы разработчики могли не только понять теорию, но и интегрировать эти методы в свои проекты. Вторая часть книги посвящена памяти и адаптивности, а также ключевым протоколам взаимодействия между агентами. В процессе изучения материалов разработчики смогут научиться строить модели, которые способны не только решать поставленные задачи, но и улучшать свою работу на основе предыдущего опыта. Также стоит отметить, что книга включает в себя полезные приложения: от углубленных техник подсказок до подробного описания внутреннего устройства агентов, что позволит читателям получить полное представление о создании эффективных и безопасных интеллектуальных систем.

Что вы думаете о применении таких систем в реальных проектах? 👍 — Могут изменить подход к разработке 👎 — Технология ещё не готова Data Science

⚙️ Open Datasets and Tools: An overview for Hugging Face В статье собраны недавние релизы крупных ML-датасетов разных типов: структурированные таблицы, временные ряды, аудио и геоданные. Среди них Yambda-5B от Яндекса, крупнейший музыкальный рекомендательный датасет с 4,79 млрд взаимодействий (прослушивания, лайки, дизлайки). В мировом ML-сообществе уже отметили его пользу для науки и индустрии. Эксперты считают, что такие датасеты значительно ускорят развитие рекомендательных систем. Читать…

ИИ против лишних зависимостей Раньше у разработчиков был один рефлекс: нужна функция — ищем библиотеку. Хоть простую валидацию, хоть мини-парсер. Вместе с решением приходили десятки транзитивных зависимостей, багфиксы и неожиданные апдейты.

Теперь с появлением рабочих моделей кода всё проще. Мы описываем задачу на человеческом языке, добавляем тесты — и получаем небольшой модуль без лишнего «жира». Такой кусочек кода легко читать, менять и проверять. Где ИИ уже заменяет OSS — Индикаторы и статистика: EMA, RSI, Z-score, корреляции окон — Узкие клиенты для работы с API биржи — Скелеты бэктестов или пайплайнов — Адаптеры и конвертеры форматов Где границы? ИИ отлично справляется с утилитарными задачами. Но криптография, протоколы с жёсткими SLA, движки БД и численные солверы остаются в зоне зрелого OSS — там нужна предсказуемость и годами проверенные решения.

ИИ не «убивает» open source, а просто сдвигает баланс. Узкие задачи проще генерировать под себя, а всё сложное и критичное — оставлять за проверенными библиотеками. Чем меньше зависимостей — тем ниже риски и проще поддержка 🍑 Сейчас все уже массово доверяют свой код ии. Норма или ещё рано? Data Science

Как собрать резюме-матчер за вечер на TypeScript и tRPC На Хабре вышла статья о том, как можно быстро собрать MVP-сервис для сравнения резюме и вакансий. Автор решил задачу на стыке NLP и ИИ: из PDF резюме и описания вакансии извлекаются ключевые навыки, а затем модель Gemini от Vertex AI выдаёт оценку совпадения.

— Почему tRPC: вместо REST или GraphQL используется TypeScript-first RPC-фреймворк. Он позволяет описывать API без схем, прямо функциями, а типы автоматически «протягиваются» на фронтенд. Итог — меньше бойлерплейта и меньше багов на ранних этапах. — Как работает пайплайн: резюме и вакансия загружаются в сервис, оттуда извлекается текст, ключевые слова выделяются с помощью простых NLP-приёмов (токенизация, поиск существительных и заглавных слов), а дальше результат прогоняется через Gemini, который возвращает JSON с оценкой совпадения, сильными сторонами и рекомендациями. Идея проста: зачем писать свой алгоритм сопоставления навыков, если можно отдать работу модели? Такой подход ускоряет прототипирование и отлично подходит для внутренних инструментов или быстрых демо.

В итоге получился рабочий инструмент, который не претендует на замену LinkedIn, но отлично показывает, как современные фреймворки и ИИ можно объединять в боевую связку 🍆 Data Science

Бесплатный вебинар: Старт в профессии «Аналитик данных» Многие думают, что чтобы перейти в IT, надо всё начинать с нуля. На деле - всё, что вы уже умеете, может стать вашей опорой в новой профессии. Особенно если вы пойдёте в аналитику данных. 10 сентября в 19-00 приходите на бесплатный вебинар от karpov.courses "Аналитик данных: всё, что нужно знать для старта в профессии". Вы разберётесь: - Зачем бизнесу аналитики и почему им хорошо платят - Какие инструменты и навыки нужны, чтобы войти в профессию в 2025 году - Как устроена реальная работа аналитика - не в теории, а на практике (включая A/B - тесты) Спикер - Анастасия Зеленова, тимлид аналитиков в Raiffeisen CIB. Участникам - карьерный гайд по Data Science и промокод на скидку 15% на курс "Аналитик данных с нуля". Регистрируйтесь! Зарегистрироваться #реклама 16+ karpov.courses О рекламодателе

ИИ против 15-летнего цикла: новые лекарства быстрее и дешевле Reuters опубликовал статью о том, что комбинация искусственного интеллекта и новых методов оценки безопасности (NAM) способна сократить сроки и стоимость разработки лекарств более чем вдвое уже в ближайшие 3–5 лет. Сейчас путь от идеи до таблетки занимает до 15 лет и обходится фарме примерно в $2 млрд.

Как это работает? ИИ быстро перебирает миллионы молекул, отбраковывает заведомо слабые варианты и подсказывает, какие стоит тестировать дальше. В ход идут базы знаний, данные экспериментов и измерений. Параллельно NAM заменяют часть классических испытаний: «органы-на-чипе», культуры клеток, цифровые модели. Результаты ближе к реальности, а количество опытов на животных уменьшается. Пример: компания Recursion вывела молекулу REC-1245 на клинические испытания всего за 18 месяцев вместо привычных 42. Предполагается, что препарат будет тормозить рост некоторых раковых опухолей. Что это значит? ИИ не отменяет долгих клинических фаз — пока на рынке нет ни одного реально одобренного «ИИ-препарата». Но сам процесс становится быстрее, прозрачнее и дешевле. Если прогнозы сбудутся, фармацевтика в ближайшие годы войдёт в новую эпоху.

А вы как думаете? 👍 — ИИ реально ускорит появление новых лекарств 👎 — В итоге всё упрётся в бюрократию и испытания Data Science