Data Science | Machinelearning [ru]

Галлюцинации или когда ИИ придумывает фальшивые библиотеки и запускает опасные атаки 🤔 Совсем недавно в мире опенсорсных библиотек произошло нечто странное — ИИ стал создавать выдуманные пакеты. Чат-боты генерируют несуществующие библиотеки и предлагают программистам их использовать. Одним из таких примеров стало создание несуществующего сервиса для генерации нот на основе текстовых файлов, который потом был воплощён разработчиком. Самое страшное, что это становятся настоящей угрозой для безопасности.

При использовании LLM (Large Language Models) для поиска опенсорсных библиотек, часто встречаются галлюцинации, когда ИИ генерирует библиотеки, которых на самом деле не существует. Злоумышленники уже начали использовать эти ошибки в своих целях, создавая вредоносные библиотеки. Это явление получило название slopsquatting и представляет собой создание фальшивых пакетов с целью кражи данных или внедрения вредоносного кода через цепочку поставок (supply chain). Внедрение таких фальшивых пакетов в код может привести к серьёзным последствиям. Когда программисты скачивают эти «несуществующие» библиотеки, они автоматически запускают опасный код, который может нарушить работу системы или даже украсть важные данные. Тесты показали: из всех предложенных библиотек 19,7% оказались фиктивными. Это вызывает серьёзные опасения, поскольку с каждым годом количество таких галлюцинаций растёт. Уровень ошибок у новых моделей ИИ на Python и JavaScript увеличился на 10% по сравнению с предыдущими версиями, что означает рост числа ложных рекомендаций. Защита от таких атак. Исследователи предлагают несколько методов защиты, таких как RAG (retrieval-augmented generation) и файнтюнинг (настройка моделей для более точных ответов). Эти методы помогли снизить уровень галлюцинаций на 83%, но в то же время повлияли на качество кода, что требует дополнительных доработок.

Если ваша система работает с нейросетями для поиска библиотек, важно понимать риски, связанные с неверными рекомендациями. Чем более мощная модель, тем выше шанс получить вымышленную библиотеку. И хотя защита существует, как вы думаете, проблема останется актуальной? Data Science

Оживи робота своим алгоритмом и поборись за призовой фонд в 10 250 000 рублей на True Tech Champ 2025. True Tech Champ 2025 — это третий всероссийский чемпионат по программированию от МТС с онлайн-этапами отбора и грандиозным шоу-финалом в Москве. Тебя ждут два трека — выбирай: I. Алгоритмический [призовой фонд 2 750 000 рублей]. Если классический олимпиадный формат — твоя стихия, этот трек для тебя. Блесни математическими навыками, покажи скилы в работе со структурами данных и написании алгоритмов — и окажись выше соперников в турнирной таблице. II. Программирование роботов [призовой фонд 7 500 000 рублей]. Запрограммируй робота на скоростное прохождение лабиринта в симуляторе и пройди в финал. На финале участники встретятся офлайн и сразятся на четырех уровнях с полосой препятствий, вспышками света, лазерами и другими препятствиями. Трек будет интересен начинающим и опытным разработчикам: С++, Go, Python, JS, Java, C# и не только. Подробности на сайте. Регистрация открыта до 20 октября.

ArcMemo: ИИ, который не забывает важное! В отличие от традиционных моделей, которые теряют нить рассуждений между запросами, ArcMemo представляет собой инновационную систему памяти для LLM (Large Language Models), позволяя моделям сохранять и повторно использовать ключевые концепции для решения задач 😊

Как работает ArcMemo? В обычных моделях длинные цепочки рассуждений исчезают после каждого запроса, что приводит к потере полезных паттернов и концепций. Вот что предлагает ArcMemo: • Сохранение концепций: ArcMemo позволяет сохранять абстрактные модули как концепции, представленные на естественном языке или в виде параметрических мини-функций. • Типы концепций. Открытые — описание ситуации и подсказка. Программируемые — псевдокод и функции с параметрами. • Процесс работы: после решения задачи она обобщается в набор таких концепций. Для новой задачи модель выбирает релевантные концепции и комбинирует их для решения. • Обновление памяти: с каждым тестом модель получает обратную связь, что позволяет расширять и актуализировать память. Система ArcMemo продемонстрировала +7.5% улучшения по сравнению с базовой моделью на бенчмарке ARC-AGI.

Модульная память в виде концепций значительно улучшает переносимость знаний и делает решения более стабильными, позволяя модели учиться и адаптироваться к новым задачам, не забывая важное. А вы что думаете? Интересно будет почитать ваше мнение 🐹 Data Science

Демис Хассабис о будущем ИИ: «Глупо сравнивать их с PhD» В интервью на All-In Summit генеральный директор Google DeepMind, Демис Хассабис, поделился важными размышлениями о текущем состоянии искусственного интеллекта. Он резко осудил сравнением современных ИИ-систем с «интеллектом уровня PhD», назвав такие утверждения бессмысленными. По словам Хассабиса, текущие модели ИИ могут производить ответы на уровне аспиранта, но все же не справляются с простыми задачами, как, например, базовая школьная математика.

Хассабис пояснил, что современные ИИ обладают так называемым «рваным интеллектом». Эти системы могут блестяще выполнять узкоспециализированные задачи, но в той же мере терпят фиаско, если задача выходит за пределы их узкой специализации. Например, в математике, в отличие от человека, модель ИИ может допустить элементарные ошибки. Что такое AGI? На вопрос о настоящем искусственном общем интеллекте (AGI) Хассабис ответил, что до его появления остаётся ещё 5–10 лет. Он подчеркнул, что AGI должен быть способен делать логичные выводы и не совершать таких базовых ошибок. А чтобы достичь этого, необходимо совершить несколько крупных прорывов в области постоянного обучения и обновления знаний. Мировые модели и будущее ИИ. В DeepMind делают ставку на world models — модели, которые обучаются на видео и симуляциях для предсказания динамики окружающей среды. Эти модели должны стать основой для виртуальных агентов и роботов, которые смогут действовать в реальном мире, а не просто генерировать тексты или отвечать на вопросы.

Кроме того, Хассабис отметил, что прогресс в достижении AGI нужно измерять не одним числом или индексом, а набором задач и реальными приложениями. Уже сейчас, через компанию Isomorphic Labs, DeepMind использует ИИ для разработки новых лекарств и ускорения научных исследований. Как вы считаете, когда ИИ достигнет уровня AGI?

👍 — Через 5–10 лет, как сказал Хассабис 🤔 — Скорее всего, намного позже и достигнет ли

Data Science

Разработчики: пусть нейронка напишет ВЕСЬ проект Астрологи: 💥 xCode Journal

ИИ уже сам настраивает окружение и разворачивает приложения Открытые репозитории с кодом, моделями и датасетами предлагают массу готовых решений. Однако, чтобы заставить всё работать, разработчикам часто приходится вручную настраивать окружение, устанавливать зависимости, скачивать нужные файлы и правильно настроить параметры. Но теперь есть решение, которое меняет подход.

EnvX — это не просто инструмент, а настоящий ассистент для разработчиков, который использует возможности больших языковых моделей (LLM) для автоматизации многих задач. Он помогает автоматизировать не только подготовку окружения, но и взаимодействие между разными репозиториями, обеспечивая их «умную» кооперацию через стандартный интерфейс. Агент понимает README файлы, автоматически настраивает все необходимые компоненты и выполняет функции, руководствуясь природными инструкциями, без необходимости переписывать код. Как это работает? Всё делится на три ключевых фазы. Первая — подготовка рабочего окружения. EnvX автоматически извлекает все необходимые шаги из документации и туториалов, собирает их в TODO-план и может выполнить их в нужной последовательности, при этом откатывая изменения, если что-то пошло не так. Это позволяет существенно упростить настройку и проверку окружения. Вторая фаза — агентная автоматизация. Агент осваивает базовые DevOps-инструменты и понимает, как взаимодействовать с конкретным репозиторием. Он находит нужные функции и вызывает их с корректными параметрами, объясняя, что именно происходит на каждом шаге. Важно, что это всё происходит прозрачно и с возможностью повторить шаги при необходимости. Третья фаза — взаимодействие агентов. Благодаря стандартизированному интерфейсу (A2A) агенты могут обмениваться информацией и работать вместе, решая задачи, которые требуют кооперации между различными репозиториями. Это позволяет создать действительно эффективную мультиагентную систему, где все элементы работают как единое целое. В основе работы EnvX лежат несколько важных технологий, включая загрузку артефактов, управление зависимостями, чтение и запись файлов, а также поддержку множества популярных инструментов. Всё это даёт возможность работать с репозиториями в любом контексте, независимо от их специфики. В испытаниях на репозиториях с различными типами задач (от обработки изображений до работы с текстами и видео) EnvX показал лучшие результаты в области исполнимости и качества работы. В сравнении с другими решениями, такими как OpenHands и Aider, система на основе EnvX продемонстрировала заметные улучшения по нескольким меткам, включая процент успешных завершённых задач (ECR) и качество выполнения задач (TPR).

Data Science

Qwen3-Next: Новая модель от Alibaba — мощь, цена и скорость в одном флаконе 🍒 Alibaba представила новое поколение своих языковых моделей — Qwen3-Next, которое обещает сочетание мощности крупных моделей с ценой и скоростью средних. В линейке доступны три версии:

— Base: для исследований и дообучения — Instruct: основная версия для приложений и общения — Thinking: для задач, требующих пошагового рассуждения, например, в математике или логике Что нового в Qwen3-Next? Qwen3-Next использует уникальную архитектуру mixture-of-experts: из 80 миллиардов параметров модель задействует лишь 3 миллиарда, выбирая «нужных специалистов» под задачу. Это позволяет значительно ускорить работу без потери качества. Кроме того, модель поддерживает работу с очень длинными документами — до 262 тысяч токенов «из коробки» и до 1 миллиона токенов в специальном режиме. По заявлению разработчиков, обучение модели обходится в 10 раз дешевле, чем у предыдущей версии Qwen3-32B, а её пропускная способность на длинных контекстах увеличена более чем в 10 раз. • Уровень производительности сопоставим с Gemini 2.5 Flash и Qwen3-235B, но при этом запуск требует меньших ресурсов • Открытая лицензия Apache-2.0, доступ через Hugging Face

Подходит для работы с движками SGLang и vLLM, поддерживающими как длинный контекст, так и ускоренные режимы генерации. Как вам такие решения от китайцев? 😮‍💨 Data Science

Как подготовить качественные данные для LLM 👌 Когда речь идет о внедрении больших языковых моделей (LLM) в бизнес-процессы, от ботов техподдержки до HR-ассистентов, ключевым моментом становится качественная подготовка данных. И если объём данных важен, то качество играет решающую роль: хорошие данные снижают ошибки и помогают моделям работать точнее. В этом посте поделимся инструментами, которые упростят обработку и нормализацию ваших данных.

1. dlt — авто-создание датасетов для различных источников данных dlt — это Python-библиотека с открытым исходным кодом, которая позволяет генерировать датасеты из самых разных источников: SQL, векторные хранилища, локальные БД и многое другое. dlt не только помогает преобразовать данные, но и поддерживает автоматическую миграцию схем, инкрементальную загрузку и мониторинг. Это идеальное решение для быстрого формирования и нормализации больших объемов данных. 2. Databonsai — оптимизация данных с помощью LLM Databonsai помогает очищать и разметить данные с использованием LLM. Библиотека позволяет категоризировать неструктурированные данные и даже обрабатывать их пакетами для экономии токенов. В дополнение, Databonsai поддерживает трансформацию данных, создавая улучшенные шаблоны вывода для структурированных результатов. Это идеальный инструмент для тех, кто работает с большим количеством неструктурированных данных. 3. Lilac — проверка и кластеризация неструктурированных данных Lilac был создан для обработки неструктурированных данных перед обучением LLM. Этот инструмент помогает фильтровать, кластеризовать и аннотировать данные, а также отслеживать изменения в разных версиях датасетов. Lilac особенно полезен для обработки текстов и изображений, а его интеграция с Databricks позволяет более эффективно работать с большими данными. Это решение помогает устранить ошибки в данных до того, как они попадут в модель. 4. Oxen — система контроля версий для больших данных Oxen — это система для контроля версий больших датасетов, таких как CSV-файлы с миллионами строк. В отличие от стандартных инструментов, таких как Git LFS, Oxen оптимизирован для работы с крупными данными. Он имеет интерфейс командной строки и библиотеки для Python и Rust, а также интеграцию с HTTP. Это идеальный выбор для разработчиков, работающих с большими объемами данных и нуждающихся в высокой скорости.

Каждый из этих инструментов решает специфические задачи по обработке данных, которые необходимы для успешного внедрения LLM в продакшн. Работали с подобными инструментами в своих проектах? Data Science

Разбираемся, что «под капотом» у дата-платформ SmartData — это конференция не про «ценность данных для бизнеса». Это площадка, где обсуждают, как устроены реальные системы. Программа конференции охватывает все стороны работы с данными — от Analytical до Data и ML Engineering, Data Governance и Data Quality, от старых добрых Airflow и Hadoop до Bleeding Edge «в лице» StarRocks и DataFusion Comet. Станьте частью профессионального сообщества 5–6 октября в Санкт-Петербурге. С промокодом YA10 персональные билеты дешевле. Узнать больше #реклама smartdataconf.ru О рекламодателе

Разработчики: «У нас нет выгорания» Разработчики после рабочего дня: 💥 xCode Journal

Бесплатный вебинар: LLM в реальных кейсах На бесплатном вебинаре от karpov.courses и AvitoTech "LLM и агентские системы: от хайпа до рабочих практик" мы покажем, как компании масштабируют многоагентные сервисы, что решает Model Context Protocol и как обеспечить безопасность AI-сервисов. Вместо теории - реальные кейсы Авито, где LLM автоматизируют поддержку и интегрируются в бизнес-процессы. Спикер Ярослав Хрипков - Data Scientist в области LLM в Авито. Участников ждут подарки: карьерный гайд и во время эфира узнаете промокод, который дает скидку на программы karpov.courses. Также вы узнаете, как строить карьеру и развиваться в ML с помощью karpov.courses. Начинаем 16 сентября в 19-00, регистрация бесплатна. Зарегистрироваться #реклама 16+ karpov.courses О рекламодателе

Подборка каналов IT от наших друзей: 🦥 Lazy_Programmer – Для ленивых 🎬 videos_it  — База видеоуроков по IT 🐧 Linux_Club — Для Linuxоидов 📔 BOOKS — Читать не перечитать 🇷🇺 our_computer — У нас как в СССР 🔐 LazySecurity — Канал по ИБ 🤩 iwannabeprogrammer  — IT-мемы 🔥 floppydisky — ITUMOR 📱 codebase_frontend — Красим кнопки ➡️ LazyDevOps —  Канал для дев и псов 🐈‍⬛️ LazyTester — Протестируй канал!

Режим разработчика в ChatGPT: новые возможности для продвинутых пользователей 💃 Теперь у ChatGPT есть режим разработчика, который открывает новые горизонты для пользователей подписки ChatGPT Plus и Pro. С его помощью можно подключать собственные MCP-коннекторы, а также интегрировать ИИ с внешними сервисами. Однако стоит отметить, что эта возможность доступна не всем сразу — OpenAI проводит поэтапную выкатку, и некоторым пользователям придется подождать.

Как активировать режим разработчика? — Перейдите в настройки — Выберите раздел коннекторы — Включите опцию дополнительные настройки и активируйте Режим разработчика Что дает Режим разработчика? • Включать Режим разработчика для отдельных чатов через иконку «+» • В меню «Добавить источники» указать адрес вашего MCP-сервера • Настроить дополнительные параметры для подключения и взаимодействия с внешними сервисами Что такое MCP? MCP (Model Context Protocol) — это протокол, который позволяет ИИ взаимодействовать с внешними системами. Например, можно подключить ChatGPT к корпоративным базам данных или интегрировать с системами тикетов вроде Jira, если настроены соответствующие разрешения. Ранее в ChatGPT поддерживались только MCP, одобренные OpenAI. С новым режимом разработчика пользователи и разработчики смогут подключать любые MCP — но при этом важно помнить о безопасности. Подключая сторонние сервисы, вы берете на себя ответственность за безопасность данных и интеграций.

Режим разработчика — это мощный инструмент, которым нужно интегрировать ИИ с различными системами и сервисами. Если вы работаете с данными или нуждаетесь в кастомных подключениях, этот режим откроет перед вами новые возможности 🐹 Data Science

Новый подход в обучении ИИ: Memento — агенты, которые учатся на опыте Учёные из Университетского колледжа Лондона (UCL) и лаборатории Huawei Noah’s Ark разработали революционный метод обучения ИИ-агентов. Вместо традиционного дообучения модели, они предлагают использовать систему памяти, которая автоматически обновляется по мере накопления опыта. Это позволяет агентам адаптироваться в реальном времени, решая сложные задачи без больших вычислительных затрат 🤨

Метод, получивший название Memento, использует Memory-augmented MDP — концепцию, где ИИ «вспоминает» решения из прошлого, чтобы справляться с новыми задачами. Такой подход избавляет от необходимости обновлять параметры модели, улучшая эффективность и масштабируемость. Как это работает? Memento состоит из трёх компонентов: • Планировщик, который анализирует задачу и обращается к памяти • Исполнитель, решающий подзадачи • Банк случаев, где сохраняются решения, пригодные для использования в будущем Этот метод не только решает текущие задачи, но и делает систему ИИ более гибкой и адаптивной к изменениям.

Для компаний Memento открывает путь к созданию универсальных ИИ-агентов, которые постоянно учатся и развиваются без необходимости дорогого дообучения, при этом оставаясь интегрируемыми с корпоративными системами. Как вы думаете, может ли такая система полностью заменить традиционные методы обучения ИИ в бизнесе? Data Science

AI R&D Day от Сбера На конференции эксперты исследовательских команд Сбера поделятся актуальными разработками в ML, LLM, TTS, CV и других областях AI-разработки. Пообщайтесь с разработчиками Kandinsky, GigaCode и других AI-продуктов. 📍 Офлайн в Москве — с живыми дискуссиями и афтерпати 🌐 Онлайн на сайте конференции 📆 24 сентября, 11:00 (МСК, GMT+3) Главные темы — LLM: от обучения размышлять до создания copilot. — Бенчмарки для оценки способностей моделей к программированию. — Доведение AI-разработок до продакшена. — Мультимодальность и CV: генерация изображений, распознавание видео. — AI в нестандартных сферах от спорта до расшифровки манускриптов. — Синтез речи, генеративная музыка. Смотрите полную программу на сайте В программе также панельная дискуссия о нейросетях будущего с Сергеем Марковым — директором по развитию технологий искусственного интеллекта. Подробности и бесплатная регистрация — на сайте AI R&D Day. Реклама. ПАО Сбербанк. ИНН 7707083893

🤩 Нашли визуализацию, в которой можно наглядно увидеть работу LLM Можно не просто почитать про слои моделей, а буквально пощупать их, покрутить со всех сторон, посмотреть как работают веса и матричные операции. На выбор есть внутрянка GPT-2, nanoGPT, GPT-2 XL и GPT-3. ✖️ xCode Journal

Будущее джунов в эпоху ИИ: угроза или шанс? В мире технологий часто возникает вопрос: могут ли ИИ и автоматизация полностью заменить начинающих разработчиков? В статье утверждают, что это невозможно и даже опасно. Именно джуны — будущие тимлиды и лидеры команд, и их роль в индустрии по-прежнему крайне важна. Однако чтобы оставаться востребованными, начинающим разработчикам предстоит освоить «новую версию» своей профессии и научиться эффективно работать с ИИ 😂

Сегодня мы видим, как сокращаются команды, увольняют сотрудников, и компании активно утверждают, что ИИ повысит продуктивность. Но кто будет управлять командами разработки в будущем, если исключить джунов из процесса обучения? Джуны играют ключевую роль в подготовке нового поколения инженеров, и без их участия в обучении мы рискуем потерять тех, кто впоследствии станет лидерами. Да, ИИ изменяет правила игры, но он не может заменить начальные позиции в команде, которые дают шанс развиваться и расти. Современные джуны должны научиться работать с ИИ, адаптируя его возможности под реальные задачи, а не полагаться на него как на замену человеческого труда. Для этого джунам стоит не только овладеть новыми техническими навыками, но и развивать коммуникацию и способность работать с различными стейкхолдерами. Самый важный навык на пути к успеху — это способность к обучению и адаптации в условиях изменений, а ИИ может стать отличным помощником на этом пути, если научиться правильно его использовать. Инструменты ИИ, такие как агентные IDE и автодополнение, помогают ускорить рутинные задачи, но ключевым остаётся умение понимать, где ИИ работает лучше, а где нужен человеческий подход. Джунам нужно освоить этот баланс, чтобы не только эффективно работать с ИИ, но и стать полноценными участниками команды, готовыми к лидерству в будущем.

В будущем роль джуна не исчезнет, но изменится. Те, кто не боится принятия новых технологий и адаптации, смогут пройти этот путь и стать лидерами, которые не просто пишут код, но и ведут команды, разрабатывают стратегии и принимают важные решения. Что думаете? 🔥— Нет, это лишь инструмент 👎— Да, ИИ возьмёт на себя всё Data Science

big tech night — это «ночь музеев» в мире IT, где Яндекс, Сбер, X5, Т-Банк и Lamoda впервые приглашают за кулисы. Формат, придуманный в Яндексе, для тех, кто уже в IT или только стремится туда попасть. Здесь можно увидеть, как создаются технологии, меняющие окружающую среду, познакомиться с коллегами, обменяться опытом, задать неудобные вопросы и почувствовать себя частью комьюнити. Вас ждут доклады, иммерсивные экскурсии и атмосфера IT-андеграунда. А если вы не в Москве, подключайтесь к онлайн-студии с двумя потоками — от серьезных дискуссий для гиков до лампового ночного шоу с историями из жизни. Когда: 12 сентября. Где: Москва или онлайн. Регистрация - здесь.

OpenAI ускоряет «сжигание» денег: прогноз расходов вырос до $115 млрд Reuters сообщает, что OpenAI пересмотрела свои финансовые ожидания. До конца 2029 года компания потратит около $115 млрд — это на $80 млрд больше, чем прогнозировалось всего полгода назад.

Где горят деньги? По новым расчетам, в 2025 году расходы превысят $8 млрд, а уже к 2028-му достигнут $45 млрд. Для сравнения: в старом прогнозе на этот год фигурировала сумма всего $11 млрд. Львиная доля пойдет на обучение моделей ($9 млрд в 2025-м и $19 млрд в 2026-м), а также на компенсации сотрудникам акциями — их объем в прогнозе вырос на $20 млрд. А как с доходами? Только ChatGPT в 2025-м должен принести почти $10 млрд — на $2 млрд выше прежних ожиданий. К 2030-му выручка чатбота оценивается уже в $90 млрд. Общая выручка компании к концу десятилетия должна достичь $200 млрд. Главная ставка — монетизация бесплатной аудитории через подписки и рекламу: ожидается около $110 млрд допдохода за 2026–2030 годы. При этом OpenAI планирует увеличить средний доход на пользователя с $2 до $15 и довести число еженедельных активных пользователей до 2 млрд.

Чем больше OpenAI тратит, тем выше поднимает планку выручки. Но первые реальные прибыли компания ожидает только ближе к 2029–2030 годам 💻 Data Science

Статья от инженера Google «Agentic Design Patterns» В статье одна из самых амбициозных работ в области проектирования интеллектуальных систем. Эта книга предоставляет исчерпывающее руководство по разработке систем, которые могут мыслить, принимать решения и взаимодействовать с внешней средой, основываясь на уникальных «агентных» паттернах 😐

В первой части книги внимание уделяется ключевым аспектам работы с агентами, таким как цепочка команд, маршрутизация и параллелизация — все это с реальными примерами кода. Важно подчеркнуть, что каждый из разделов направлен на то, чтобы разработчики могли не только понять теорию, но и интегрировать эти методы в свои проекты. Вторая часть книги посвящена памяти и адаптивности, а также ключевым протоколам взаимодействия между агентами. В процессе изучения материалов разработчики смогут научиться строить модели, которые способны не только решать поставленные задачи, но и улучшать свою работу на основе предыдущего опыта. Также стоит отметить, что книга включает в себя полезные приложения: от углубленных техник подсказок до подробного описания внутреннего устройства агентов, что позволит читателям получить полное представление о создании эффективных и безопасных интеллектуальных систем.

Что вы думаете о применении таких систем в реальных проектах? 👍 — Могут изменить подход к разработке 👎 — Технология ещё не готова Data Science