Data Science | Machinelearning [ru]

🦾 Модель OpenAI решила все 12 задач на финале ICPC 2025 Это абсолютный рекорд для ИИ-модели и лучший результат на Олимпиаде. Следующие в рейтинге идут наши ребята из СПБГУ — они решили 11 задач из 12. Также 1 место получила Gemini 2.5 DeepThink от Google, решившая 10 из 12 задач. ✖️ xCode Journal

Генерация баз данных теперь за пару секунд 🚶‍♂️ Нужна база данных, но нет времени и желания на долгое проектирование? Тогда Database Build — это то, что вам нужно! Что умеет Database Build?

— Мгновенная генерация базы данных: Просто напишите текстовое описание, и нейросеть преобразует его в полноценную структуру базы с таблицами, связями и диаграммами — Фейковые данные за секунды: Нужны тестовые данные? Создайте их прямо в сервисе — Экспорт в SQL или загрузка на сервер: Не нужно копировать и вставлять — сразу получите готовую базу в нужном формате или загрузите её на сервер — Бесплатно: Сервис доступен без платы — можно без риска протестировать

Database Build — идеальный инструмент для разработчиков, тестировщиков и всех, кто работает с базами данных. Ускорьте процесс разработки и создавайте базы без усилий. Data Science

Маршрут построен: в пятницу – на VK JT Meetup! Это неформальная встреча для ML-инженеров и Java-разработчиков от VK. О чём расскажут: • Какие вызовы возникают перед бэкендером в процессе создания B2B-продукта • Как строят единую инфраструктуру поисковой платформы А также поделятся пошаговым гайдом по выпуску RAG в прод Дальше гостей ждут два потока: нетворкинг-зона и групповое решение кейсов по ML и Java. Мероприятие пройдёт только офлайн — редкий шанс пообщаться с коллегами, задать вопросы экспертам и выиграть призы от VK. Регистрируйтесь! 📍 Нижний Новгород, только офлайн 📅 3 октября, сбор с 18:00 🎟 Вход по регистрации

Границы возможностей LLM 😮 Сегодня многие используют LLM (Large Language Models) для решения разных задач, от генерации текста до создания кода. Но для того, чтобы работать с ними эффективно, важно понимать их архитектуру и ограничения. Сегодня рассмотрим, как устроены эти модели и что стоит учитывать, чтобы максимально использовать их потенциал. Что лежит в основе LLM?

Большинство современных моделей, таких как GPT, Gemini или Grok, построены на архитектуре трансформеров. Они работают по принципу токенизации текста, который затем обрабатывается слоем внимания (attention layers). В результате модель прогнозирует следующие токены, создавая связный текст. Однако важно помнить, что все эти модели по сути — одинаковые, и отличаются они лишь параметрами и схемой обучения.

Ограничения моделей: текст как основа

Основное, что нужно учитывать при работе с LLM — это текст. Эти модели обучаются исключительно на текстовых данных и работают с ними. Видео, изображения и другие медиа — всё это в конечном счете преобразуется в текст. Даже если модель генерирует изображения или музыку, она всё равно действует через текстовые команды. Поэтому в ADSM (Agent Driven Software Management) ключевое значение имеет именно обработка текстов.

Архитектура LLM: что влияет на мощность?

Чем мощнее модель, тем больше нейронов в её слоях. Эти нейроны соединяются друг с другом, создавая сложные зависимости, которые модель использует для анализа текста. Однако чем больше нейронов и слоев, тем выше вычислительные затраты. С каждым новым слоем растет возможность для создания более точных и связных ответов, но также возрастает и нагрузка на систему.

Контекстное окно: как работает память модели?

Все модели имеют так называемое контекстное окно, в которое помещаются токены текущего диалога. Размер этого окна определяет, сколько информации модель может обработать за один раз. Например, GPT-4 может обрабатывать до 1 миллиона токенов, но важно учитывать, что большие окна требуют значительно больше вычислительных ресурсов.

Как работать с контекстом: расширение или сужение?

Если вы хотите получить стабильный результат, важно учитывать стратегию работы с контекстом. Например, сужение контекста помогает моделям генерировать более предсказуемые результаты. Это особенно важно для задач с четко определенными шаблонами, например, для генерации кода. Но если контекст слишком размытый, модель может начать «творить» и генерировать менее стабильные ответы.

Работа с LLM требует понимания архитектуры моделей и их ограничений. Чем чётче и связнее вы формулируете запрос, тем более стабильный и точный ответ получите. Важно учитывать контекст, балансировать между качеством и ресурсами, чтобы извлечь максимальную пользу из взаимодействия с моделью. Data Science

⚡ Временный доступ к папке «AI & TECH & IT» открыт! Вся полезная информация о заработке на ИИ и технологиях в одном месте: ✦ Специальный курс для системных аналитиков ✦ Создание вирусных ИИ-видео ✦ Главные IT-новости для вашего роста Подписывайтесь и прокачивайте свои навыки прямо сейчас с помощью папки «AI & TECH & IT»! ПОДПИСАТЬСЯ

OpenAI усиливает работу над робототехникой в гонке к AGI 😮 OpenAI продолжает активно развивать свою робототехническую инициативу, нанимая экспертов для разработки алгоритмов управления роботами, в том числе гуманоидными. Если раньше компания ограничивалась наймом просто робототехников, то теперь в списке вакансий можно найти более специализированные позиции, такие как: • Рисерчеры в области управления и обучения гуманоидов. • Инженеры, разрабатывающие симуляторы и сенсорные системы. • Механики, опытные в проектировании систем для массового производства (от 1 млн единиц). Эти вакансии подчеркивают амбиции OpenAI создать универсальную робототехнику, которая может сыграть ключевую роль на пути к AGI (искусственному общему интеллекту). Возвращение робототехнического отдела

До 2021 года робототехническая команда OpenAI находилась в состоянии паузы. Однако с декабря прошлого года компания начала восстанавливать свой отдел, сосредоточив усилия на создании более сложных и эффективных роботизированных систем. В последние месяцы к компании присоединились специалисты, занимавшиеся разработкой гуманоидных роботов и созданием benchmark’ов для оценки их возможностей.

Какие задачи стоят перед OpenAI?

Основная цель — создание таких моделей AI, которые смогут взаимодействовать с физическим миром. Например, исследователи OpenAI тренируют алгоритмы, которые могут «понимать» физическое окружение и выполнять задачи, что является важным шагом к созданию универсальных роботов.

Как OpenAI намерена достигнуть AGI?

Основной акцент сделан на универсальных роботах, которые могут работать в изменяющихся и непредсказуемых реальных условиях. Модели AI, которые разрабатываются сейчас, должны быть способны не только видеть, но и действовать с высокой точностью, управляя конечностями и манипуляторами.

Не исключено, что OpenAI начнёт разрабатывать собственных гуманоидов, используя сочетание высокотехнологичных компонентов и передовых алгоритмов обучения через симуляцию и телеоперацию. Data Science

🔥Прими участие в Хакатоне от ИТ–холдинга Т1 в Минске и поборись за призовой фонд 600 000 рублей! Когда: 14–17 октября Формат: онлайн + финал на площадке Участвуй, если ты: 🔹обучаешься на технической или ИТ–специальности; 🔹развиваешься в направлении разработки, аналитики, AI/ML, NLP или DevOps; 🔹сможешь быть в Минске 17 октября. Выбери свой кейс: ✴️FaaS система биллинга: платите ровно за то, что используете. Создай биллинговую систему для FaaS – точный расчёт с учётом времени, вызовов и памяти. ✴️Smart Support: поддержка нового поколения. Разработай ИИ-ассистента для службы поддержки с real-time подсказками из базы знаний. Почему стоит участвовать: 🔘Кейс в портфолио и полезная обратная связь от менторов Т1; 🔘Шанс проявить себя, чтобы начать карьеру в одной из крупнейших ИТ-компаний; 🔘Реальный опыт командной работы; 🔘Мерч и атмосфера сильного комьюнити — в Т1 более 5 000 джунов из 580+ вузов России и Беларуси. Регистрация открыта! ➡️ Успей до 12 октября по ссылке. #реклама О рекламодателе

Модель MobileLLM-R1 для решения reasoning задач MobileLLM-R1 — это новая модель, специально разработанная для выполнения reasoning задач, которая вмещает меньше 1 миллиард параметров и идеально подходит для работы на edge-устройствах. Несмотря на компактные размеры, эта модель демонстрирует выдающуюся эффективность и точность. Превосходная производительность

MobileLLM-R1 решает математические задачи почти в 5 раз точнее, чем Olmo-1.24B, и в два раза точнее, чем SmolLM2-1.7B, при этом её параметры намного меньше.

Высокая эффективность обучения

Эта модель обучалась на 4.2 триллионах токенов, что составляет лишь около 10% от объема данных, используемых для обучения Qwen3, но при этом демонстрирует сопоставимые или даже лучшие результаты на тестах по reasoning.

MobileLLM-R1 представляет собой серию эффективных моделей для reasoning задач с различной сложностью: Базовые модели:

• MobileLLM-R1-140M-base • MobileLLM-R1-360M-base • MobileLLM-R1-950M-base

Финальные модели:

• MobileLLM-R1-140M • MobileLLM-R1-360M • MobileLLM-R1-950M

Что делает её уникальной? MobileLLM-R1 не является универсальной моделью чата. Это специализированные модели, обученные для решения математических, программных (Python, C++) и научных задач. Она обходит модели с гораздо большим количеством параметров, таких как Olmo 1.24B, на задачах MATH и кодирования, устанавливая новый стандарт среди открытых моделей. MobileLLM-R1 обучалась с использованием передовых методов, включая distillation и оптимизацию через Adam-optimizer, что позволило достичь высокой производительности при минимальных объемах данных. Будущие модели могут быть ещё компактными и мощными, а что вы думаете? Будет интересно почитать. Data Science

Революция в код-ревью и автоматизации программирования 💃 OpenAI выпустила обновление GPT-5-Codex, который стал не просто усовершенствованной версией GPT-5, но и мощным инструментом для профессиональных разработчиков. Специально настроенный для агентного программирования, GPT-5-Codex решает сложные задачи разработки — от код-ревью до масштабных рефакторингов и автономного выполнения долгих задач.

— Новые возможности GPT для разработки GPT-5-Codex стал значительно более управляемым и точным в выполнении задач. Модель теперь не просто генерирует код по запросу, но и активно участвует в процессе отладки, тестирования и поиска критических ошибок в коде. Это особенно важно на стадии разработки, где даже малейшая ошибка может привести к серьёзным последствиям. Помогает находить баги ещё до релиза и минимизирует нагрузку на разработчиков, анализируя всю кодовую базу и зависимости. Поддерживает длительные задачи, например, масштабные рефакторинги, и может работать с проектами, включающими сотни файлов и тысячи строк кода. Этот инструмент оптимизирует взаимодействие с разработчиком, снижая затраты времени на многократные итерации. — Как Сodex улучшает рабочие процессы Теперь GPT интегрируется не только в облако и GitHub, но и в локальные среды, такие как IDE и Codex CLI. Разработчики могут работать как в облаке, так и локально, не теряя контекста и мгновенно переключаясь между различными платформами. Важным обновлением стала возможность работы с изображениями и визуальными элементами — теперь можно анализировать скриншоты и вайрфреймы для упрощения дизайна интерфейсов. — К тому же, Codex стал ещё более безопасным Новая версия включает расширенные меры защиты данных, минимизируя риски утечек и злоупотреблений.

Обновления в Codex поднимут качество код-ревью и взаимодействия с командой на новый уровень. GPT-5-Codex значительно упрощает процессы разработки и делает работу с кодом более интуитивно понятной и менее подверженной ошибкам. Что вы думаете о таких возможностях? Будете ли вы использовать GPT-5-Codex в своих проектах? Data Science

Революция в ускорении работы LLM 🗒 Google Research представили инновационный метод, который может значительно ускорить работу больших языковых моделей (LLM) и при этом сделать их дешевле. Этот подход называется Speculative Cascades. Чем он интересен и как работает?

Что такое Speculative Cascades? • Каскады моделей: Сначала задачу решает маленькая модель, которая быстро дает ответ. Если задача сложная, к процессу подключается большая модель. Так экономятся ресурсы, но иногда это приводит к потере качества. • Спекулятивная декодировка: Маленькая модель пытается угадать несколько слов вперед, а большая проверяет и подтверждает их. Это ускоряет процесс, но всё равно требует значительных вычислительных ресурсов. • Speculative Cascades: Это оптимизированная комбинация обоих методов. Маленькая модель иногда решает задачу сама, а в других случаях работает как ускоритель для большой модели. В итоге — больше скорости и меньше затрат, с сохранением качества. Преимущества нового подхода — Тесты на Gemma и T5 показали, что метод быстрее традиционной спекулятивной декодировки, но при этом дешевле и эффективнее каскадов. — Настройка баланса «скорость - качество» стала более удобной и гибкой. Метод дает возможность регулировать производительность, не снижая точности. — В задачах математических рассуждений новая методика показала заметный прирост скорости, сохраняя или даже улучшая качество.

С каждым днем LLM всё чаще используются в поисковых системах, чатах и ассистентах. Чтобы они действительно стали полезными, важно ускорить их работу и сделать дешевле. Speculative Cascades решают эту задачу, не теряя в качестве. Data Science

Галлюцинации или когда ИИ придумывает фальшивые библиотеки и запускает опасные атаки 🤔 Совсем недавно в мире опенсорсных библиотек произошло нечто странное — ИИ стал создавать выдуманные пакеты. Чат-боты генерируют несуществующие библиотеки и предлагают программистам их использовать. Одним из таких примеров стало создание несуществующего сервиса для генерации нот на основе текстовых файлов, который потом был воплощён разработчиком. Самое страшное, что это становятся настоящей угрозой для безопасности.

При использовании LLM (Large Language Models) для поиска опенсорсных библиотек, часто встречаются галлюцинации, когда ИИ генерирует библиотеки, которых на самом деле не существует. Злоумышленники уже начали использовать эти ошибки в своих целях, создавая вредоносные библиотеки. Это явление получило название slopsquatting и представляет собой создание фальшивых пакетов с целью кражи данных или внедрения вредоносного кода через цепочку поставок (supply chain). Внедрение таких фальшивых пакетов в код может привести к серьёзным последствиям. Когда программисты скачивают эти «несуществующие» библиотеки, они автоматически запускают опасный код, который может нарушить работу системы или даже украсть важные данные. Тесты показали: из всех предложенных библиотек 19,7% оказались фиктивными. Это вызывает серьёзные опасения, поскольку с каждым годом количество таких галлюцинаций растёт. Уровень ошибок у новых моделей ИИ на Python и JavaScript увеличился на 10% по сравнению с предыдущими версиями, что означает рост числа ложных рекомендаций. Защита от таких атак. Исследователи предлагают несколько методов защиты, таких как RAG (retrieval-augmented generation) и файнтюнинг (настройка моделей для более точных ответов). Эти методы помогли снизить уровень галлюцинаций на 83%, но в то же время повлияли на качество кода, что требует дополнительных доработок.

Если ваша система работает с нейросетями для поиска библиотек, важно понимать риски, связанные с неверными рекомендациями. Чем более мощная модель, тем выше шанс получить вымышленную библиотеку. И хотя защита существует, как вы думаете, проблема останется актуальной? Data Science

Оживи робота своим алгоритмом и поборись за призовой фонд в 10 250 000 рублей на True Tech Champ 2025. True Tech Champ 2025 — это третий всероссийский чемпионат по программированию от МТС с онлайн-этапами отбора и грандиозным шоу-финалом в Москве. Тебя ждут два трека — выбирай: I. Алгоритмический [призовой фонд 2 750 000 рублей]. Если классический олимпиадный формат — твоя стихия, этот трек для тебя. Блесни математическими навыками, покажи скилы в работе со структурами данных и написании алгоритмов — и окажись выше соперников в турнирной таблице. II. Программирование роботов [призовой фонд 7 500 000 рублей]. Запрограммируй робота на скоростное прохождение лабиринта в симуляторе и пройди в финал. На финале участники встретятся офлайн и сразятся на четырех уровнях с полосой препятствий, вспышками света, лазерами и другими препятствиями. Трек будет интересен начинающим и опытным разработчикам: С++, Go, Python, JS, Java, C# и не только. Подробности на сайте. Регистрация открыта до 20 октября.

ArcMemo: ИИ, который не забывает важное! В отличие от традиционных моделей, которые теряют нить рассуждений между запросами, ArcMemo представляет собой инновационную систему памяти для LLM (Large Language Models), позволяя моделям сохранять и повторно использовать ключевые концепции для решения задач 😊

Как работает ArcMemo? В обычных моделях длинные цепочки рассуждений исчезают после каждого запроса, что приводит к потере полезных паттернов и концепций. Вот что предлагает ArcMemo: • Сохранение концепций: ArcMemo позволяет сохранять абстрактные модули как концепции, представленные на естественном языке или в виде параметрических мини-функций. • Типы концепций. Открытые — описание ситуации и подсказка. Программируемые — псевдокод и функции с параметрами. • Процесс работы: после решения задачи она обобщается в набор таких концепций. Для новой задачи модель выбирает релевантные концепции и комбинирует их для решения. • Обновление памяти: с каждым тестом модель получает обратную связь, что позволяет расширять и актуализировать память. Система ArcMemo продемонстрировала +7.5% улучшения по сравнению с базовой моделью на бенчмарке ARC-AGI.

Модульная память в виде концепций значительно улучшает переносимость знаний и делает решения более стабильными, позволяя модели учиться и адаптироваться к новым задачам, не забывая важное. А вы что думаете? Интересно будет почитать ваше мнение 🐹 Data Science

Демис Хассабис о будущем ИИ: «Глупо сравнивать их с PhD» В интервью на All-In Summit генеральный директор Google DeepMind, Демис Хассабис, поделился важными размышлениями о текущем состоянии искусственного интеллекта. Он резко осудил сравнением современных ИИ-систем с «интеллектом уровня PhD», назвав такие утверждения бессмысленными. По словам Хассабиса, текущие модели ИИ могут производить ответы на уровне аспиранта, но все же не справляются с простыми задачами, как, например, базовая школьная математика.

Хассабис пояснил, что современные ИИ обладают так называемым «рваным интеллектом». Эти системы могут блестяще выполнять узкоспециализированные задачи, но в той же мере терпят фиаско, если задача выходит за пределы их узкой специализации. Например, в математике, в отличие от человека, модель ИИ может допустить элементарные ошибки. Что такое AGI? На вопрос о настоящем искусственном общем интеллекте (AGI) Хассабис ответил, что до его появления остаётся ещё 5–10 лет. Он подчеркнул, что AGI должен быть способен делать логичные выводы и не совершать таких базовых ошибок. А чтобы достичь этого, необходимо совершить несколько крупных прорывов в области постоянного обучения и обновления знаний. Мировые модели и будущее ИИ. В DeepMind делают ставку на world models — модели, которые обучаются на видео и симуляциях для предсказания динамики окружающей среды. Эти модели должны стать основой для виртуальных агентов и роботов, которые смогут действовать в реальном мире, а не просто генерировать тексты или отвечать на вопросы.

Кроме того, Хассабис отметил, что прогресс в достижении AGI нужно измерять не одним числом или индексом, а набором задач и реальными приложениями. Уже сейчас, через компанию Isomorphic Labs, DeepMind использует ИИ для разработки новых лекарств и ускорения научных исследований. Как вы считаете, когда ИИ достигнет уровня AGI?

👍 — Через 5–10 лет, как сказал Хассабис 🤔 — Скорее всего, намного позже и достигнет ли

Data Science

Разработчики: пусть нейронка напишет ВЕСЬ проект Астрологи: 💥 xCode Journal

ИИ уже сам настраивает окружение и разворачивает приложения Открытые репозитории с кодом, моделями и датасетами предлагают массу готовых решений. Однако, чтобы заставить всё работать, разработчикам часто приходится вручную настраивать окружение, устанавливать зависимости, скачивать нужные файлы и правильно настроить параметры. Но теперь есть решение, которое меняет подход.

EnvX — это не просто инструмент, а настоящий ассистент для разработчиков, который использует возможности больших языковых моделей (LLM) для автоматизации многих задач. Он помогает автоматизировать не только подготовку окружения, но и взаимодействие между разными репозиториями, обеспечивая их «умную» кооперацию через стандартный интерфейс. Агент понимает README файлы, автоматически настраивает все необходимые компоненты и выполняет функции, руководствуясь природными инструкциями, без необходимости переписывать код. Как это работает? Всё делится на три ключевых фазы. Первая — подготовка рабочего окружения. EnvX автоматически извлекает все необходимые шаги из документации и туториалов, собирает их в TODO-план и может выполнить их в нужной последовательности, при этом откатывая изменения, если что-то пошло не так. Это позволяет существенно упростить настройку и проверку окружения. Вторая фаза — агентная автоматизация. Агент осваивает базовые DevOps-инструменты и понимает, как взаимодействовать с конкретным репозиторием. Он находит нужные функции и вызывает их с корректными параметрами, объясняя, что именно происходит на каждом шаге. Важно, что это всё происходит прозрачно и с возможностью повторить шаги при необходимости. Третья фаза — взаимодействие агентов. Благодаря стандартизированному интерфейсу (A2A) агенты могут обмениваться информацией и работать вместе, решая задачи, которые требуют кооперации между различными репозиториями. Это позволяет создать действительно эффективную мультиагентную систему, где все элементы работают как единое целое. В основе работы EnvX лежат несколько важных технологий, включая загрузку артефактов, управление зависимостями, чтение и запись файлов, а также поддержку множества популярных инструментов. Всё это даёт возможность работать с репозиториями в любом контексте, независимо от их специфики. В испытаниях на репозиториях с различными типами задач (от обработки изображений до работы с текстами и видео) EnvX показал лучшие результаты в области исполнимости и качества работы. В сравнении с другими решениями, такими как OpenHands и Aider, система на основе EnvX продемонстрировала заметные улучшения по нескольким меткам, включая процент успешных завершённых задач (ECR) и качество выполнения задач (TPR).

Data Science

Qwen3-Next: Новая модель от Alibaba — мощь, цена и скорость в одном флаконе 🍒 Alibaba представила новое поколение своих языковых моделей — Qwen3-Next, которое обещает сочетание мощности крупных моделей с ценой и скоростью средних. В линейке доступны три версии:

— Base: для исследований и дообучения — Instruct: основная версия для приложений и общения — Thinking: для задач, требующих пошагового рассуждения, например, в математике или логике Что нового в Qwen3-Next? Qwen3-Next использует уникальную архитектуру mixture-of-experts: из 80 миллиардов параметров модель задействует лишь 3 миллиарда, выбирая «нужных специалистов» под задачу. Это позволяет значительно ускорить работу без потери качества. Кроме того, модель поддерживает работу с очень длинными документами — до 262 тысяч токенов «из коробки» и до 1 миллиона токенов в специальном режиме. По заявлению разработчиков, обучение модели обходится в 10 раз дешевле, чем у предыдущей версии Qwen3-32B, а её пропускная способность на длинных контекстах увеличена более чем в 10 раз. • Уровень производительности сопоставим с Gemini 2.5 Flash и Qwen3-235B, но при этом запуск требует меньших ресурсов • Открытая лицензия Apache-2.0, доступ через Hugging Face

Подходит для работы с движками SGLang и vLLM, поддерживающими как длинный контекст, так и ускоренные режимы генерации. Как вам такие решения от китайцев? 😮‍💨 Data Science

Как подготовить качественные данные для LLM 👌 Когда речь идет о внедрении больших языковых моделей (LLM) в бизнес-процессы, от ботов техподдержки до HR-ассистентов, ключевым моментом становится качественная подготовка данных. И если объём данных важен, то качество играет решающую роль: хорошие данные снижают ошибки и помогают моделям работать точнее. В этом посте поделимся инструментами, которые упростят обработку и нормализацию ваших данных.

1. dlt — авто-создание датасетов для различных источников данных dlt — это Python-библиотека с открытым исходным кодом, которая позволяет генерировать датасеты из самых разных источников: SQL, векторные хранилища, локальные БД и многое другое. dlt не только помогает преобразовать данные, но и поддерживает автоматическую миграцию схем, инкрементальную загрузку и мониторинг. Это идеальное решение для быстрого формирования и нормализации больших объемов данных. 2. Databonsai — оптимизация данных с помощью LLM Databonsai помогает очищать и разметить данные с использованием LLM. Библиотека позволяет категоризировать неструктурированные данные и даже обрабатывать их пакетами для экономии токенов. В дополнение, Databonsai поддерживает трансформацию данных, создавая улучшенные шаблоны вывода для структурированных результатов. Это идеальный инструмент для тех, кто работает с большим количеством неструктурированных данных. 3. Lilac — проверка и кластеризация неструктурированных данных Lilac был создан для обработки неструктурированных данных перед обучением LLM. Этот инструмент помогает фильтровать, кластеризовать и аннотировать данные, а также отслеживать изменения в разных версиях датасетов. Lilac особенно полезен для обработки текстов и изображений, а его интеграция с Databricks позволяет более эффективно работать с большими данными. Это решение помогает устранить ошибки в данных до того, как они попадут в модель. 4. Oxen — система контроля версий для больших данных Oxen — это система для контроля версий больших датасетов, таких как CSV-файлы с миллионами строк. В отличие от стандартных инструментов, таких как Git LFS, Oxen оптимизирован для работы с крупными данными. Он имеет интерфейс командной строки и библиотеки для Python и Rust, а также интеграцию с HTTP. Это идеальный выбор для разработчиков, работающих с большими объемами данных и нуждающихся в высокой скорости.

Каждый из этих инструментов решает специфические задачи по обработке данных, которые необходимы для успешного внедрения LLM в продакшн. Работали с подобными инструментами в своих проектах? Data Science

Разбираемся, что «под капотом» у дата-платформ SmartData — это конференция не про «ценность данных для бизнеса». Это площадка, где обсуждают, как устроены реальные системы. Программа конференции охватывает все стороны работы с данными — от Analytical до Data и ML Engineering, Data Governance и Data Quality, от старых добрых Airflow и Hadoop до Bleeding Edge «в лице» StarRocks и DataFusion Comet. Станьте частью профессионального сообщества 5–6 октября в Санкт-Петербурге. С промокодом YA10 персональные билеты дешевле. Узнать больше #реклама smartdataconf.ru О рекламодателе

Разработчики: «У нас нет выгорания» Разработчики после рабочего дня: 💥 xCode Journal