Data Portal | DS & ML

А что если просто смена библиотеки разблокировала бы все ядра процессора без переписывания кода? pandas гоняет join’ы на одном ядре, оставляя остальные простаивать при работе с большими таблицами. Polars раскидывает операции join по всем доступным ядрам и за счёт этого ощутимо быстрее pandas на крупных данных. Почему Polars такой быстрый: • Обрабатывает строки батчами в параллель • Использует все CPU-ядра • Не требует никакой настройки Статья — pandas vs polars vs DuckDB Запустите этот код 👉 @DataSciencegx

Автор собрал все свои посты про AI-инжиниринг в один PDF. Внутри:

основы LLM prompt engineering дообучение RAG работа с контекстом AI-агенты MCP оптимизация деплой оценка и наблюдаемость

375+ страниц. Скачать бесплатно 👉 @DataSciencegx

Claude Scientific Skills — это набор навыков, который превращает Claude в исследовательского ассистента для сложных научных задач: многошаговые расчёты, математика, биология, химия, медицина и другие области, где нужен последовательный анализ и аккуратная логика. Открытый проект, полный доступ к коду. Внутри больше 123 готовых навыков. 👉 @DataSciencegx

Hugging Face выпустила 214-страничный МАСТЕР-КЛАСС по обучению LLM 👉 @DataSciencegx

Новый блог про оптимизацию политик в RL вышел. Автор собрал техники, которые идут дальше PPO: GRPO, DR.GRPO, GSPO, DAPO, CISPO, GMPO, RSPO и SAPO. По сути, это способы сделать обучение агентов стабильнее и результативнее на сложных задачах 👉 @DataSciencegx

Парень написал GPU-ускоренный решатель задач линейного программирования на PyTorch, который масштабируется до 100k+ переменных и ограничений и по скорости/качеству конкурирует с современными state-of-the-art солверами. Вся реализация занимает примерно 350 строк кода (без документации и логирования) и сделана максимально простой. Там реализован алгоритм PDLP, вариант PDHG (primal-dual hybrid gradient). Имплементация довольно близко следует свежим статьям по PDLP. Весь решатель собран в одной функции solve(), в которую ты просто передаешь данные своей задачи. 👉 @DataSciencegx

Новое исследование подъехало: появился приём, который режет галлюцинации у ИИ примерно на 50%. Называется Model-First Reasoning. Смысл простой. Вместо привычного «как решить задачу [xxx]?» Сначала заставляем модель перечислить: - что в задаче участвует - что может меняться - какие действия вообще допустимы - что под запретом И только потом просим решить, опираясь только на этот список. Чем отличается от Chain-of-Thought? CoT — модель «думает и решает одновременно». Звучит плавно и умно, но по пути нередко додумывает лишнее. Model-First Reasoning ставит жёсткую стенку: сначала определяем правила, потом решаем. Без смешивания. ИИ обязан использовать только то, что сам записал на первом шаге — в этом и фокус. Тестили на медицинском планировании, маршрутах, распределении ресурсов и логических задачах. Результат стабилен: меньше нарушений правил, чище ответы. Почему работает: • LLM выдумывает детали, потому что предполагает то, чего ты не говорил. • Когда заставляешь сначала всё выписать, прятаться некуда. • Это лишний аргумент в пользу «Human-in-the-loop»: проверяем шаги по ходу, не даём модели уехать в фантазии. Статья тут: https://arxiv.org/pdf/2512.14474 👉 @DataSciencegx

Вам следует приобрести GPU и запускать свои модели искусственного интеллекта локально. 👉 @DataSciencegx

Финальный набор инструментов для работы с LLM. Transformer Lab позволяет обучать, дообучать и общаться с любой LLM локально. Есть загрузка моделей в один клик и простой drag-and-drop интерфейс для RAG. Полностью open source. 👉 @DataSciencegx

Этот open-source репо ужимает 60 млн текстовых чанков с примерно 201 ГБ до примерно 6 ГБ 🤯 Это где-то на 97% меньше, при этом качество ретривала остаётся очень близким к стандартным сетапам. • Без облака • Без GPU • Запускается локально на обычном ноутбуке • Полная приватность • 100% open source LEANN делает это за счёт того, что не хранит эмбеддинги постоянно. Вместо этого он использует компактный граф и пересчитывает эмбеддинги только когда они реально нужны :)) 👉 @DataSciencegx

Это модель, которая умеет находить приватные данные в тексте и автоматически замазывать их, чтобы не утекла лишняя инфа. Весит всего 0.1B, я прогнал у себя — спокойно работает на CPU. На скрине ниже как раз мой тест. Использование элементарное: автор запаковал всё в питоновский пакет. Импортируешь и вызываешь метод — и готово:

from artifex import Artifex
Artifex().text_anonymization("твой текст")

Но есть момент — модель из коробки «понимает» только английский. Для других языков придётся подстроить. В комплекте есть тулкит для тонкой настройки даже без датасета для обучения, что удобно. Модель лежит здесь: https://huggingface.co/tanaos/tanaos-text-anonymizer-v1 👉 @DataSciencegx

Преобразуй сложные регэкспы в нормальный читаемый Python-код с Pregex Шаблоны вроде [a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,} выглядят пугающе и плохо читаются. Команде без опыта в регулярках сложно понять и править такие валидации. Pregex разворачивает regex в понятный питоновский код из описательных компонентов. Что получаем: • Код сам объясняет намерение, даже без комментариев • Можно править без знаний регэкспов • Компонуешь паттерны для сложной валидации • При необходимости обратно экспортируешь в обычный regex Инструмент open source. Установка: pip install pregex Полная статья: https://bit.ly/3IWAE5O Запустите этот код: https://bit.ly/4hdQjKM 👉 @DataSciencegx

NVIDIA выпустила гайд для новичков по fine-tuning LLM с помощью Unsloth. В гайде разбирают: - методы обучения: LoRA, FFT, RL - когда и зачем делать fine-tuning, реальные use-case’ы - сколько данных и VRAM требуется - как обучать локально на DGX Spark, RTX-видеокартах и не только Гайд: https://blogs.nvidia.com/blog/rtx-ai-garage-fine-tuning-unsloth-dgx-spark/ 👉 @DataSciencegx

Google Colab теперь поставляется с предустановленным Gemini CLI Самое кайфовое тут в том, что в Colab можно использовать оба режима: неинтерактивный (слева) и интерактивный (справа). Больше всего мне заходит неинтерактивный режим прямо внутри ноутбука. 👉 @DataSciencegx

Какие фичи C++ реально стоят того, чтобы ими пользоваться каждый день — а какие живут только в докладах и спорах на форумах? Во втором выпуске «АйТир Листа» встретились два практикующих разработчика — Данил Черепанов (МойОфис) и Антон Полухин (Яндекс) — и разобрали любимые и спорные возможности C++. Где-то всё было однозначно, а местами мнения разошлись кардинально 🙂 👉 Выпуск ЗДЕСЬ Реклама ООО "НОВЫЕ ОБЛАЧНЫЕ ТЕХНОЛОГИИ" ИНН: 7703807270 erid: 2W5zFGCY1ck

А что, если вложенные определения StructType можно заменить одной строкой? При разборе вложенного JSON в PySpark обычно приходится описывать StructType внутри StructType внутри StructType. В итоге получается громоздкий, негибкий код, который легко ломается при любом изменении структуры JSON. В PySpark 4.0 появился тип Variant, который позволяет вообще отказаться от описания схемы. Достаточно использовать parse_json() для загрузки данных и variant_get() для извлечения значений через JSONPath. Ключевые плюсы: • не нужно заранее описывать схему • любая глубина вложенности через простой синтаксис $.path • изменения схемы не ломают код • извлекаешь только нужные поля и только тогда, когда они реально нужны Обновляй свои пайплайны на PySpark 4.0: pip install pyspark>=4.0 Статья про PySpark 4.0: [https://bit.ly/4atLpI3] Запустить код: [https://bit.ly/49oJR0Y] 👉 @DataSciencegx

Ограничен по GPU и не хочешь поднимать локальный кластер для RL? Знакомься с OpenTinker. OpenTinker — это open-source RL-as-a-Service: ты проектируешь агента локально, а обучение и инференс спокойно уезжают на удалённые GPU. Без возни с инфраструктурой, без жёсткой связки логики агента и исполнения. Чистый, масштабируемый агентный RL. Почему это важно: - можно прототипировать RL-задачи локально, не думая о железе - всё тяжёлое — обучение и инференс — выполняется на облачных GPU - поддержка single-turn и multi-turn задач - обученную модель можно сразу задеплоить в инференс, без допкода Как это устроено: - дезагрегированная архитектура - локально крутится лёгкий клиент - эксперименты отправляются в облачный scheduler - scheduler матчится с доступными GPU и оркестрирует задачи по ресурсам - таск поднимается удалённо, а метрики стримятся в реальном времени в дашборд API для разработчиков: - один раз оборачиваешь environment, reward и policy - OpenTinker сам берёт на себя data loading, rollouts, training и inference Интерфейсы знакомые: - для окружения: env.reset() и env.step() - для обучения: high-level fit() — полный training loop end-to-end - под капотом fit() собран из train_step(), validate(), save_checkpoint() - хочешь быстро — используешь fit() - нужен контроль — кастомизируешь шаги вручную Runtime агента выглядит как state machine: PENDING — препроцессинг и токенизация GENERATING — модель генерирует ответ INTERACTING — агент действует в окружении TERMINATED — задача завершена Ссылки: Репозиторий: https://github.com/open-tinker/OpenTinker Блог: https://open-tinker.github.io/opentinker-page/ 👉 @DataSciencegx

Вышла GLM-4.7. Новая версия заметно прокачалась по сравнению с GLM-4.6 и теперь уверенно тянет open-source SOTA в кодинге, сложных рассуждениях и работе с инструментами. Параллельно подтянули чат, креатив, сторителлинг и role-play. Что важно на практике: Кодинг » Существенный прирост качества в реальных дев-сценариях » Модель стала дефолтной в GLM Coding Plan » Лучше держит контекст, меньше ломается на длинных цепочках действий Thinking modes » Доработан Interleaved Thinking » Появились Preserved Thinking и Turn-level Thinking » Можно думать между действиями и сохранять логику между ходами, что сильно повышает стабильность на сложных задачах UX и визуал » Улучшена работа с фронтендом » Поддержка разных стилей » Заметный апдейт в генерации слайдов и постеров Ссылки: » Coding Plan: [http://z.ai/subscribe] » Чат: [http://chat.z.ai] » Веса: [http://huggingface.co/zai-org/GLM-4.7] » Техблог: [http://z.ai/blog/glm-4.7] » Thinking Mode: [http://docs.z.ai/guides/capabilities/thinking-mode] 👉 @DataSciencegx

EgoX тепеь опенсорс: генерация эгоцентрического видео из одного экзоцентрического видео Исходники теперь доступны. Можно генерировать эгоцентрические видео так же, как в демо, либо использовать EgoX, чтобы преобразовывать свои экзоцентрические (вид от третьего лица) видео в эгоцентрические. arXiv: https://arxiv.org/abs/2512.08269 Страница проекта: https://keh0t0.github.io/EgoX/ Код: https://github.com/DAVIAN-Robotics/EgoX Как работает EgoX • Стартует с одного экзоцентрического (third-person) видео • Использует предобученные диффузионные модели для видео • Применяет унифицированное кондиционирование и attention с учетом геометрии • Генерирует согласованные, высококачественные эгоцентрические видео 👉 @DataSciencegx

Проекты на PyTorch Плейлист, который помогает изучать PyTorch через работу над продвинутыми проектами. 👉 @DataSciencegx