Анализ данных (Data analysis)

🌟 FastDraft: ускорение инференса LLM с помощью спекулятивного декодирования. Спекулятивное декодирование (или вспомогательная генерация) — это техника, которая ускоряет генерацию токенов при использовании дополнительной, SLM модели-черновика. Техника работает следующим образом: модель-черновик предсказывает следующие K-токенов один за другим авторегрессионным способом, а основная LLM проверяет эти предсказания и исправляет их при необходимости. Процесс проходит по каждому предсказанному токену, и, если обнаруживается разница между SLM-черновиком и LLM, останавливается и сохраняет последний токен, предсказанный основной моделью. Затем SLM-черновик получает последнее предсказание LLM и снова пытается предсказать следующие K-токенов, повторяя цикл. FastDraft — метод для обучения и согласования модели-черновика с любой LLM для использования со спекулятивным декодированием путем тонкой настройки на синтетических датасетах, сгенерированных целевой LLM. Предобученные модели-черновики FastDraft (Llama-3.1-8B-Instruct-FastDraft-150M-int8-ov и Phi-3-mini-FastDraft-50M-int8-ov) до 3 раз эффективнее по сравнению с инференсом одиночной LLM в задачах завершения кода и до 2 раз в задачах обобщения, завершения текста и инструкций. 🟡Набор моделей 🟡Ipynb блокнот 🟡Arxiv @ai_machinelearning_big_data #AI #ML #LLM #Intel #FastDraft

🚀 Научитесь создавать базы данных для веб-приложений на Go! Присоединяйтесь к открытому вебинару «Взаимодействие с базой данных и миграции на Go». 📅 Дата: 2 декабря в 20:00 МСК   🔎 Что вы узнаете: - как создавать таблицы и структурировать базы данных; - как разрабатывать базу для веб-приложений на Go; - как работать с ОРМ и SQL-запросами. ❗ Почему это важно: Golang — язык будущего. После вебинара вы сможете создавать и мигрировать базы данных, что станет вашим преимуществом в IT. 💻 Действуйте! Нажмите на ссылку, чтобы зарегистрироваться и получите скидку на участие в большом курсе «Go (Golang) Developer Basic»: 👉ссылка Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

👩‍💻 Flexx — это фреймворк для создания графических интерфейсов на чистом Python с использованием веб-технологий! 💡 Он позволяет разработчикам создавать приложения, которые работают как на настольных компьютерах, так и в браузерах. Основная идея Flexx — это использование Python для описания логики интерфейса, при этом взаимодействие с пользователем реализуется через HTML, CSS и JavaScript, сгенерированные автоматически. 🌟 Ключевая особенность фреймворка — возможность создавать приложения с использованием декларативного подхода. Flexx поддерживает функционально-реактивное программирование (FRP) и предоставляет инструменты для управления состоянием и событийной моделью. Это делает его подходящим выбором для приложений, где требуется динамическое взаимодействие и высокая интерактивность. 🔐 Лицензия: BSD-2-Clause 🖥 Github @data_analysis_ml

⚡️ Владение BI-аналитикой сегодня становится все более востребованным навыком ⌨️ Это новый уровень практически для всех, кто работает с данными: продуктовых и маркетинговых аналитиков, аналитиков данных, Product Owner’ов и Project Manager’ов, Data Scientist’ов и Data Engineer’ов. Пройдите тест онлайн-курса «BI-аналитика» и получите скидку до 15% 💣на обучение в OTUS. ➡️ ПРОЙТИ ТЕСТ: https://otus.pw/cWjf/?erid=LjN8KND4L 🔥 Все, кто успешно пройдет тест, получит доступ к нескольким открытым урокам курса для знакомства с форматом обучения и спец. цену на курс. После обучения вы сможете: 💛визуализировать метрики и данные с помощью Power BI и Tableau и отечественной системой Analytic Workspace 💛строить кастомные интерактивные дашборды и аналитические панели с помощью Python в библиотеках Dash, Numpy, Pandas, Matplotlib, Seaborn и Plotly 💛работать с Big Data и выявлять данные, которые помогут принимать бизнес-решения 💛использовать в BI-аналитике решения с открытым исходным кодом 💛обрабатывать и трансформировать данные в Power Query, создавать модели данных в Power Pivot 💛работать с DAX-формулами Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

📖 Эта статья исследует способности крупных языковых моделей (LLMs) к логическому рассуждению, включая их склонность к запоминанию! 🌟 Основной гипотезой авторов является то, что высокий уровень точности моделей на логических задачах может быть обусловлен не столько умением рассуждать, сколько запоминанием схожих примеров из данных для обучения. 🌟 Для проверки гипотезы исследователи использовали динамически генерируемый набор логических задач на основе головоломок "Knights and Knaves" (рыцари и лжецы). Они выявили, что модели могут успешно справляться с задачами, подобными обучающим, но их точность снижается при небольших изменениях в формулировке. Однако, несмотря на это, модели показали улучшение в генерализации после дообучения, что свидетельствует о сложном взаимодействии между способностью к рассуждению и запоминанием. 🌟 Дополнительно авторы проанализировали, как LLM переключаются между запоминанием и логическим анализом, что даёт понимание о методах их дальнейшей оптимизации. Исследование включает методы создания и модификации логических задач, а также оценку поведения моделей с использованием метрик запоминания и обобщения. 🔗 Ссылка: *клик* @data_analysis_ml

💡 Хакатон «Норникеля» «Интеллектуальные горизонты»: стартуем на поиски инноваций! Погружайся в кейсы от «Норникеля» и решай задачу по одному из трех треков: от анализа данных до автоматизации, от экологического мониторинга до создания алгоритмов, которые могут изменить правила игры в индустрии. Когда: 6 - 8 декабря. Формат: онлайн. Призовой фонд: 1 500 000 рублей. 🧑‍💻 Разработчики, аналитики, инженеры и любители новаторских решений смогут применить свои знания, чтобы придумать решения для реальных задач в промышленности. Хакатон «Норникеля» «Интеллектуальные горизонты» — это отличный шанс показать свои идеи, повлиять на промышленность и найти новых единомышленников.  Если нет команды — поможем её собрать! ➡️ Регистрация открыта! Успей зарегистрироваться до 2 декабря, 23:59 МСК по ссылке.

🖥 OASIS — проект для моделирования социальных взаимодействий между агентами с использованием крупномасштабных симуляций! 🌟 Он основан на многокомпонентных агентных системах и предназначен для изучения взаимодействий искусственного интеллекта в контексте общества и совместной работы. Проект сосредоточен на использовании больших языковых моделей (LLM) для управления агентами, которые симулируют различные аспекты человеческого поведения, взаимодействия и общения. 🌟 Основные направления применения OASIS включают исследование кооперативного искусственного интеллекта, поведение в симулированных обществах и масштабирование симуляций до миллиона агентов. Репозиторий ориентирован на исследователей и разработчиков, заинтересованных в построении и изучении сложных агентных экосистем на базе LLM! 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем. Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов. Где и когда? 👉 Нижний Новгород, 5 декабря 👉 Санкт-Петербург, 6 декабря Тебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем. Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

⚡️ Только что вышла первая reasoning model с открытым исходным кодом от Alibaba QwQ 32B находится работает так же, как o1 и Deepseek R1, но на вашем локальном компьютере! 🔗 Демо: https://huggingface.co/spaces/Qwen/QwQ-32B-preview 🌐 Модель: https://huggingface.co/Qwen/QwQ-32B-Preview 📃 Blog: https://qwenlm.github.io/blog/qwq-32b-preview/ @data_analysis_ml

📖 Эта статья исследует способности крупных языковых моделей (LLMs) к логическому рассуждению, включая их склонность к запоминанию! 🌟 Основной гипотезой авторов является то, что высокий уровень точности моделей на логических задачах может быть обусловлен не столько умением рассуждать, сколько запоминанием схожих примеров из данных для обучения. 🌟 Для проверки гипотезы исследователи использовали динамически генерируемый набор логических задач на основе головоломок "Knights and Knaves" (рыцари и лжецы). Они выявили, что модели могут успешно справляться с задачами, подобными обучающим, но их точность снижается при небольших изменениях в формулировке. Однако, несмотря на это, модели показали улучшение в генерализации после дообучения, что свидетельствует о сложном взаимодействии между способностью к рассуждению и запоминанием. 🌟 Дополнительно авторы проанализировали, как LLM переключаются между запоминанием и логическим анализом, что даёт понимание о методах их дальнейшей оптимизации. Исследование включает методы создания и модификации логических задач, а также оценку поведения моделей с использованием метрик запоминания и обобщения. 🔗 Ссылка: *клик* @data_analysis_ml

⚡️ NeuZip: метод сжатия весов для обучения и инференса. NeuZip - алгоритм сжатия весов нейронных сетей, разработанный для снижения требований к памяти во время обучения и инференса без ущерба для производительности. В основе NeuZip лежит принцип энтропии чисел с плавающей запятой в нейронных сетях. Веса нейронных сетей концентрируются вокруг нуля, что приводит к низкой энтропии битов экспоненты, а значит, почему бы не сжимать биты экспоненты без потерь с помощью асимметричной системы счисления (ANS)?

ANS — это алгоритм сжатия без потерь, который обеспечивает высокую пропускную способность на параллельных вычислительных устройствах, например, на GPU.

Для обучения используется вариант NeuZip без потерь, который сжимает только биты экспоненты, сохраняя полную точность представления чисел. В процессе обучения веса хранятся в сжатом виде, а декомпрессия происходит послойно, непосредственно перед вычислениями . Это позволяет избежать дублирования памяти и снизить ее пиковое потребление. При этом backpropagation не затрагивается, так как градиенты вычисляются с использованием декомпрессированных весов. Для инференса предлагается вариант NeuZip с потерями, который дополнительно сокращает объем памяти, усекая биты мантиссы. Потеря точности при таком подходе незначительно влияет на производительность. Эффективность сжатия достигается блочной нормализацией, при которой веса нормализуются внутри блоков, а коэффициенты нормализации хранятся с 8-битной точностью. Эксперименты, проведенные на различных архитектурах (GPT, Llama, T5) и задачах (языковое моделирование, генерация SQL), подтвердили эффективность NeuZip. В частности, при обучении модели Llama-3 8B удалось сократить потребление памяти с 31 ГБ до менее 16 ГБ без изменения динамики обучения. В задачах инференса NeuZip демонстрирует достижение >50% сокращения памяти при сохранении практически идентичной производительности по сравнению с QLoRA и современными методами квантования. ⚠️ Код экспериментов из пейпера в задачах обучения и инференса с Neuzip доступен в /examples репозитория проекта на Github. ▶️Установка и использование:

# Install from PyPI
pip install neuzip

# Use Neuzip for Pytorch model
model: torch.nn.Module = # your model
+ manager = neuzip.Manager()
+ model = manager.convert(model)

🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #NeuZip

✅ OminiControl: универсальный инструмент для управление Запилили универсальный фреймворк для генерации с помощью Linear Diffusion Transformer. 🧬Код: https://github.com/Yuanshi9815/OminiControl 📄Статья: https://arxiv.org/abs/2411.15098 🍇runpod: https://github.com/camenduru/ominicontrol-tost 🍊jupyter от http://modelslab.com: https://github.com/camenduru/ominicontrol-jupyter

🔥 Multi-Agent Orchestrator — фреймворк, разработанный для управления несколькими AI-агентами! 💡 Он позволяет маршрутизировать запросы пользователей, обеспечивать управление контекстом взаимодействий и поддерживать масштабируемую архитектуру приложений. 🔍 Основные возможности: 🌟 Классификация запросов: Использует LLM для выбора наиболее подходящего агента на основе контекста, истории взаимодействий и описания агентов. 🌟 Гибкость агентов: Поддерживает интеграцию различных агентов, таких как Amazon Bedrock, OpenAI, AWS Lambda и прочих пользовательских решений. 🌟 Управление контекстом: Обеспечивает сохранение и использование истории взаимодействий для последовательных ответов. 🌟 Расширяемая архитектура: Легкая интеграция новых агентов и настройка существующих для решения задач в различных доменах. 🌟 Универсальное развертывание: Подходит для локальных и облачных окружений, включая AWS Lambda. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

есom.teсh meetup — Generative AI 6 декабря 18:00 в Москве пройдёт митап по прикладному использованию генеративных технологий для специалистов по Data Science! Обсудим технические аспекты экспериментов с нейронными сетями, посмотрим свежие кейсы внедрения ИИ в бигтехе и не только. В программе: 👁‍🗨 Виртуальная фотосъемка для продавца на маркетплейсе: возможности Gen AI. Арнольд Сааков, руководитель отдела разработки сервисов искусственного интеллекта в ecom.tеch. 👁‍🗨 От потоковой обработки к генерации: AI-алгоритмы для автоматизации работы с фотографиями товаров на маркетплейсе. Александр Савельев, руководитель группы развития технологий компьютерного зрения в ecom.tеch; Татьяна Гришина, менеджер продукта в ecom.tеch. 👁‍🗨 Секретный доклад. Митап будет интересен тем, кто уже работает или проходит обучение в области Data Science и интересуется генеративными технологиями! 🧠 Регистрируйтесь и пересылайте знакомым! Реклама. ООО "УМНОЕ ПРОСТРАНСТВО", ИНН 7811554010, Erid: 2VSb5yQd7AG

⚡️ SmolVLM: новая МДЬ модель созданая для использования на устройствах, легко настраиваемый на GPU и чрезвычайно эффективный с точки зрения памяти ▪Лицензия Apache 2.0: https://huggingface.co/collections/HuggingFaceTB/smolvlm-6740bd584b2dcbf51ecb1f39 ▪Блог: https://huggingface.co/blog/smolvlm ▪Демо: https://huggingface.co/spaces/HuggingFaceTB/SmolVLM ▪Файнтюнинг: https://github.com/huggingface/smollm/blob/main/finetuning/Smol_VLM_FT.ipynb

Новая версия модели: Kling v1.5! 🥳 Можно потестировать онлайн https://fal.ai/models/fal-ai/kling-video/v1.5/pro/image-to-video/playground @data_analysis_ml

🔥 PR-Agent — инструмент с открытым исходным кодом, разработанный для упрощения процесса обзора pull-реквестов! 💡 Используя возможности искусственного интеллекта (например, GPT-4), он автоматически анализирует PR и предоставляет такие функции, как: 🌟 Генерация описания PR, включая заголовок, тип, основные изменения и метки. 🌟 Автоматический обзор с рекомендациями по тестированию, безопасности и улучшениям. 🌟 Ответы на вопросы о PR, улучшения кода и автоматическое обновление CHANGELOG. 🌟 Добавление документации для недокументированных функций или классов. 💡 PR-Agent поддерживает интеграцию с GitHub, GitLab, Bitbucket и другими платформами. Его можно использовать как через командную строку, так и через вебхуки или бота. Этот инструмент помогает ускорить и улучшить качество процесса код-ревью. 🔐 Лицензия: Apache-2.0 🖥 Github @data_analysis_ml

Устроиться аналитиком в Яндекс за выходные 7–8 декабря проводим Weekend Offer Analytics. До 4 декабря оставьте заявку на участие, 7 декабря пройдите технические собеседования, а 8 декабря познакомьтесь с командами и получите офер. В мероприятии участвует 7 команд: Crowd, Карты, Поиск, YaGPT 2, Автономный транспорт, Реклама и Ecom-сценарии. Вы сможете пообщаться с менеджерами и выбрать проект, который покажется самым интересным. Нанимаем в офисы России и Республики Беларусь. Узнать подробности и зарегистрироваться можно здесь.

📖 Большие языковые модели продемонстрировали существенные достижения в возможностях рассуждений, особенно за счет масштабирования времени вывода, как показано на таких моделях, как o1 от OpenAI. 🌟 Однако текущие модели Vision-Language (VLM) часто испытывают трудности с выполнением систематических и структурированных рассуждений, особенно при обработке сложных визуальных задач с ответами на вопросы. В этой работе авторы представляют LLaVA-o1, новую VLM, предназначенную для проведения автономных многоступенчатых рассуждений! В отличие от подсказок цепочки мыслей, LLaVA-o1 независимо участвует в последовательных этапах резюмирования, визуальной интерпретации, логических рассуждений и генерации выводов. 🌟 Этот структурированный подход позволяет LLaVA-o1 достигать заметных улучшений в точности при выполнении задач с интенсивным рассуждением! 🔗 Ссылка на статью: *клик* @data_analysis_ml

Прокачивайте скилы на релевантных бизнес-задачах с помощью Яндекс Практикума. Наставники из Яндекса и других крупных компаний помогут со сложными темами, а ревьюеры дадут обратную связь. Как всё устроено: 1️⃣ Учитесь где и когда удобно Обучение разбито на спринты по несколько недель, а график позволяет совмещать учёбу с другими делами. 2️⃣ Практика с первого дня Учимся на примерах из работы и используем популярные рабочие инструменты. 3️⃣ Задачи из реальных сфер На курсе будут проекты из разных сфер бизнеса, чтобы вы набрались опыта и сразу же применяли новые знания. Прежде чем платить, любой курс можно попробовать и убедиться, что он вам подходит. Вот несколько наших курсов: ✅ Инженер данных ✅ Инженер машинного обучения ✅ SQL для работы с данными и аналитики ✅ SQL для разработки Получите скидку 20% после прохождения первой темы любого курса. Она бесплатная🔥