Анализ данных (Data analysis)

🧠 OpenThinker-32B: похоже это лучшая модель рассуждений обученная на открытых данных, созданная на основе DeepSeek-R1. Ммодель 32B превосходит все модели 32B, включая DeepSeek-R1-Distill-Qwen-32B (закрытую модель данных) в MATH500 и GPQA Diamond, и показывает схожую производительность на других бенчмарках. Blog Post: https://open-thoughts.ai/blog/scale Model Link: https://huggingface.co/open-thoughts/OpenThinker-32B Dataset: https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k Data Curation Code: https://github.com/open-thoughts/open-thoughts Evaluation Code: https://github.com/mlfoundations/evalchemy @data_analysis_ml

🧍 MDM: Human Motion Diffusion Model Обновленная модель для реалистичной генерации человеческих движений. 🎯 Модель поддерживает технологию Text-to-motion, которая позволяет создавать управляемые движение на основе текстовых промптов. Экспериментировать можно либо с готовыми моделями, либо тренируя собственные, используя готовые скрипты и данные из коллекции трёхмерных изображений людей HumanML3D. ✨ Сверхбыстрая генерация ♾ Создает реалистичные, динамичные движения 🔄 Плавное переключение движения на лету ▪Github: https://github.com/GuyTevet/motion-diffusion-model ▪Paper: https://arxiv.org/abs/2209.14916 ▪Demo: https://replicate.com/arielreplicate/motion_diffusion_model @data_analysis_ml

🌟 GenBI AI Agent с открытым исходным кодом, который позволяет разработчикам, работающим с данными, использовать свои данные для создания текстовых SQL-преобразований, диаграмм, электронных таблиц, отчетов и бизнес-аналитики. 📊 Помогает вам взаимодействовать с данными для генерации SQL, диаграмм и отчетов, используя выбранный вами LLM. Он предоставляет решение GenBI с открытым исходным кодом для команд, работающих с данными и ищущих информацию без кода. Что он предлагает:ц → Wren AI — это агент GenBI AI с открытым исходным кодом, который позволяет командам, работающим с данными, взаимодействовать со своими данными через промпты. → Он генерирует запросы Text-to-SQL, диаграммы, электронные таблицы, отчеты и аналитические данные BI. → Поддерживает несколько LLM, включая OpenAI, Azure OpenAI, DeepSeek, Google Gemini, Vertex AI, Bedrock, Anthropic, Groq, Ollama и Databricks. → Wren AI позволяет пользователям задавать вопросы о данных на нескольких языках и предоставляет созданные ИИ сводки и визуализации результатов запросов. → Он включает в себя исследование данных на основе искусственного интеллекта, семантическое индексирование для контекста и позволяет экспортировать данные в Excel и Google Таблицы. — curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin ⚡️ Github @data_analysis_ml

STORM — LLM, которая позволяет писать статьи в стиле Википедии с нуля на основе результатов поиска в Интернете. Имитирует разговоры между автором Википедии и экспертом по теме, опирающимся на интернет-источники. Это помогает системе обновлять свое понимание темы и задавать уточняющие вопросы. → Функция Co-STORM для совместного курирования знаний человеком и ИИ. Она использует протокол совместного дискурса для плавного взаимодействия между пользователями-людьми, экспертами Co-STORM LLM и агентом-модератором. → Поддерживает различные языковые модели через litellm и модули поиска, такие как YouRM, BingSearch и VectorRM. Он предлагает гибкость в выборе компонентов на основе стоимости и качества. → Содержит примеры скриптов для быстрого начала работы со STORM и Co-STORM, а также инструкции по настройке ключей API с помощью secrets.toml. → Предлагает датасеты FreshWiki и WildSeek для исследований в области автоматического сбора знаний и сложного поиска информации. 🖥 Github @data_analysis_ml

💥OpenAI только выпустили статью Competitive Programming with Large Reasoning Models Примечательно, что o3 получил золотую медаль на IOI 2024 и рейтинг на Codeforces на уровне элитных программистов мира. В целом, эти результаты указывают на то, что масштабирование обучения с подкреплением общего назначения, а не упор на специфичные для домена методы, предлагает надежный путь к современному ИИ в областях рассуждений, таких как олимпиадное программирование. https://arxiv.org/abs/2502.06807

🌟 Масштабирование вычислений LLM с использованием скрытых рассуждений: метод с рекуррентной глубиной. Экспериментальная архитектура LLM, которая способна масштабировать вычисления за счет скрытых рассуждений в латентном пространстве путем итеративного применения рекуррентного блока, что дает возможность развернуть вычисления на произвольную глубину. Этот метод отличается от традиционных, которые увеличивают вычислительные ресурсы за счет генерации большего количества токенов. Например, в отличие от CoT, предложенный подход не требует специализированных датасетов, работает с небольшими окнами контекста и способен захватывать типы рассуждений, которые сложно выразить словами. В дополнение, модели этой архитектуры требуют меньше памяти для обучения и инференса. Тестовая модель Huginn-3.5B получила 3.5 млрд параметров и была обучена на 800 млрд. токенов (веб-страницы, научные публикации и программный код) с использованием случайного числа итераций рекуррентного блока для каждой входной последовательности. Чтобы сократить потребление памяти использовалось усеченное обратное распространение, при котором градиенты вычисляются только для последних итераций. Модель состоит из 3 основных блоков: прелюдии, рекуррентного блока и коды. Прелюдия преобразует входные данные в латентное пространство, рекуррентный блок выполняет итеративные вычисления, а кода преобразует латентное состояние обратно в вероятности токенов. Рекуррентный блок может быть повторен произвольное количество раз, позволяя модели выполнять произвольное количество вычислений перед генерацией токена. Результаты проведенных тестов на стандартных задачах ARC, HellaSwag, MMLU свидетельствуют, что Huginn-3.5B превосходит традиционные модели на задачах, требующих сложных рассуждений (математические задачи и программирование). Например, на задачах GSM8k и MATH модель показала значительное улучшение производительности при увеличении числа рекуррентных итераций. ⚠️ Модель не подвергалась файнтюну или посттренингу, но благодаря включению instruct-данных во время претрейна, она изначально понимает свой шаблон чата. ⚠️ Чекпоинт на HF обучался всего на 47000 шагах и является академическим проектом. ▶️ Локальный инференс:

# Load the model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("tomg-group-umd/huginn-0125", torch_dtype=torch.bfloat16, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("tomg-group-umd/huginn-0125")


# Modifying the Model's Depth at Test Time
input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
model.eval()
model.to(device)

model(input_ids, num_steps=32)


# Model can be used like a normal HF model
# You can provide `num_steps` directly to the `generate` call
model.eval()
config = GenerationConfig(max_length=256, stop_strings=["<|end_text|>", "<|end_turn|>"], 
                          use_cache=True,
                          do_sample=False, temperature=None, top_k=None, top_p=None, min_p=None, 
                          return_dict_in_generate=True,
                          eos_token_id=65505,bos_token_id=65504,pad_token_id=65509)


input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
outputs = model.generate(input_ids, config, tokenizer=tokenizer, num_steps=16)

📌 Лицензирование: Apache 2.0 License. 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #LatentReasoning

🌟 Масштабирование вычислений LLM с использованием скрытых рассуждений: метод с рекуррентной глубиной. Экспериментальная архитектура LLM, которая способна масштабировать вычисления за счет скрытых рассуждений в латентном пространстве путем итеративного применения рекуррентного блока, что дает возможность развернуть вычисления на произвольную глубину. Этот метод отличается от традиционных, которые увеличивают вычислительные ресурсы за счет генерации большего количества токенов. Например, в отличие от CoT, предложенный подход не требует специализированных датасетов, работает с небольшими окнами контекста и способен захватывать типы рассуждений, которые сложно выразить словами. В дополнение, модели этой архитектуры требуют меньше памяти для обучения и инференса. Тестовая модель Huginn-3.5B получила 3.5 млрд параметров и была обучена на 800 млрд. токенов (веб-страницы, научные публикации и программный код) с использованием случайного числа итераций рекуррентного блока для каждой входной последовательности. Чтобы сократить потребление памяти использовалось усеченное обратное распространение, при котором градиенты вычисляются только для последних итераций. Модель состоит из 3 основных блоков: прелюдии, рекуррентного блока и коды. Прелюдия преобразует входные данные в латентное пространство, рекуррентный блок выполняет итеративные вычисления, а кода преобразует латентное состояние обратно в вероятности токенов. Рекуррентный блок может быть повторен произвольное количество раз, позволяя модели выполнять произвольное количество вычислений перед генерацией токена. Результаты проведенных тестов на стандартных задачах ARC, HellaSwag, MMLU свидетельствуют, что Huginn-3.5B превосходит традиционные модели на задачах, требующих сложных рассуждений (математические задачи и программирование). Например, на задачах GSM8k и MATH модель показала значительное улучшение производительности при увеличении числа рекуррентных итераций. ⚠️ Модель не подвергалась файнтюну или посттренингу, но благодаря включению instruct-данных во время претрейна, она изначально понимает свой шаблон чата. ⚠️ Чекпоинт на HF обучался всего на 47000 шагах и является академическим проектом. ▶️ Локальный инференс:

# Load the model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("tomg-group-umd/huginn-0125", torch_dtype=torch.bfloat16, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("tomg-group-umd/huginn-0125")


# Modifying the Model's Depth at Test Time
input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
model.eval()
model.to(device)

model(input_ids, num_steps=32)


# Model can be used like a normal HF model
# You can provide `num_steps` directly to the `generate` call
model.eval()
config = GenerationConfig(max_length=256, stop_strings=["<|end_text|>", "<|end_turn|>"], 
                          use_cache=True,
                          do_sample=False, temperature=None, top_k=None, top_p=None, min_p=None, 
                          return_dict_in_generate=True,
                          eos_token_id=65505,bos_token_id=65504,pad_token_id=65509)


input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
outputs = model.generate(input_ids, config, tokenizer=tokenizer, num_steps=16)

📌 Лицензирование: Apache 2.0 License. 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #LatentReasoning

ZyphraAI только что выпустили - лицензированную Apache 2.0, многоязычную модель Zonos для преобразования текста в речь с МГНОВЕННЫМ клонированием голоса! 🔥 > TTS с нулевой скоростью задержки и клонированием голоса: введите текст и 10–30-секундный образец речи для создания высококачественной генерации текста в речь > Качество звука и контроль эмоций: точная настройка скорости речи, высоты тона, частоты, качества звука и эмоций (например, счастья, гнева, грусти, страха) > Позволяет реализовать такие фишки, как шепот, которые трудно реализовать с помощью одного лишь клонирования голоса. > Многоязычная поддержка: поддерживает английский, японский, китайский, французский и немецкий языки. > Высокая производительность: работает примерно в 2 раза быстрее реального времени на RTX 4090 > Доступно на Hugging Face Hub 🤗 apt install espeak-ng https://huggingface.co/Zyphra/Zonos-v0.1-hybrid #ai #ml #tts #opensource #ZyphraAI

🔥 Hugging Face только что выпустил Open R1 Math — крупномасштабный набор данных для математического ризонинга > 220 тыс. математических задач > На ровне DeepSeek R1 7B менее чем с 25% данных SFT по Math > 800 тыс. необработанных трассировок рассуждений R1 > Собран на основе Numina Math 1.5 > Apache 2.0 лицензирован https://huggingface.co/datasets/open-r1/OpenR1-Math-220k

🔥 Supervision — это библиотека с открытым исходным кодом, разработанная компанией Roboflow, предназначенная для работы с компьютерным зрением! 🌟 Она предоставляет широкий набор инструментов для предобработки изображений, аннотирования данных, обработки результатов детекции объектов и взаимодействия с популярными моделями компьютерного зрения. Supervision позволяет легко загружать, изменять и комбинировать датасеты, а также визуализировать предсказания моделей, что делает ее полезным инструментом для исследователей и разработчиков. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки. Что будет на вебинаре: 🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д. 🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок 🟠С помощью Plotly построим интерактивные графики и сделаем выводы 🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах Вебинар проведет Андрон Алексанян, CEO Simulative 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

🔥 Chatbox — это удобное настольное приложение, разработанное для взаимодействия с различными крупными языковыми моделями, такими как GPT, Claude, Gemini и Ollama! 🌟 Оно доступно для операционных систем Windows, macOS и Linux, предоставляя пользователям возможность интеграции и использования возможностей этих моделей непосредственно на своем компьютере. 🔐 Лицензия: GPL-3.0 🖥 Github @data_analysis_ml

🤖 Абсурдность нашего предстоящего будущего

⭐️А вы знали, что можно легко преобразовать репозиторий GitHub для работы с LLM? В мире современных технологий, где искусственный интеллект и машинное обучение становятся всё более распространёнными, важно уметь эффективно использовать доступные инструменты. Одним из таких инструментов является возможность работы с репозиториями на GitHub для обучения и взаимодействия с языковыми моделями (LLM). 👾👾Как это сделать? Если вы хотите адаптировать репозиторий GitHub для работы с LLM, вам нужно лишь внести небольшое изменение в URL. Вместо стандартного адреса с «hub» замените его на «ingest». Это простое действие позволит вам интегрировать данные из репозитория в ваши модели, что значительно упростит процесс обработки и анализа информации. 🤖Пример Предположим, у вас есть URL репозитория: https://github.com/username/repository Чтобы преобразовать его для работы с LLM, просто замените «hub» на «ingest»: https://gitingest.com/username/repository Теперь вы можете использовать этот новый адрес для загрузки данных и обучения вашей модели. 👍🏻👍🏻👍🏻 @data_analysis_ml

✔️ ИИ от DeepMind превосходит золотых медалистов Международной математической олимпиады в решении задач по геометрии. ИИ AlphaGeometry2, улучшенная версия системы AlphaGeometry, превзошла среднего золотого медалиста в решении задач по геометрии на международном математическом конкурсе. DeepMind утверждает, что их ИИ может решить 84% всех олимпиадных задач по геометрии за последние 25 лет. AlphaGeometry2 состоит из языковой модели из семейства Gemini и "символьного движка". Модель Gemini помогает символьному движку, который использует математические правила для вывода решений задач, приходить к возможным доказательствам для целевой теоремы. AlphaGeometry2 считает проблему "решенной", когда приходит к доказательству, которое объединяет предположения Gemini с принципами символьного движка. DeepMind создала свои собственные синтетические данные для обучения AlphaGeometry2, сгенерировав более 300 миллионов теорем и доказательств различной сложности. 🔗 techcrunch.com

✔️ Mistral AI обновила Le Chat: быстрый инференс, мобильные приложения и новые тарифы. Главное в обновлении - новая функция "Flash Answers", которая генерирует ответы со скоростью до 1000 слов в секунду. Mistral AI утверждает, что это делает Le Chat самым быстрым AI-ассистентом на данный момент. Обновление включает в себя интерпретатор кода с возможностью его запуска, возможность научного анализа статей и создание визуализаций. За генерацию изображений в сервисе отвечает модель Flux Ultra от Black Forest Labs. Mistral также презентовал новую структуру ценообразования с 4 тарифными планами: бесплатный базовый план, план Pro за $14.99 в месяц, план Team за $24.99 в месяц на пользователя и план Enterprise с индивидуальным ценообразованием для крупных организаций. Le Chat теперь доступен на iOS и Android. mistral.ai ✔️ OpenAI планирует выпуск устройства на базе ChatGPT. OpenAI подтвердила разработку потребительского устройства на базе ChatGPT. По словам Сэма Альтмана, компания планирует разрабатывать его в сотрудничестве с несколькими компаниями, предполагая, что голосовой ввод станет основным способом взаимодействия. Поскольку над дизайном работает Джони Айв, бывший дизайнер Apple, ожидается, что устройство будет обладать привлекательным внешним видом. Конфиденциальность также является ключевым моментом, особенно если устройство будет оснащено камерами и микрофонами. techradar.com ✔️ Google смягчает ограничения на использование ИИ в оборонных контрактах. Google пересмотрела свои этические принципы в отношении ИИ, отменив прежний запрет на использование его в оружии и системах наблюдения. Компания объясняет это решение растущей глобальной конкуренцией за лидерство в сфере ИИ. В новой редакции принципов акцент делается на человеческом контроле и тестировании, чтобы обеспечить соответствие международному праву и правам человека и минимизировать непреднамеренные или вредные последствия. Другие крупные ИИ-вендоры - OpenAI, Anthropic и Microsoft уже начали сотрудничество с оборонными подрядчиками или предоставляют свои технологии американским военным. washingtonpost.com ✔️ Microsoft представила методы низкобитного квантования для развертывания LLM на периферийных устройствах. Методы, предложенные Microsoft - это: компилятор типов данных Ladder, библиотека T-MAC mpGEMM и аппаратная архитектура LUT Tensor Core. Ladder преобразует неподдерживаемые форматы данных в аппаратно-совместимые представления, библиотека T-MAC mpGEMM оптимизирует вычисления смешанной точности, используя метод на основе таблицы поиска (LUT), а архитектура LUT Tensor Core представляет собой специализированный ускоритель, предназначенный для низкобитного квантования. Их совокупность позволяет LLM эффективно работать на широком спектре оборудования, от ноутбуков до маломощных IoT-устройств. В тестах библиотека T-MAC достигла 48 токенов в секунду для модели 3B BitNet-b1.58 на Surface Laptop 7 и 11 токенов в секунду на Raspberry Pi 5. microsoft.com ✔️ Inspira Technologies разработала датчик оксигенации на базе ИИ. Израильская компания Inspira Technologies OXY анонсировала интеграцию кислородного индикатора нового поколения в свою технологию HYLA на базе искусственного интеллекта, которая изменит неотложную помощь, обеспечив мониторинг оксигенации тканей в реальном времени без традиционного забора крови. Индикатор на базе ИИ предназначен для непрерывного мониторинга уровня кислорода для раннего выявления гипоксии и других респираторных осложнений. Сейчас датчики HYLA проходят клиническую проверку в медицинском центре Sheba, и Inspira ожидает, что вскоре будут опубликованы предварительные результаты, а подача в FDA для получения разрешения регулирующих органов ожидается во второй половине 2025 года. prnewswire.com ✔️ SMOL-GPT Простая реализация PyTorch для обучения вашего собственного LLM с нуля. Репозитория создан для образовательных целей изучения больших языковых моделей на практике. Github ✔️ SYNTHETIC-1: новый крупнейший синтетический датасет, состоящий из 1,4 млн задач, охватывающих математику, код, науку. Dataset #news #ai #ml

Хочешь обучить нейронку, но не хватает локальных мощностей? На новую видеокарту не хватает денег? Зачем покупать, когда можно арендовать!  immers.cloud — это облачный сервис, предоставляющий доступ к мощным видеокартам для самых различных задач. 💰 Экономия: тарифы от 23 рублей/час, оплата только за фактическое время использования ⚡️ Быстрый старт: видеокарты и серверы готовы к работе за пару минут 📈 Гибкость и масштабирование до любой конфигурации: 11 видеокарт на выбор 🔧 Удобство:готовые образы для ML задач, чтобы не тратить время на настройку 🎁 Подготовили приятный бонус для тебя: +20% к пополнению баланса

🐼 Pandas умирает медленной и мучительной смертью. Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее. Проблема альтернатив Pandas в том, что никто не хочет изучать новый API. Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины. Я уже давно работаю с FireDucks 🦆 Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее. Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python 
$ python -mfireducks.imhook yourfile[.]py

FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API. Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks. FireDucks побеждает с отрывом. ⛓️Здесь находится репозиторий FireDucks на GitHub: https://github.com/fireducks-dev/fireducks ⛓️Если вы хотите пощупать либу, откройте этот пример: https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo ⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот: https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb ⛓️И наконец, бенчмарки, с которыми стоит ознакомиться: https://fireducks-dev.github.io/docs/benchmarks/ @pythonl #fireducks #Pandas #dataanalysis #datascience #python #opensource

📱 Гайд: Как правильно пользоваться думающими ИИ В этом гайде рассказывается о тонкостях работы с современными ИИ-моделями, которые способны «думать». Автор делится практическими советами, как взаимодействовать с такими системами, чтобы извлекать максимум пользы из их возможностей. Что вы узнаете? — Как правильно формулировать запросы для получения точных и полезных ответов. — Ошибки, которых стоит избегать при работе с ИИ. — Подходы к оптимизации взаимодействия с «думающими» моделями. ⛓️ Ссылка на гайд @data_analysis_ml

Приглашаем аналитиков на дружескую встречу в Яндексе! 15 февраля в штаб-квартире Яндекса «Красная Роза» команды Алисы и Автономного Транспорта поделятся своим опытом и расскажут: - Как живет аналитика в Алисе, Умных Устройствах и умном доме - Как устроена аналитика технологий в Автономном Транспорте и в роботе-доставщике После основной части можно будет отправиться на экскурсию по офису, пройти диагностику навыков и задать все интересующие вопросы. ➡️Мы ждем аналитиков с опытом на Python от 3 лет. Успейте зарегистрироваться до 13 февраля! До встречи!