Анализ данных (Data analysis)

🔥 deep-research - открытая реализация нового агента Deep Research от OpenAI! 💡 Цель проекта — предоставить возможности глубокого обучениы без необходимости оплачивать платные сервисы, предлагая настраиваемые параметры для регулирования глубины и широты исследования. Пользователи могут запускать агента в течение разного времени — от 5 минут до нескольких часов — в зависимости от потребностей, при этом система автоматически адаптируется к заданным параметрам. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Профессия аналитика данных — одна из самых высокооплачиваемых и перспективных в сфере IT. На курсе «Аналитик данных» от Нетологии вы с нуля освоите необходимые навыки за 7 месяцев под руководством опытных наставников-практиков. Вы изучите SQL, Python, Power BI — ключевые инструменты для работы с данными. Научитесь использовать статистические методы, строить и проверять гипотезы. Создадите 4 полноценных проекта для своего портфолио и выполните более 20 практических заданий. А по окончании курса получите диплом о профпереподготовке и сможете претендовать на должность junior-аналитика. Начните свой путь в сфере аналитики данных — присоединяйтесь к программе. Промокод BIGDATA45 даст повышенную скидку 45% от цены курса. Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5x7Td5z

✔ NanoSage — это продвинутый инструмент для рекурсивного поиска и генерации отчётов, который работает локально на вашем компьютере, используя небольшие языковые модели. NanoSage представляет собой «глубокого исследовательского ассистента», который: - Выполняет рекурсивный поиск: система разбивает исходный запрос на подзапросы, чтобы исследовать тему с разных сторон. - Интегрирует данные из нескольких источников: объединяются результаты локальных документов и веб-поиска, что позволяет получить максимально полное представление по теме. Генерирует структурированные отчёты: итоговый результат оформляется в виде подробного Markdown-отчёта с оглавлением, отражающим путь исследования. (См. подробное описание в ) Как работает NanoSage 1. Подготовка и конфигурация Настройка параметров: с помощью командной строки задаются основные параметры, такие как основной запрос (--query), глубина рекурсии (--max_depth), использование веб-поиска (--web_search) и выбор модели для поиска. Конфигурация через YAML: дополнительные настройки, например, минимальный порог релевантности, ограничение на длину запроса и др., задаются в конфигурационном файле. 2. Рекурсивный поиск и построение дерева знаний Расширение запроса: исходный запрос обогащается с помощью метода «chain-of-thought», что позволяет выявить скрытые аспекты темы. Генерация подзапросов: система автоматически разбивает исходный запрос на несколько релевантных подзапросов, каждый из которых анализируется отдельно. Фильтрация по релевантности: применяется алгоритм для оценки релевантности каждого подзапроса, что помогает избежать «провалов» и ненужных отклонений от темы. Сбор данных: для каждого релевантного подзапроса NanoSage загружает веб-страницы, анализирует локальные файлы и суммирует полученную информацию. 3. Генерация финального отчёта : итоговый отчёт составляется с использованием LLM модели (например, Gemma 2B), которая интегрирует все собранные данные в связное и подробное описание. Структурирование информации: результат оформляется в виде Markdown-документа, где оглавление представляет собой граф поискового процесса, а каждый раздел подробно описывает полученные результаты. (Подробнее о внутренней архитектуре см. и ) - Интеграция разных источников данных: Объединение информации из веб-ресурсов и локальных документов повышает полноту и точность исследования. - Баланс глубины и широты поиска: Использование метода Монте-Карло помогает находить баланс между детальным анализом отдельных аспектов и широким охватом темы. Гибкость и настройка: Параметры, такие как выбор модели для поиска, глубина рекурсии и порог релевантности, можно легко настроить под конкретные задачи. Если вам важны приватность, гибкость и детальный анализ информации, NanoSage может стать отличным решением для ваших исследовательских задач. ▪ Github #cli #local algorithms #python3 report #knowledgebase #g#ollama

🎥 Модель генерации видео Veo 2 теперь доступна в YouTube Shorts. С помощью функции Dream Screen создатели контент могут: ✨ Создавать новые клипы, которые органично вписываются в повествование на видео, с помощью текстовых промптов. ✨ Использовать eo 2 для создания фонов к видео. https://blog.youtube/news-and-events/veo-2-shorts/

🧠 OpenThinker-32B: похоже это лучшая модель рассуждений обученная на открытых данных, созданная на основе DeepSeek-R1. Ммодель 32B превосходит все модели 32B, включая DeepSeek-R1-Distill-Qwen-32B (закрытую модель данных) в MATH500 и GPQA Diamond, и показывает схожую производительность на других бенчмарках. Blog Post: https://open-thoughts.ai/blog/scale Model Link: https://huggingface.co/open-thoughts/OpenThinker-32B Dataset: https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k Data Curation Code: https://github.com/open-thoughts/open-thoughts Evaluation Code: https://github.com/mlfoundations/evalchemy @data_analysis_ml

🧍 MDM: Human Motion Diffusion Model Обновленная модель для реалистичной генерации человеческих движений. 🎯 Модель поддерживает технологию Text-to-motion, которая позволяет создавать управляемые движение на основе текстовых промптов. Экспериментировать можно либо с готовыми моделями, либо тренируя собственные, используя готовые скрипты и данные из коллекции трёхмерных изображений людей HumanML3D. ✨ Сверхбыстрая генерация ♾ Создает реалистичные, динамичные движения 🔄 Плавное переключение движения на лету ▪Github: https://github.com/GuyTevet/motion-diffusion-model ▪Paper: https://arxiv.org/abs/2209.14916 ▪Demo: https://replicate.com/arielreplicate/motion_diffusion_model @data_analysis_ml

🌟 GenBI AI Agent с открытым исходным кодом, который позволяет разработчикам, работающим с данными, использовать свои данные для создания текстовых SQL-преобразований, диаграмм, электронных таблиц, отчетов и бизнес-аналитики. 📊 Помогает вам взаимодействовать с данными для генерации SQL, диаграмм и отчетов, используя выбранный вами LLM. Он предоставляет решение GenBI с открытым исходным кодом для команд, работающих с данными и ищущих информацию без кода. Что он предлагает:ц → Wren AI — это агент GenBI AI с открытым исходным кодом, который позволяет командам, работающим с данными, взаимодействовать со своими данными через промпты. → Он генерирует запросы Text-to-SQL, диаграммы, электронные таблицы, отчеты и аналитические данные BI. → Поддерживает несколько LLM, включая OpenAI, Azure OpenAI, DeepSeek, Google Gemini, Vertex AI, Bedrock, Anthropic, Groq, Ollama и Databricks. → Wren AI позволяет пользователям задавать вопросы о данных на нескольких языках и предоставляет созданные ИИ сводки и визуализации результатов запросов. → Он включает в себя исследование данных на основе искусственного интеллекта, семантическое индексирование для контекста и позволяет экспортировать данные в Excel и Google Таблицы. — curl -L https://github.com/Canner/WrenAI/releases/latest/download/wren-launcher-darwin.tar.gz | tar -xz && ./wren-launcher-darwin ⚡️ Github @data_analysis_ml

STORM — LLM, которая позволяет писать статьи в стиле Википедии с нуля на основе результатов поиска в Интернете. Имитирует разговоры между автором Википедии и экспертом по теме, опирающимся на интернет-источники. Это помогает системе обновлять свое понимание темы и задавать уточняющие вопросы. → Функция Co-STORM для совместного курирования знаний человеком и ИИ. Она использует протокол совместного дискурса для плавного взаимодействия между пользователями-людьми, экспертами Co-STORM LLM и агентом-модератором. → Поддерживает различные языковые модели через litellm и модули поиска, такие как YouRM, BingSearch и VectorRM. Он предлагает гибкость в выборе компонентов на основе стоимости и качества. → Содержит примеры скриптов для быстрого начала работы со STORM и Co-STORM, а также инструкции по настройке ключей API с помощью secrets.toml. → Предлагает датасеты FreshWiki и WildSeek для исследований в области автоматического сбора знаний и сложного поиска информации. 🖥 Github @data_analysis_ml

💥OpenAI только выпустили статью Competitive Programming with Large Reasoning Models Примечательно, что o3 получил золотую медаль на IOI 2024 и рейтинг на Codeforces на уровне элитных программистов мира. В целом, эти результаты указывают на то, что масштабирование обучения с подкреплением общего назначения, а не упор на специфичные для домена методы, предлагает надежный путь к современному ИИ в областях рассуждений, таких как олимпиадное программирование. https://arxiv.org/abs/2502.06807

🌟 Масштабирование вычислений LLM с использованием скрытых рассуждений: метод с рекуррентной глубиной. Экспериментальная архитектура LLM, которая способна масштабировать вычисления за счет скрытых рассуждений в латентном пространстве путем итеративного применения рекуррентного блока, что дает возможность развернуть вычисления на произвольную глубину. Этот метод отличается от традиционных, которые увеличивают вычислительные ресурсы за счет генерации большего количества токенов. Например, в отличие от CoT, предложенный подход не требует специализированных датасетов, работает с небольшими окнами контекста и способен захватывать типы рассуждений, которые сложно выразить словами. В дополнение, модели этой архитектуры требуют меньше памяти для обучения и инференса. Тестовая модель Huginn-3.5B получила 3.5 млрд параметров и была обучена на 800 млрд. токенов (веб-страницы, научные публикации и программный код) с использованием случайного числа итераций рекуррентного блока для каждой входной последовательности. Чтобы сократить потребление памяти использовалось усеченное обратное распространение, при котором градиенты вычисляются только для последних итераций. Модель состоит из 3 основных блоков: прелюдии, рекуррентного блока и коды. Прелюдия преобразует входные данные в латентное пространство, рекуррентный блок выполняет итеративные вычисления, а кода преобразует латентное состояние обратно в вероятности токенов. Рекуррентный блок может быть повторен произвольное количество раз, позволяя модели выполнять произвольное количество вычислений перед генерацией токена. Результаты проведенных тестов на стандартных задачах ARC, HellaSwag, MMLU свидетельствуют, что Huginn-3.5B превосходит традиционные модели на задачах, требующих сложных рассуждений (математические задачи и программирование). Например, на задачах GSM8k и MATH модель показала значительное улучшение производительности при увеличении числа рекуррентных итераций. ⚠️ Модель не подвергалась файнтюну или посттренингу, но благодаря включению instruct-данных во время претрейна, она изначально понимает свой шаблон чата. ⚠️ Чекпоинт на HF обучался всего на 47000 шагах и является академическим проектом. ▶️ Локальный инференс:

# Load the model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("tomg-group-umd/huginn-0125", torch_dtype=torch.bfloat16, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("tomg-group-umd/huginn-0125")


# Modifying the Model's Depth at Test Time
input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
model.eval()
model.to(device)

model(input_ids, num_steps=32)


# Model can be used like a normal HF model
# You can provide `num_steps` directly to the `generate` call
model.eval()
config = GenerationConfig(max_length=256, stop_strings=["<|end_text|>", "<|end_turn|>"], 
                          use_cache=True,
                          do_sample=False, temperature=None, top_k=None, top_p=None, min_p=None, 
                          return_dict_in_generate=True,
                          eos_token_id=65505,bos_token_id=65504,pad_token_id=65509)


input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
outputs = model.generate(input_ids, config, tokenizer=tokenizer, num_steps=16)

📌 Лицензирование: Apache 2.0 License. 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #LatentReasoning

🌟 Масштабирование вычислений LLM с использованием скрытых рассуждений: метод с рекуррентной глубиной. Экспериментальная архитектура LLM, которая способна масштабировать вычисления за счет скрытых рассуждений в латентном пространстве путем итеративного применения рекуррентного блока, что дает возможность развернуть вычисления на произвольную глубину. Этот метод отличается от традиционных, которые увеличивают вычислительные ресурсы за счет генерации большего количества токенов. Например, в отличие от CoT, предложенный подход не требует специализированных датасетов, работает с небольшими окнами контекста и способен захватывать типы рассуждений, которые сложно выразить словами. В дополнение, модели этой архитектуры требуют меньше памяти для обучения и инференса. Тестовая модель Huginn-3.5B получила 3.5 млрд параметров и была обучена на 800 млрд. токенов (веб-страницы, научные публикации и программный код) с использованием случайного числа итераций рекуррентного блока для каждой входной последовательности. Чтобы сократить потребление памяти использовалось усеченное обратное распространение, при котором градиенты вычисляются только для последних итераций. Модель состоит из 3 основных блоков: прелюдии, рекуррентного блока и коды. Прелюдия преобразует входные данные в латентное пространство, рекуррентный блок выполняет итеративные вычисления, а кода преобразует латентное состояние обратно в вероятности токенов. Рекуррентный блок может быть повторен произвольное количество раз, позволяя модели выполнять произвольное количество вычислений перед генерацией токена. Результаты проведенных тестов на стандартных задачах ARC, HellaSwag, MMLU свидетельствуют, что Huginn-3.5B превосходит традиционные модели на задачах, требующих сложных рассуждений (математические задачи и программирование). Например, на задачах GSM8k и MATH модель показала значительное улучшение производительности при увеличении числа рекуррентных итераций. ⚠️ Модель не подвергалась файнтюну или посттренингу, но благодаря включению instruct-данных во время претрейна, она изначально понимает свой шаблон чата. ⚠️ Чекпоинт на HF обучался всего на 47000 шагах и является академическим проектом. ▶️ Локальный инференс:

# Load the model
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("tomg-group-umd/huginn-0125", torch_dtype=torch.bfloat16, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained("tomg-group-umd/huginn-0125")


# Modifying the Model's Depth at Test Time
input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
model.eval()
model.to(device)

model(input_ids, num_steps=32)


# Model can be used like a normal HF model
# You can provide `num_steps` directly to the `generate` call
model.eval()
config = GenerationConfig(max_length=256, stop_strings=["<|end_text|>", "<|end_turn|>"], 
                          use_cache=True,
                          do_sample=False, temperature=None, top_k=None, top_p=None, min_p=None, 
                          return_dict_in_generate=True,
                          eos_token_id=65505,bos_token_id=65504,pad_token_id=65509)


input_ids = tokenizer.encode("The capital of Westphalia is", return_tensors="pt", add_special_tokens=True).to(device)
outputs = model.generate(input_ids, config, tokenizer=tokenizer, num_steps=16)

📌 Лицензирование: Apache 2.0 License. 🟡Модель 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #LatentReasoning

ZyphraAI только что выпустили - лицензированную Apache 2.0, многоязычную модель Zonos для преобразования текста в речь с МГНОВЕННЫМ клонированием голоса! 🔥 > TTS с нулевой скоростью задержки и клонированием голоса: введите текст и 10–30-секундный образец речи для создания высококачественной генерации текста в речь > Качество звука и контроль эмоций: точная настройка скорости речи, высоты тона, частоты, качества звука и эмоций (например, счастья, гнева, грусти, страха) > Позволяет реализовать такие фишки, как шепот, которые трудно реализовать с помощью одного лишь клонирования голоса. > Многоязычная поддержка: поддерживает английский, японский, китайский, французский и немецкий языки. > Высокая производительность: работает примерно в 2 раза быстрее реального времени на RTX 4090 > Доступно на Hugging Face Hub 🤗 apt install espeak-ng https://huggingface.co/Zyphra/Zonos-v0.1-hybrid #ai #ml #tts #opensource #ZyphraAI

🔥 Hugging Face только что выпустил Open R1 Math — крупномасштабный набор данных для математического ризонинга > 220 тыс. математических задач > На ровне DeepSeek R1 7B менее чем с 25% данных SFT по Math > 800 тыс. необработанных трассировок рассуждений R1 > Собран на основе Numina Math 1.5 > Apache 2.0 лицензирован https://huggingface.co/datasets/open-r1/OpenR1-Math-220k

🔥 Supervision — это библиотека с открытым исходным кодом, разработанная компанией Roboflow, предназначенная для работы с компьютерным зрением! 🌟 Она предоставляет широкий набор инструментов для предобработки изображений, аннотирования данных, обработки результатов детекции объектов и взаимодействия с популярными моделями компьютерного зрения. Supervision позволяет легко загружать, изменять и комбинировать датасеты, а также визуализировать предсказания моделей, что делает ее полезным инструментом для исследователей и разработчиков. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Разбираем тестовое задание на позицию Junior Аналитика в Яндекс Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в подразделении Яндекс Картинки. Что будет на вебинаре: 🟠С помощью Python решим рутинные задачи - разархивировать файлы, прочитать большой json и т.д. 🟠С помощью Pandas проанализируем поисковые запросы Яндекс.Картинок 🟠С помощью Plotly построим интерактивные графики и сделаем выводы 🟠Найдем статистически значимую разницу в поведении пользователей на разных устройствах Вебинар проведет Андрон Алексанян, CEO Simulative 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

🔥 Chatbox — это удобное настольное приложение, разработанное для взаимодействия с различными крупными языковыми моделями, такими как GPT, Claude, Gemini и Ollama! 🌟 Оно доступно для операционных систем Windows, macOS и Linux, предоставляя пользователям возможность интеграции и использования возможностей этих моделей непосредственно на своем компьютере. 🔐 Лицензия: GPL-3.0 🖥 Github @data_analysis_ml

🤖 Абсурдность нашего предстоящего будущего

⭐️А вы знали, что можно легко преобразовать репозиторий GitHub для работы с LLM? В мире современных технологий, где искусственный интеллект и машинное обучение становятся всё более распространёнными, важно уметь эффективно использовать доступные инструменты. Одним из таких инструментов является возможность работы с репозиториями на GitHub для обучения и взаимодействия с языковыми моделями (LLM). 👾👾Как это сделать? Если вы хотите адаптировать репозиторий GitHub для работы с LLM, вам нужно лишь внести небольшое изменение в URL. Вместо стандартного адреса с «hub» замените его на «ingest». Это простое действие позволит вам интегрировать данные из репозитория в ваши модели, что значительно упростит процесс обработки и анализа информации. 🤖Пример Предположим, у вас есть URL репозитория: https://github.com/username/repository Чтобы преобразовать его для работы с LLM, просто замените «hub» на «ingest»: https://gitingest.com/username/repository Теперь вы можете использовать этот новый адрес для загрузки данных и обучения вашей модели. 👍🏻👍🏻👍🏻 @data_analysis_ml

✔️ ИИ от DeepMind превосходит золотых медалистов Международной математической олимпиады в решении задач по геометрии. ИИ AlphaGeometry2, улучшенная версия системы AlphaGeometry, превзошла среднего золотого медалиста в решении задач по геометрии на международном математическом конкурсе. DeepMind утверждает, что их ИИ может решить 84% всех олимпиадных задач по геометрии за последние 25 лет. AlphaGeometry2 состоит из языковой модели из семейства Gemini и "символьного движка". Модель Gemini помогает символьному движку, который использует математические правила для вывода решений задач, приходить к возможным доказательствам для целевой теоремы. AlphaGeometry2 считает проблему "решенной", когда приходит к доказательству, которое объединяет предположения Gemini с принципами символьного движка. DeepMind создала свои собственные синтетические данные для обучения AlphaGeometry2, сгенерировав более 300 миллионов теорем и доказательств различной сложности. 🔗 techcrunch.com

✔️ Mistral AI обновила Le Chat: быстрый инференс, мобильные приложения и новые тарифы. Главное в обновлении - новая функция "Flash Answers", которая генерирует ответы со скоростью до 1000 слов в секунду. Mistral AI утверждает, что это делает Le Chat самым быстрым AI-ассистентом на данный момент. Обновление включает в себя интерпретатор кода с возможностью его запуска, возможность научного анализа статей и создание визуализаций. За генерацию изображений в сервисе отвечает модель Flux Ultra от Black Forest Labs. Mistral также презентовал новую структуру ценообразования с 4 тарифными планами: бесплатный базовый план, план Pro за $14.99 в месяц, план Team за $24.99 в месяц на пользователя и план Enterprise с индивидуальным ценообразованием для крупных организаций. Le Chat теперь доступен на iOS и Android. mistral.ai ✔️ OpenAI планирует выпуск устройства на базе ChatGPT. OpenAI подтвердила разработку потребительского устройства на базе ChatGPT. По словам Сэма Альтмана, компания планирует разрабатывать его в сотрудничестве с несколькими компаниями, предполагая, что голосовой ввод станет основным способом взаимодействия. Поскольку над дизайном работает Джони Айв, бывший дизайнер Apple, ожидается, что устройство будет обладать привлекательным внешним видом. Конфиденциальность также является ключевым моментом, особенно если устройство будет оснащено камерами и микрофонами. techradar.com ✔️ Google смягчает ограничения на использование ИИ в оборонных контрактах. Google пересмотрела свои этические принципы в отношении ИИ, отменив прежний запрет на использование его в оружии и системах наблюдения. Компания объясняет это решение растущей глобальной конкуренцией за лидерство в сфере ИИ. В новой редакции принципов акцент делается на человеческом контроле и тестировании, чтобы обеспечить соответствие международному праву и правам человека и минимизировать непреднамеренные или вредные последствия. Другие крупные ИИ-вендоры - OpenAI, Anthropic и Microsoft уже начали сотрудничество с оборонными подрядчиками или предоставляют свои технологии американским военным. washingtonpost.com ✔️ Microsoft представила методы низкобитного квантования для развертывания LLM на периферийных устройствах. Методы, предложенные Microsoft - это: компилятор типов данных Ladder, библиотека T-MAC mpGEMM и аппаратная архитектура LUT Tensor Core. Ladder преобразует неподдерживаемые форматы данных в аппаратно-совместимые представления, библиотека T-MAC mpGEMM оптимизирует вычисления смешанной точности, используя метод на основе таблицы поиска (LUT), а архитектура LUT Tensor Core представляет собой специализированный ускоритель, предназначенный для низкобитного квантования. Их совокупность позволяет LLM эффективно работать на широком спектре оборудования, от ноутбуков до маломощных IoT-устройств. В тестах библиотека T-MAC достигла 48 токенов в секунду для модели 3B BitNet-b1.58 на Surface Laptop 7 и 11 токенов в секунду на Raspberry Pi 5. microsoft.com ✔️ Inspira Technologies разработала датчик оксигенации на базе ИИ. Израильская компания Inspira Technologies OXY анонсировала интеграцию кислородного индикатора нового поколения в свою технологию HYLA на базе искусственного интеллекта, которая изменит неотложную помощь, обеспечив мониторинг оксигенации тканей в реальном времени без традиционного забора крови. Индикатор на базе ИИ предназначен для непрерывного мониторинга уровня кислорода для раннего выявления гипоксии и других респираторных осложнений. Сейчас датчики HYLA проходят клиническую проверку в медицинском центре Sheba, и Inspira ожидает, что вскоре будут опубликованы предварительные результаты, а подача в FDA для получения разрешения регулирующих органов ожидается во второй половине 2025 года. prnewswire.com ✔️ SMOL-GPT Простая реализация PyTorch для обучения вашего собственного LLM с нуля. Репозитория создан для образовательных целей изучения больших языковых моделей на практике. Github ✔️ SYNTHETIC-1: новый крупнейший синтетический датасет, состоящий из 1,4 млн задач, охватывающих математику, код, науку. Dataset #news #ai #ml