Анализ данных (Data analysis)

🎆 Harbor — локальный стек для работы с LLM в один клик. Этот инструмент упрощает запуск локальных языковых моделей и связанных сервисов — от веб-интерфейсов до RAG и голосового взаимодействия. Всё работает в Docker и настраивается парой команд. Harbor автоматически интегрирует компонентов, например, SearXNG сразу подключается к Open WebUI для поиска по вебу, а ComfyUI — для генерации изображений. Подходит тем, кто хочет быстро развернуть локальную среду для экспериментов с ИИ. 🤖 GitHub @data_analysis_ml

⚡ VoltAgent — TypeScript-фреймворк для создания автономных AI-агентов. Этот open-source проект предлагает готовую инфраструктуру для разработки сложных агентов на базе LLM, избавляя от необходимости писать всё с нуля. С его помощью можно создавать как простых чат-ботов, так и многоагентные системы с координацией через Supervisor и сложной workflow-логикой. Фреймворк поддерживает популярные языковые модели, интеграцию с внешними API через Model Context Protocol и даже голосовые интерфейсы через @voltagent/voice. Для отладки есть VoltOps — платформа с визуализацией работы агентов. 🤖 GitHub @data_analysis_ml

🚗 python-can — универсальная библиотека для работы с CAN-шиной из Python. Этот проект предоставляет удобные абстракции для взаимодействия с различными CAN-адаптерами и поддерживает как классический CAN, так и CAN FD. Библиотека обладает кроссплатформенностью и поддерживает множество бэкендов, включая SocketCAN, Kvaser, PCAN и другие. Полезно для автомобильной диагностики, робототехники и промышленной автоматизации. 🤖 GitHub

🎨 Откуда у диффузионок креативность? Команда AI VK Hub разбирает свежую статью с ICML 2025: Достаточно двух свойств свёрточных сетей — локальности и инвариантности к сдвигам, чтобы генерировать осмысленные и разнообразные изображения, даже без нейросети. Аналитический процесс с этими ограничениями почти не уступает ResNet и U-Net по качеству — и отлично объясняет поведение диффузионных моделей.

📊 ManusAI теперь умеет визуализировать данные красиво и без боли Загружаете сырые данные → описываете, что хотите увидеть → выбираете тип графика → Manus сам всё строит. Мы вот так выяснили, что среди трёх видов пингвинов — Адели, Антарктических и Генту — самые пухлые и длинноластые оказались именно генту. 🐧 Подходит идеально для: — дашбордов и презентаций — отчётов для коллег и инвесторов — исследовательского анализа без кода 🎨 Приятный интерфейс, поддержка CSV, markdown-выгрузка и PDF. И всё это — бесплатно. Попробовать: https://manus.ai @data_analysis_ml #manus

⚙️ Rig — современная Rust-библиотека для работы с LLM, предлагающая унифицированный интерфейс для разных провайдеров ИИ. Проект выделяется акцентом на модульность и эргономику, позволяя интегрировать языковые модели в приложения с минимальным бойлерплейтом. Инструмент уже используют в продакшене такие проекты, как Dria Compute Node и Linera Protocol. Библиотека поддерживает не только чат-модели вроде GPT-4, но и векторные базы данных, включая MongoDB и LanceDB. 🤖 GitHub @data_analysis_ml

Рискните зарегистрироваться на One Day Offer и получите работу в команду блока «Риски» ⚡️ 25 июля Сбер приглашает дата-инженеров и аналитиков данных пройти ускоренный отбор и открыть доступ к реально интересным задачам в 120+ витринах и 25+ петабайтах данных. Встречаемся онлайн 25 июля в 10:30 — ссылка на регистрацию здесь!

🛠️ Вышел Public Roadmap для Gemini CLI — команды хотят создать мощного, open-source Coding Agent, ориентированного на сообщество. Проект развивается сразу по 4 ключевым направлениям: 1. Extensible CLI должен быть легко расширяемым под любые среды и сценарии: кастомные slash-команды, удалённые протоколы, запуск .gemini.md файлов с пользовательскими тулзами. 2. Everywhere Агент можно запускать как фоновый процесс в разных окружениях: локально, в контейнерах, GitHub Actions, облаке. Поддерживается делегирование задач субагентам. 3. Intelligent Фокус на качестве моделей и инструментов. Цель — попасть в топ по метрикам вроде SWE Bench. Все критические баги (P0) будут закрыты до релиза версии 1.0. 4. Open Source Проект строится в диалоге с сообществом: быстрое реагирование на ишью и PR’ы, минимальный бэклог и удобные процессы участия. 🔄 Workstreams уже распределены: - Качество модели (улучшение рассуждений, устранение повторов) - Производительность (кеширование, умная маршрутизация моделей) - Расширяемость (агенты в фоне, деплой в облако) - Автоматизация сообщества (улучшение dev-флоу) 📌 Если хочешь участвовать в разработке следующего поколения AI-инструментов для кодинга — сейчас самое время подключиться к Gemini CLI. https://github.com/google-gemini/gemini-cli/discussions/4226

Как уменьшить расходы на КХД в 7 раз и не отстать от AI гонки? Нужно использовать КХД на архитектуре Lakehouse. 74% западных корпораций уже мигрировали на архитектуру Lakehouse, которая объединяет сильные стороны DWH и Data Lake, а также служит фундаментом для быстрого внедрения AI-инициатив. Протестируйте VK Data Lakehouse — КХД нового поколения для уменьшения стоимости хранения данных и ускорения аналитики до 10 раз. → Дешевое хранение данных в S3-хранилище. Стоимость хранения 1 ГБ с репликацией в облаке уменьшается в 10 раз — с 30 до 3 рублей по сравнению с DWH. → Транзакционность для данных в S3-хранилище. Табличный формат поверх S3 обеспечивает ACID и полноценную работу в сценариях DWH. → Ускорение аналитики. MPP SQL-движок для параллельной работы с данными из разных источников без тяжелого ETL. → Уменьшение расходов за счет разделения compute и storage. Платите только за то, что используете. Нет затрат на простаивающие ресурсы. → Линейный рост затрат вместо экспоненциального при масштабировании. → Не нужно содержать отдельные команды под DWH и Data Lake. → Универсальное решение для работы с любым объемом данных. От гигабайт до сотен петабайт. Без сложного масштабирования и миграций. → Работа с ML становится быстрее без рисков уронить DWH. DS команда может экспериментировать с ad hoc запросами без опаски уронить DWH и BI. Чтобы получить до 150 000 бонусных рублей для тестирования VK Data Lakehouse в VK Cloud с поддержкой архитекторов: 👉Оставляйте заявку Будем рядом на всех этапах пилота и поможем довести MVP до результата.

⚡️ Klavis AI — открытая платформа для интеграции MCP в AI-приложения. Проект предлагает готовые решения для работы с популярными сервисами вроде YouTube, Gmail и GitHub через единый API, избавляя разработчиков от необходимости писать клиентский код для каждого сервиса. Инструмент имеет поддержку мультиплатформенных сценариев. Klavis позволяет одновременно использовать инструменты разных сервисов через единый интерфейс. Есть возможность как облачного использования, так и self-hosted развертывания. 🤖 GitHub @data_analysis_ml

Не прошло и дня: эра 3D-вайфу на базе ИИ набирает обороты. Первые open-source версии этого чуда уже на доступны на GitHub https://github.com/Jackywine/Bella @data_analysis_ml #ai #ml

🔥 Бывший сотрудник OpenAI поделился откровенными впечатлениями о годе работы внутри одной из самых обсуждаемых компаний мира. Он присоединился к команде в мае 2024, ушёл три недели назад — и решил написать личные размышления, пока всё ещё свежо в памяти. Он подчёркивает: никаких скандалов или внутренних конфликтов — просто желание снова что-то строить с нуля. Несмотря на это, он признаёт: сложно уйти с работы, где ты видишь рождение AGI своими глазами и участвуешь в запуске Codex. Культура OpenAI — это хаос, скорость и независимость. Компания за год выросла с 1000 до более чем 3000 сотрудников. Почти все руководители делают совершенно другую работу, чем пару лет назад. И всё внутри строится снизу вверх: roadmap’ов не было, а идеи рождались и запускались без бюрократии. Всё общение происходит в Slack — никаких email, почти никакого планирования. Команды могут быть хаотичны и перегружены, но часто это работает: если идея крутая, люди просто начинают делать, и вокруг появляется команда. Руководители не мешают, а помогают — особенно в исследовательских командах. Исследователь воспринимается как мини-руководитель: выбрал интересную задачу — вперёд. Главное — не «казаться», а «делать». Политика и презентации — не в цене. Лучшие идеи побеждают. OpenAI умеет разворачиваться на ходу. Как только появляется новая информация, стратегия может кардинально поменяться — и в этом сила. Вдохновлённый атмосферой Segment, автор признаёт: OpenAI удалось сохранить эту гибкость даже при таком масштабе. Закрытость — часть культуры. Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри. Но при этом она остаётся самой открытой из «больших AI-лабораторий»: модели попадают в API, доступны не только корпорациям, но и отдельным пользователям. Внимание к реальным рискам (злоупотребления, манипуляции, self-harm) — важный фокус внутри. Хоть фундаментальные угрозы (в духе "intelligence explosion") тоже обсуждаются, упор в работе на конкретные и прикладные сценарии. Технологически OpenAI — монорепозиторий на Python, немного Rust и Go. Всё крутится на Azure, но доверяют только 2–3 сервисам. Инфраструктура напоминает ранний Facebook: всё движется быстро, дублируется, много внутренней разработки и отсутствие строгих архитектурных комитетов. Он отдельно отметил уникальность команды Codex, с которой провёл последние 3 месяца. За 7 недель (!) они с нуля запустили продукт: с контейнерным рантаймом, fine-tuning моделей, git-интеграцией и полноценным асинхронным агентом. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку. Codex показал: будущее программирования будет похоже на общение с ассистентом, а не набор кода строка за строкой. С момента запуска Codex сгенерировал более 630 000 pull request’ов — это десятки тысяч на каждого инженера в команде. Несмотря на скандалы в пресе — тысячи людей, искренне верящих, что строят нечто важное. OpenAI остаётся одной из самых амбициозных организаций в мире: не только чат, не только API, но и hardware, агенты, изображения — и это ещё не всё. 📌 Читать @data_analysis_ml #openai #ai #ml #llm #chatgpt

💥 Исследователи из Университета Торонто представили первую в мире атаку типа Rowhammer, работающую на видеопамяти GPU — GPUHammer. Им удалось взломать защиту NVIDIA A6000 и изменять данные в памяти GDDR6, что особенно опасно для систем машинного обучения. Для атаки использовали особенности CUDA и оптимизации доступа к памяти. NVIDIA рекомендует включать ECC, но это снижает производительность на 10%. Код эксплойта уже выложен в открытый доступ. 🔗 Ссылка - *клик* @data_analysis_ml

⚡️ Skywork-R1V3 — новейшая мультимодальная LLM с открытыми весами от китайской компании SkyworkAI. Модель демонстрирует SOTA-результаты в бенчмарках мультимодального мышления, превосходя аналогичные open-source решения и некоторые проприетарные модели. Проект использует RL-дообучения для улучшения логических и визуальных цепочек рассуждений. Доступны квантованные версии для запуска на видеокартах с 30+ GB памяти. 🤖 GitHub @data_analysis_ml

🎓 Новые лекции от UCLA: *Reinforcement Learning of Large Language Models* (весна 2025) Свежий курс, полностью посвящённый обучению LLM с помощью RL. Отличный ресурс для тех, кто хочет разобраться не только в RLHF, но и в новых направлениях, которые появляются на стыке обучения с подкреплением и больших языковых моделей. 📚 Что в курсе: – Базовые принципы RL применительно к LLM – RLHF (reinforcement learning from human feedback) – RL с верифицируемыми наградами (RLVR) – RL на этапе inference: оптимизация в момент выполнения – Архитектуры, policy shaping, reward modeling и др. Это не просто обзор — это системная попытка осмыслить будущее RL для LLM, где важно не только fine-tuning, но и работа с обратной связью в режиме реального времени, доверие к награде и оптимизация вычислений. 🧠 Полезно всем, кто: – интересуется агентами и автономными системами – работает над LLM‑продуктами – хочет выйти за пределы SFT и попробовать более «горькие» методы обучения #LLM #RLHF #RLVR #AIeducation #ReinforcementLearning #UCLA 🔜 Youtube: https://youtube.com/playlist?list=PLir0BWtR5vRp5dqaouyMU-oTSzaU5LK9r 🔜 Курс: https://ernestryu.com/courses/RL-LLM.html

Вас интересует, как искусственный интеллект может повысить эффективность вашего бизнеса? Большие языковые модели уже давно вышли за рамки экспериментов и сегодня работают в реальных бизнес-процессах. На вебинаре “Будущее бизнеса с RAG и LLM: автоматизация, выгоды и новые возможности искусственного интеллекта” вы узнаете, как современные технологии помогают автоматизировать и ускорять поддержку, аналитику и работу с корпоративными знаниями, повышая точность бизнес-решений. Мы сравним облачные и локальные решения, разберем конкретные кейсы и выгоды, а также обсудим шаги по внедрению в компанию ИИ. Узнаете, как правильно, а главное – эффективно начать цифровую трансформацию! 📅 17 июля в 14:00 по Москве ➡️ Зарегистрироваться Все слушатели вебинара получат запись и презентацию выступающего, которые можно использовать в работе! Реклама. ООО "ДССЛ-ПЕРВЫЙ". ИНН 7701081730. erid: 2W5zFHygTbE

🤔 Хммм… интересно, почему же Grok снова на первом месте в Японии?) @data_analysis_ml

📈 METR: у ИИ начинается свой "закон Мура" Когда ИИ сможет самостоятельно выполнять долгие проекты? Исследователи из METR нашли закономерность: временной горизонт задач, которые осиливают AI‑агенты, удваивается каждые ~7 месяцев. Теперь они проверили это на 9 новых бенчмарках: MATH, OSWorld, LiveCodeBench, Mock AIME, GPQA Diamond, Tesla FSD, Video-MME, RLBench и SWE-Bench Verified. Результаты: 🧠 Аналогичные темпы роста и в науке, математике, робототехнике, программировании и даже в автопилоте. ⚡️ Новые модели, вроде o3, растут быстрее прогноза — медианное удвоение теперь ~4 месяца. 🕐 На reasoning-задачах агенты держатся 1+ час. 🖱 А вот в OS и браузере — всё ещё ~2 минуты, из-за слабых инструментов. > «Moore’s Law для ИИ»: не про чипы — про способность мыслить и работать дольше. Быстрее. Самостоятельно. ИИ-агенты растут не по дням, а по бенчмаркам.

Обработка данных на Spark — от GPS-треков до прогнозирования трендов.  Не теряйте время на ручную обработку данных и неправильный выбор инструментов.  Вебинар "Обработка геопространственных и временных данных на Spark" покажет, как избежать распространенных ошибок, связанных с обработкой геоданных и временных рядов с помощью одного из самых мощных инструментов в Big Data — Apache Spark. Что вы узнаете? 📍Как обрабатывать и анализировать геопространственные данные с помощью Spark 📍Как работать с GPS-координатами и картографией 📍Как эффективно взаимодействовать с временными данными и использовать возможности Spark для анализа трендов и сезонности 📍Реальные примеры из практики: анализ маршрутов, данные с IoT-сенсоров, прогнозирование с временными метками. Спикер Вадим Заигрин, один из разработчиков международной платежной системы, автор курса Spark Developer, проведет вебинар и поделится реальными кейсами. 17 июля в 19:00 МСК. Бесплатно Подарки для участников! 🔥7% скидка на обучение 🔥Гайд "Как найти кратчайший маршрут с помощью Apache Spark и GraphFrames" Не упустите возможность получить у эксперта реальные знания, которые помогут в проектах! Записаться: https://tglink.io/48c06a9a411b Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: 2W5zFH5sFzG

GitHub Copilot Agent получил мощное обновление 🚀 Самое интересное • Сам тестирует изменения UI с помощью Playwright и прикладывает скриншоты к PR • Подключается к удалённым MCP — больше инструментов, больше контекста • Управляет задачами через новый удобный дашборд • Использует всего один premium-запрос на сессию — экономно и эффективно Доступно для Copilot Pro и Business. @data_analysis_ml