Анализ данных (Data analysis)

🚀 Новинка от Hugging Face — FineWeb‑2: огромный высококачественный веб‑датасет на базе CommonCrawl! 📊 Основные характеристики: - ~8 ТБ сжатого текста (~3 трлн слов) из 96 дампов CommonCrawl (2013–2024) - Более 1000 языков и почти 1900 языковых-скриптовых пар - Высокое качество: извлечён только основной текст, проведена фильтрация и дедупликация - Лицензия ODC‑By 1.0 — можно использовать в коммерческих и исследовательских целях 📝 Зачем это нужно: - Даёт открытому ИИ доступ к качеству, сравнимому с закрытыми наборами (как у LLaMA 3 или Mixtral) - Существенно улучшает результаты на бенчмарках вроде MMLU и ARC, особенно при обучении с FineWeb‑Edu 🔧 Где применить FineWeb‑2: - Обучение LLM с нуля - Дообучение на редких языках - Синтетическая генерация, RAG и пр. 📥 Скачать: https://huggingface.co/datasets/HuggingFaceFW/fineweb-2

Первый открытый Call for Papers на IT Elements 2025 — last call! 10–11 сентября ИТ-сообщество традиционно соберется на большой осенней конференции для тех, кто делает ИТ в России. Готовьтесь к новым трекам, новым спикерам и новой грандиозной площадке! Если у вас есть сильный кейс, нестандартный опыт или нешаблонное решение — пришло время предложить свой доклад. Главное требование — экспертность и новизна темы. Рассматриваются доклады по ключевым направлениям: ▪️ИТ-инфраструктура ▪️Сетевые решения ▪️Кибербезопасность ▪️Прикладные решения, AI и ML Станьте главным элементом IT Elements 2025! Узнать больше и подать заявку можно до 20 июля.

🧠 Energy-Based Transformers — модель, которая умеет думать, а не просто угадывать Новая архитектура EBT (Energy-Based Transformers) показывает, что трансформеры можно сделать умнее и универсальнее. Что делает EBT: - 📊 Лучше классических трансформеров (включая Transformer++) по всем параметрам: данные, глубина, количество параметров, вычисления - ⏱ При "долгом размышлении" даёт +29% прирост качества на тестах - 🌍 Отлично работает с любыми типами данных: текст, видео, звук, 3D и др. - 🧠 Умеет обобщать — справляется с новыми задачами без дообучения - ❌ Не нуждается в наградах (как в reinforcement learning) Почему это важно: EBT — это шаг к ИИ, который способен реально *думать*, а не просто воспроизводить шаблоны. Он не просто быстрее, он глубже понимает, что делает. Website: https://energy-based-transformers.github.io Paper: https://arxiv.org/abs/2507.02092 @data_analysis_ml

🔥 Gemini API теперь с Batch Mode — экономия 50%! Google добавил режим пакетной обработки в Gemini API — теперь можно запускать крупные задания и получать результаты с 50% скидкой. Идеально для массовой генерации, ассистентов и анализа. Что умеет новый режим: ✅ Обработка больших партий данных — дешевле в 2 раза ✅ Результаты приходят в течение 24 часов ✅ Поддержка встроенных инструментов, включая Google Search ✅ Принимает данные в строках или через JsonL-файлы до 2 ГБ ✅ Кэширование контекста для длинных заданий ✅ Простой API: создание, удаление, получение результатов Полезен для: - генерации больших объёмов текстов/ответов - чат-ботов с очередями задач - анализа данных с контекстом - автоматизации LLM-инференса 📘 Документация: https://ai.google.dev/docs/gemini-api/batch @data_analysis_ml

🚀 AirLLM — перспективный подход к запуску LLM на слабом железе. Этот проект позволяет запускать 70B-параметрические модели на видеокартах с 4GB памяти без квантования — это стало возможным благодаря оптимизированной послойной загрузке весов. Инструмент работает благодаря блочному 4/8-битное сжатие, ускоряющее inference в 3 раза с минимальной потерей качества. Решение работает даже на MacOS с чипами Apple Silicon , поддерживаются Llama3, Qwen2.5, Mixtral и другие топовые LLM. 🤖 GitHub @data_analysis_ml

🎨🚀 Tencent представили **Hunyuan3D-PolyGen** — новый генеративный ИИ для 3D-моделей с высоким уровнем качества С ходу выйдет из ИИ сразу готовые для пайплайна художников и игровых студий. Что умеет: ✅ Собственная autoregressive-сеть генерирует чистую, плотную сетку без артефактов ✅ Сложная геометрия — способна выдавать более 10 000 полигонов с высокой детализацией и стабильной структурой ✅ Гибкий экспорт — поддержка tri- и quad-мешей под разные пайплайны 🔥 Подходит для: — геймдева — цифрового арта — быстрых 3д прототипов ИИ, который реально умеет 3D. 👉 Попробовать (включайте автопереводчик) @data_analysis_ml #3d #Tencent #Hunyuan #genai #ai

✏️ Школы возвращаются к письменным экзаменам — из-за ИИ списывают почти все По данным Fox News, 89% студентов используют ChatGPT и другие ИИ для выполнения заданий. Учителя признаются: отличить текст, написанный ИИ, от человеческого — почти невозможно. 📉 В результате: - Texas A&M, Университет Флориды и UC Berkeley массово возвращают обычные бумажные тетради и письменные экзамены (ранее перешли на цифровые варианты) 🤖 Почему так? - ChatGPT умеет имитировать стиль ученика. - Детекторы ИИ работают слабо — в слепых тестах учителя не смогли отличить ИИ-ответ от настоящего. - В условиях онлайн-обучения и дистанта — списывать стало слишком просто. 🧠 Что дальше? - Некоторые школы вводят устные эксзамены, письменные эссе в классе, наблюдение за процессом. - Другие — обучают этике и грамотному использованию ИИ, как когда-то учили пользоваться калькулятором. 📌 Вывод: Ручка против ИИ — временное решение. Главный вопрос — как переосмыслить само образование в эпоху ChatGPT. Источник

🧠 AI, который управляет твоим браузером — напрямую 💻 OpenDia — расширение, которое позволяет ChatGPT, Claude и локальным LLM напрямую кликать кнопки, заполнять формы и управлять твоим реальным браузером. 🔥 Работает в твоей сессии — использует уже залогиненные аккаунты и открытые вкладки. Не эмуляция, а настоящее взаимодействие. ✅ Поддержка ChatGPT, Claude и LLM с локального хоста ✅ Навигация, ввод текста, нажатия, скролл — всё доступно ✅ Полностью open source (MIT) ✅ Расширение и API на Node.js + Playwright 🛠 Идеально для: - Автоматизации рутинных задач - Тестирования сайтов - Создания AI-агентов с реальным доступом к вебу 🔗 Репозиторий: https://github.com/aaronjmars/opendia 🤖 Новый уровень взаимодействия: теперь ИИ не просто "читает" сайты, а действует внутри них.

🕸️ Chat4Data — расширение, которое превращает веб-скрапинг в диалог Вместо кода и настроек — просто говоришь, что хочешь, и AI собирает структурированные данные с сайта. Что умеет Chat4Data: 🔹 Собирает данные “на слух” Опиши нужную таблицу или список — AI сам найдёт, распарсит и вставит в таблицу. Не нравится результат? Переспроси. Без кода, без боли. 🔹 Обходит все страницы сам Автоматически кликает “Следующая”, грузит подгружаемые списки и собирает всё — без твоего участия. 🔹 Запускается за 3 клика AI сам определяет, какие данные ценные, предлагает их — тебе остаётся только подтвердить. Быстро, как в Telegram-боте. 🔹 Не тратит токены на скрапинг Анализ страницы — на AI, но сами данные забираются без токенов. В бета-версии дают 1 миллион токенов на другие задачи. 🔹 Скоро: скрапинг подстраниц, интерактив, интеграции... 📎 https://chat4data.ai #ai #scraping #automation #nocode #tools

⚡️ Почему лучшие разработчики всегда на шаг впереди? Потому что они знают, где брать настоящие инсайд! Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе. ИИ: t.me/ai_machinelearning_big_data Python: t.me/pythonl Linux: t.me/linuxacademiya Мл собес t.me/machinelearning_interview C++ t.me/cpluspluc Docker: t.me/DevopsDocker Хакинг: t.me/linuxkalii МЛ: t.me/machinelearning_ru Devops: t.me/DevOPSitsec Data Science: t.me/data_analysis_ml Javascript: t.me/javascriptv C#: t.me/csharp_ci Java: t.me/java_library Базы данных: t.me/sqlhub Python собеседования: t.me/python_job_interview Мобильная разработка: t.me/mobdevelop Golang: t.me/Golang_google React: t.me/react_tg Rust: t.me/rust_code ИИ: t.me/vistehno PHP: t.me/phpshka Android: t.me/android_its Frontend: t.me/front Big Data: t.me/bigdatai МАТЕМАТИКА: t.me/data_math Kubernets: t.me/kubernetc Разработка игр: https://t.me/gamedev Физика: t.me/fizmat SQL: t.me/databases_tg Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy Папка FRONTEND: https://t.me/addlist/mzMMG3RPZhY2M2Iy 🎓954ГБ ОПЕНСОРС КУРСОВ: @courses 😆ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: t.me/english_forprogrammers 🧠ИИ: t.me/vistehno 🖥 Chatgpt для кода в тг: @Chatgpturbobot 📕Ит-книги: https://t.me/addlist/BkskQciUW_FhNjEy 💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi Подпишись, чтобы всегда знать, куда двигаться дальше!

📺 ИИ захватывает YouTube На прошлой неделе 3-е место по просмотрам набрало видео, созданное ИИ: 👉 130 миллионов просмотров за несколько дней. Без продакшн-команды, без студии, без актёров. Всё сделано нейросетями. 📈 Алгоритмы YouTube не делают различий — они просто пушат то, что цепляет зрителя.

🌐 DeepBI — инновационная платформа для анализа данных с помощью ИИ, которая превращает сложные запросы в простые диалоги. Этот инструмент позволяет исследовать данные из MySQL, PostgreSQL, CSV и других источников, используя естественный язык вместо SQL. Инструмент умеет генерировать персистентные визуализации и дашборды через чат-интерфейс. Платформа поддерживает мультиязычность (английский/китайский) и работает на Windows, Linux и macOS. Для тестирования доступны Docker-образы и EXE-установщик. 🤖 GitHub @data_analysis_ml

🔟 Open‑source Deep Research Assistants 🤖 Глубокие исследовательские агенты — не просто чат‑боты, а полноценные ИИ‑ассистенты, способные искать информацию, взаимодействовать с инструментами, планировать и писать отчёты. Ниже — 10 мощных open‑source проектов, которые уже можно протестировать: 1. DeerFlow — модульная система от Bytedance: DeerFlow — open‑source фреймворк от Bytedance для создания модульных LLM-агентов. Поддерживает: - планирование действий, - анализ кода, - генерацию отчётов (включая Text-to-Speech), - адаптивную интеграцию инструментов. Создан для исследований, автоматизации и построения сложных агентных пайплайнов. https://github.com/bytedance/deer-flow 2. Alita — самообучающийся агент с поддержкой Model Context Protocols (MCP), всё в одном модуле. Alita — агент, который сам придумывает, как ему расширить себя, не полагаясь на заранее написанные сценарии, и уже демонстрирует топовые результаты на сложных тестах. https://github.com/CharlesQ9/Alita 3. WebThinker — автономный веб‑поиск с логикой "думай‑ищи‑пиши", RL‑обучением и глубокой навигацией https://github.com/RUC-NLPIR/WebThinker 4. SimpleDeepSearcher — это лёгкий, но эффективный open‑source фреймворк от RUCAIBox, предназначенный для автономного веб-поиска через импровизированные многотуровые сессии: - Использует Supervised Fine‑Tuning (SFT) вместо сложного RL, что значительно упрощает обучение и снижает вычислительные затраты - Генерирует реалистичные траектории поиска и рассуждений, симулируя поведение пользователя в живом поисковом окружении . - Критически отбирает данные по нескольким критериям качества: разнообразие запросов, сложность, структура ответов 5. AgenticSeek — приватный on‑device ассистент с выбором эксперта под задачу и голосовым управлением https://github.com/Fosowl/agenticSeek 6. Suna — универсальный ассистент: браузер, CLI, работа с файлами, API, деплой https://github.com/kortix-ai/suna 7. DeepResearcher — это комплексный open-source фреймворк от GAIR‑NLP, предназначенный для обучения LLM‑агентов, способных проводить глубокие исследования в автономном режиме, взаимодействуя с вебом. Использует несколько агентов‑браузеров, которые совместно исследуют веб и обрабатывают информацию https://github.com/GAIR-NLP/DeepResearcher 8. Search‑R1 — агент на PPO/GRPO с поддержкой LLaMA3, Qwen2.5 и кастомных поисковиков. Агент учится эффективному циклу «думай — ищи — думай — отвечай» через RL, достигая важных улучшений в точности ответов и эффективности поиска. https://github.com/PeterGriffinJin/Search-R1 9. ReCall — это фреймворк на основе RL, который учит LLM "должным образом" вызывать и комбинировать инструменты, используя сгенерированные задачи, без необходимости вручную собирать примеры вызовов — и всё это в открытом доступе. https://github.com/Agent-RL/ReCall 10. OWL — мультиагентная система на CAMEL‑AI для динамического взаимодействия между агентами https://github.com/camel-ai/owl Агенты умеют планировать, взаимодействовать с браузером, запускать скрипты, интегрироваться с API и работать автономно. Всё проекты — с открытым кодом. Можно изучить, собрать и доработать под свои задачи. @ai_machinelearning_big_data #ml #rl #aiagents #ai #agents

Kontext Relight! 💡✨ LoRA-адаптер FLUX Kontext Relight обученный для изменения освещения фото. Выглядит очень годно, потестить можно здесь. https://huggingface.co/kontext-community/relighting-kontext-dev-lora-v3 @data_analysis_ml

💡 WebSailor: опенсорс агент от Alibaba который ищет информацию в вебе * Суть работы Авторы предлагают методику пост-обучения, чтобы LLM могла шаг за шагом уточнять запросы и находить нужные данные на сложных страницах. * Главные приёмы * *Structured Sampling* — генерация задач с высокой неопределённостью. * *Information Obfuscation* — часть подсказок скрывается, что заставляет модель планировать глубже. * *DUPO* — облегчённый RL-алгоритм для обучения агентнов. * Результаты На датасете BrowseComp открытая версия агента выходит на уровень закрытых систем и в отдельных случаях работает быстрее человека. :contentReference[oaicite:2]{index=2} * Код и веса 📌Ссылка: https://huggingface.co/papers/2507.02592

🌳 Tree of Thoughts — новый подход к решению задач с LLM. Этот проект из Princeton NLP предлагает альтернативу стандартной цепочке мыслей (CoT)— метод дерева мыслей, где языковая модель исследует несколько путей решения параллельно. Вместо линейного рассуждения, алгоритм строит дерево гипотез и выбирает оптимальную ветку через поиск в ширину. В репозитории приведены разнообразные примеры работы метода: от математических головоломок вроде игры "24" до творческих задач. Там же есть все промпты и логи экспериментов из оригинальной статьи, где ToT показал преимущество перед классическим CoT. 🤖 GitHub @data_analysis_ml

🚀 Вышла новая модель DeepSeek-TNG R1T2 Chimera 671B Особенности: - примерно на 20% быстрее обычного R1 и более чем в 2 раза быстрее R1-0528 - значительно умнее стандартного R1 по бенчмаркам GPQA и AIME-24 - намного умнее и обеспечивает согласованность think-token по сравнению с первым R1T Chimera 0426 R1T2 получает веса из R1-0528, R1 и V3-0324 с помощью Assembly-of-Experts. Слияние сохраняет способность рассуждать R1-0528 и использует лёгкие общие слои V3-0324, так что ответы остаются точными и ёмкими. Модель распространяется под лицензией MIT на huggingface https://huggingface.co/tngtech/DeepSeek-TNG-R1T2-Chimera @data_analysis_ml

✔️ Google открыла глобальный доступ к Veo 3 Fast. Veo 3 Fast - это ускоренная версия модели для создания видео из текста. Она обрабатывает запросы более чем в два раза быстрее Veo 3, но с ограничением по качеству: максимум 720p. Сервис доступен в 159 странах, включая все страны Европы. Пользователи Gemini Pro получают три генерации в день, а подписчики Ultra — до 125 видео в месяц. Дополнительно, снизили частоту отклонения пользовательских промптов. Google уже готовит добавление функции Image-to-video, она находится «на финальной стадии». Josh Woodward (VP Google) в сети X ✔️ Модель Centaur предсказывает поведение человека. Ученые из Helmholtz Munich создали модель Centaur, способную предсказывать решения людей в любых психологических задачах, от выбора риска до обучения. Команда адаптировала Llama 3.1, обучив ее на данных из 10 млн. решений. По тестам Centaur превзошел специализированные алгоритмы, которые разрабатывали годами. Модель угадывает поведение даже в новых сценариях при изменении контекста задачи или добавления новых опций. Внутренние процессы Centaur начали напоминать активность человеческого мозга без прямого обучения на нейронных данных. Цифровой «мозг» даже открыл новую стратегию принятия решений. Исследователи открыли доступ к модели и датасету Psych-101, обещая прорыв в психологии, образовании и дизайне продуктов. nature.com ✔️ Компания Марка Цукерберга тестирует чат-ботов, которые начнут писать первыми. Компания разрабатывает функцию для чат-ботов в своем AI Studio: они смогут инициировать диалог с пользователями, если те ранее активно общались с ботом (не менее 5 сообщений за 2 недели). После первого ответного сообщения от пользователя боты продолжат общение, но только в течение 14 дней, и прекратят попытки, если ответа не последует. Цель функции - удерживать аудиторию, увеличивая вовлеченность, это напрямую связано со стратегией монетизации ИИ-продуктов (прогнозируемый доход $2–3 млрд. в 2025 году). Пилотный тест уже запущен, но детали реализации остаются расплывчатыми. businessinsider.com ✔️ Крупный бизнес просит ЕС отложить закон о регулировании ИИ. Более 45 технологических и промышленных гигантов призвали Еврокомиссию перенести сроки вступления в силу закона об искусственном интеллекте на два года. Они утверждают, что текущие требования к мощным ИИ-моделям слишком расплывчаты и угрожают развитию инноваций. Регулирование должно начаться в августе, инициативу отрытого обращения к ЕК запустили General Catalyst, SAP и Spotify, хотя последние двое не подписали письмо. bloomberg.com ✔️ CoreWeave запускает первый в отрасли сервер с GPU Nvidia Blackwell Ultra. Облачный провайдер CoreWeave первым установил серверы Nvidia GB300 NVL72 с новыми GPU Blackwell Ultra. Платформа, собранная Dell, объединяет 72 видеокарты и 36 процессоров Grace, обеспечивает 50-кратный роста производительности при инференсе и 5-кратную энергоэффективность по сравнению с архитектурой Hopper. Инсталляция ориентирована на тяжелые нейросетевые задачи и агентные вычисления. Система уже доступна клиентам, раннее внедрение может стать козырем провайдера в конкуренции за внимание технической аудитории. cnbc.com @ai_machinelearning_big_data #news #ai #ml

🧭 PyCuVSLAM — быстрый и точный SLAM от NVIDIA с Python‑интерфейсом Что такое SLAM: SLAM (Simultaneous Localization and Mapping) — это технология, которая позволяет устройству одновременно строить карту окружающей среды и определять своё местоположение внутри неё. Применяется в роботах, дронах, AR/VR и автономных транспортных средствах. Что такое PyCuVSLAM: PyCuVSLAM — это Python-обёртка над cuVSLAM, высокопроизводительным SLAM-движком от NVIDIA. Он использует CUDA-ускорение и позволяет системам в реальном времени отслеживать движение и строить карту окружающего мира. 🔧 Основные возможности: • Аппаратное ускорение на NVIDIA GPU (включая Jetson) • Поддержка от 1 до 32 камер + опциональный IMU • Можно подключать обычные RGB-камеры, камеры глубины и сенсоры движения • Работает в конфигурациях от простой однокамерной до мультисенсорных систем • Удобный Python API — быстро подключается и настраивается 💻 Установка: • Поддерживает Ubuntu 22.04+, Python 3.10, CUDA 12.6 • Устанавливается через pip, Docker или запускается на Jetson • Есть готовые примеры для быстрой работы 🧠 Для кого: • Разработчики роботов, дронов, AR/VR • Те, кому нужен точный и быстрый SLAM без глубокой настройки 📌 GitHub

🚀 OpenAI заказала у Oracle колоссальные мощности для ИИ — 4.5 гигаватта Это крупнейший в истории контракт на вычисления для искусственного интеллекта. Проект Stargate и теперь это самый масштабный заказ на AI-инфраструктуру в мире. 💰 Контракт включён в большое соглашение Oracle на $30 миллиардов в год, которое начнёт действовать со следующего фискального года. 🔧 Чтобы всё это обеспечить, Oracle: - Расширит дата-центр в Техасе (Абилин) с 1.2 до 2 гигаватт - Построит новые кампусы в Техасе, Мичигане, Висконсине и Вайоминге Источник: bloomberg.com