Deep Dive 2 Deep Learning

🤔Южная Корея запретила загрузку китайского ИИ-приложения DeepSeek Власти Южной Кореи временно приостановили скачивание искусственного интеллекта DeepSeek, разработанного китайской компанией. Приложение исчезло из магазинов Apple и Google в стране, но остаётся доступным через браузер. Причина — проблемы с обработкой персональных данных. 🤔 Что случилось? DeepSeek стал одним из самых популярных ИИ-чат-ботов в мире, обогнав конкурентов. Его разработчики утверждают, что смогли создать мощную систему при минимальных затратах на дорогостоящие чипы, что обрушило акции американских технокомпаний. 🤔 Почему это важно ✅ Южная Корея уже запретила использование DeepSeek на госустройствах. ✅ Австралия и Тайвань также ввели ограничения. ✅ США обеспокоены возможностью обхода санкций на поставку чипов Китаю. 🤔 Китайская реакция Официальный Пекин призывает не политизировать экономические и технологические вопросы. 🔎Источник

🤔AI и экономика: конец эпохи монополий? Развитие искусственного интеллекта уже изменяет мир, но кому достанутся главные дивиденды? Как считает автор статьи A New AI World, AI может не повторить путь Big Tech, где корпорации монополизируют технологии и накапливают триллионы. Вместо этого он станет общественным благом, как интернет, GPS или вакцины, а его ценность будет распределена среди пользователей, а не только среди акционеров. Яркий пример — китайский DeepSeek. Разработанный всего за $5 млн, он почти не уступает ChatGPT, обучение которого обошлось OpenAI в сотни миллионов. Это событие обрушило акции Nvidia на 17% и заставило инвесторов пересмотреть стратегию. Сегодня AI-компании оцениваются в астрономические суммы: SoftBank готов вложить $40 млрд в OpenAI, но останется ли такая модель устойчивой? Автор статьи считает, что AI может повторить судьбу персональных компьютеров и коммерческой авиации — стать крайне полезной, но не сверхприбыльной индустрией. Если AI действительно перерастёт в общественное благо, мы увидим не рост цен на акции, а революцию в доступности технологий.

😎💡Интересные, а, главное, полезные и бесплатные руководства по дистилляции моделей 📌 Руководство по дистилляции от OpenAI OpenAI представила подробное руководство по дистилляции моделей, в котором описывается процесс передачи знаний от крупной модели к компактной, сохраняя при этом высокую производительность. В документе рассматриваются ключевые аспекты: 🔹 Сохранение выходных данных крупной модели – создание обучающего набора, содержащего предсказания более мощной модели, которые используются для обучения компактной версии. 🔹 Оценка производительности моделей – анализ точности и эффективности как исходной модели, так и ее уменьшенной версии на основе различных метрик. 🔹 Создание обучающих данных для компактной модели – генерация качественного набора данных, основанного на ответах крупной модели, для улучшения обучения. 🔹 Оценка дообученной компактной модели – тестирование производительности уменьшенной модели после дистилляции, чтобы убедиться в ее соответствии требованиям. Этот подход позволяет значительно снизить вычислительные затраты, сохраняя высокий уровень качества работы модели. 📌 Учебник по дистилляции знаний от PyTorch PyTorch предлагает практическое введение в технику передачи знаний, предназначенное для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами. В учебнике рассматриваются ключевые аспекты: 🔹 Извлечение скрытых представлений – получение промежуточных данных из обученной модели для их последующего использования в процессе дистилляции. 🔹 Модификация циклов обучения в PyTorch – интеграция дополнительных функций в стандартные тренировочные процессы для более эффективного переноса знаний. 🔹 Пример дистилляции модели – демонстрация обучения компактной модели с использованием предсказаний более сложной модели в качестве ориентира. Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом для оптимизации моделей под среду с ограниченными вычислительными мощностями. 📌Jetson Introduction to Knowledge Distillation от Nvidia Руководство от Nvidia рассматривает процесс дистилляции знаний на примере передачи информации от OpenCLIP (vision-language model) к ResNet18 для классификации изображений на датасете STL10. Основные темы руководства: 🔹 Влияние выбора данных, методов дистилляции и архитектуры модели на итоговую точность. 🔹 Оптимизация моделей для их эффективного развертывания на NVIDIA Jetson Orin Nano. 🔹 Методы профилирования и анализа производительности для компактных нейросетей. Учебник ориентирован на разработчиков, работающих с встраиваемыми системами и оптимизацией моделей для edge-устройств. 📌Руководство по дистилляции от Hugging Face В этом учебнике Hugging Face демонстрирует пошаговый процесс дистилляции знаний на конкретном примере. Основные темы: 🔹 Выбор модели-учителя и модели-ученика — использование крупных предобученных моделей для обучения более компактных. 🔹 Создание обучающего набора на основе предсказаний модели-учителя. 🔹 Настройка процесса дистилляции в Transformers и Trainer для эффективного переноса знаний. 🔹 Оценка и сравнение производительности с оригинальной моделью. Руководство содержит кодовые примеры и практические советы, что делает его полезным для разработчиков, работающих с NLP и оптимизацией трансформеров.

🌍 В Риме успешно провели удалённую роботизированную операцию пациенту в Пекине Хирург в Риме успешно выполнил операцию на пациенте, который находился в 8000 км от него, в Пекине. Используя передовые роботизированные хирургические системы и технологии 5G, команда врачей смогла провести вмешательство с высокой точностью и контролем в режиме реального времени, несмотря на огромное расстояние. Этот прорыв демонстрирует потенциал дистанционной хирургии и может значительно расширить доступ к высококвалифицированной медицинской помощи по всему миру.

💡🤖Gated DeltaNet: гибридная архитектура нейросетей с управлением памятью NVIDIA представила Gated DeltaNet — экспериментальную архитектуру для улучшенного управления памятью в линейных трансформерах. Она решает проблему забывания в моделях, работающих с длинными последовательностями данных, комбинируя дельта-правило обновления информации и гейтинг для удаления ненужных данных. Gated DeltaNet оптимизирована для GPU с использованием представления WY и тензорных ядер, что позволяет параллелить вычисления. В тестах по языковому моделированию, ризонингу и контекстному извлечению она превзошла Mamba2 и DeltaNet, показав лучшую точность на задачах S-NIAH-2 и S-NIAH-3. Гибридные модели, сочетающие Gated DeltaNet со слоями внимания скользящего окна или Mamba2, улучшили эффективность обучения. Тестовые версии GatedDeltaNet-H1 и H2 достигли наивысших результатов в экстраполяции на длинные последовательности до 20 тыс. токенов. ✅Реализация на PyTorch доступна в GitHub-репозитории ✅Некоммерческое использование возможно по лицензии Nvidia Source Code License-NC, а коммерческое — по запросу через NVIDIA Research Licensing.

Open R1 — полный цикл разработки ИИ от Hugging Face Команда Hugging Face представила Open R1 — открытый проект, повторяющий весь цикл разработки DeepSeek, от сбора данных до обучения модели. Цель проекта — сделать процесс создания LLM прозрачным и доступным, чтобы каждый мог воспроизвести его или использовать в своем проекте. 🔍 Что включает Open R1? Проект включает скрипты для всех этапов разработки модели, доступные в репозитории: 📌 Обучение и оценка моделей: grpo.py — обучение модели с использованием GRPO. sft.py — обучение с подкреплением (SFT). evaluate.py — оценка модели на основе тестов R1. 📌 Генерация данных: generate.py — создание синтетических данных с помощью Distilabel. 📌 Автоматизация процесса: Makefile — набор команд для каждого этапа разработки. 🔗 Исходный код: GitHub Open R1 Проект Open R1 открывает доступ к процессу обучения LLM, позволяя сообществу исследователей и разработчиков изучать, улучшать и адаптировать современные методы создания ИИ.

📚Think Stats: бесплатная книга по статистике для Python-программистов и дата-сайентистов Think Stats — это уникальный ресурс для изучения теории вероятностей и статистики с акцентом на практическое применение. Книга идеально подходит для программистов, работающих с Python, и специалистов в области анализа данных, которые хотят углубить свои знания в области статистики. 🤔Что делает Think Stats особенной? ✅Практическое обучение через Jupyter Notebook: каждая глава книги представлена в виде интерактивного Jupyter Notebook, где пользователи могут запускать примеры кода, изучать статистические концепции и сразу применять их на практике. Это делает процесс обучения интуитивным и увлекательным. ✅Фокус на реальных данных: книга учит работать с реальными наборами данных, что помогает читателю освоить практическое применение теоретических знаний. ✅Объяснение сложных концепций простым языком: автор уделяет внимание тому, чтобы статистические идеи были легко понятны даже тем, кто не имеет глубокого математического образования. ✅Упражнения для закрепления материала: в книге представлены задания, которые помогут проверить и улучшить понимание материала. 🔎Темы, которые охватываются в книге: ✅Основы теории вероятностей. ✅Распределения вероятностей. ✅Гипотезы и их тестирование. ✅Оценка параметров. ✅Регрессия и анализ данных. ✅Визуализация данных с использованием Python. 💡Лицензия Creative Commons Think Stats распространяется под лицензией Creative Commons, что позволяет: 1️⃣Свободно читать, копировать и делиться материалами. 2️⃣Использовать их в образовательных и личных целях (некоммерческое использование). 3️⃣Распространять материалы с указанием источника.

🌎Экологические последствия генеративного ИИ Генеративный искусственный интеллект (ИИ) стремительно развивается, принося пользу в различных областях — от повышения продуктивности до научных открытий. В своей статье Explained: Generative AI’s environmental impact автор объясняет последствия генеративного ИИ в экологии. Вот некоторые ключевые проблемы, которые выделяются автором: ⚡️Электроэнергия: обучение моделей, таких как GPT-4, требует огромных вычислительных ресурсов, что ведет к увеличению выбросов CO₂. Например, обучение GPT-3 потребовало 1287 МВт⋅ч энергии — достаточно, чтобы обеспечить электричеством 120 домов в США на год 💧Вода: для охлаждения оборудования центры обработки данных потребляют большое количество воды. На каждый киловатт-час энергии уходит около 2 литров воды. Это угрожает местным экосистемам и водоснабжению 🖥Аппаратное обеспечение: производство графических процессоров (GPU) требует сложных и энергоемких технологий, а также добычи редкоземельных металлов. В 2023 году было отгружено 3,85 млн GPU для центров данных — на 44% больше, чем в 2022 году ⏳Краткосрочная "жизнь" моделей: постоянное обновление моделей делает их быстро устаревающими, увеличивая объем "потраченной впустую" энергии 🤔Что можно с этим сделать? Исследователи MIT предлагают оценивать не только преимущества ИИ, но и учитывать все экологические издержки. Это включает разработку более эффективных моделей, оптимизацию инфраструктуры центров данных и переход на возобновляемые источники энергии.

😱OpenAI готовится представить ИИ-агента уровня кандидата наук 30 января OpenAI проведет закрытый брифинг в Вашингтоне для официальных лиц правительства США. На мероприятии выступит Сэм Альтман, чтобы представить последние достижения компании, включая разработку суперагентов уровня PhD. Эксперты в области искусственного интеллекта считают, что данный анонс может стать ключевым шагом в создании передовых интеллектуальных систем, способных решать сложнейшие научные и прикладные задачи. Журналисты отмечают, что сотрудники OpenAI испытывают одновременно восхищение и беспокойство по поводу стремительного прогресса технологий, который приближает нас к новым рубежам возможностей ИИ. 🔎Подробнее тут

🥸Meta проиграла суд по делу о нарушении авторских прав при обучении ИИ Meta признана виновной в нарушении авторских прав из-за использования защищенных произведений для обучения своих ИИ-моделей. Иск был подан в 2023 году писателями Ричардом Кадри и Кристофером Голденом, а также комиком Сарой Сильверман. В суде выяснилось, что Meta использовала пиратскую библиотеку LibGen для сбора данных, несмотря на заявления о работе с датасетом Books3, включавшим 196 000 книг. Этот случай стал важным прецедентом, который акцентирует внимание на проблемах незаконного использования защищенных материалов в разработке ИИ. 🔎Ссылка на источник

💡Небольшая подборка open-source инструментов для работы с ИИ ONNX Runtime — инструмент для ускорения инференса и обучения моделей машинного обучения на различных платформах, таких как NVIDIA GPU, CPU и ARM. Он легко интегрируется в существующие скрипты PyTorch или TensorFlow, добавляя всего одну строку кода. Поддерживает оптимизации, включая смешанную точность и графовые улучшения, что делает его эффективным как для прототипов, так и для продакшена. Weights & Biases (W&B) — платформа для отслеживания и визуализации всех этапов работы с машинным обучением, начиная от подготовки данных и заканчивая внедрением моделей. Она позволяет фиксировать параметры, метрики и результаты экспериментов, а также создавать графики и диаграммы для анализа производительности моделей. W&B упрощает совместную работу, предоставляя общий доступ к данным и визуализациям в реальном времени LLMWare — фреймворк для разработки безопасных и мощных Retrieval-Augmented Generation (RAG) систем, предназначенных для корпоративного использования. Он позволяет эффективно интегрировать специализированные модели, которые можно развернуть в защищенной локальной среде, обеспечивая конфиденциальность данных и надежность работы. Gognita — фреймворк для упрощенной разработки и развертывания RAG-систем. Он поддерживает разнообразные методы поиска документов и векторные представления, обеспечивая гибкость и масштабируемость. Управление фреймворком полностью осуществляется через API, что делает его интеграцию с другими системами быстрой и удобной. NVIDIA LogitsProcessor — библиотека, предназначенная для управления процессом генерации текста. Она позволяет модифицировать вероятностное распределение токенов, предоставляя больше контроля над выходными данными, что особенно полезно для задач с особыми требованиями к содержанию текста LangChain — мощный фреймворк для разработки и развертывания приложений на основе LLM. Он предоставляет инструменты для создания сложных многокомпонентных систем, где каждый этап обработки данных представляется в виде узлов и связей графа с помощью модуля LangGraph. Это упрощает настройку и управление приложениями, обеспечивая их масштабируемость и гибкость.

🚀Meta представила Large Concept Models (LCM) — конец эпохи LLM? В своей статье Meta Large Concept Models (LCM): End of LLMs? автор подробно разбирает новую концепцию Meta под названием Large Concept Models (LCM), которая является развитием традиционных больших языковых моделей (LLM). С 2022 года большие языковые модели (LLM) стали основой современной генеративной ИИ-эры. Однако Meta предлагает нечто принципиально новое — Large Concept Models (LCM). 🌟 Что такое LCM? Это модели, которые работают не на уровне отдельных слов, а на уровне концепций — целых идей или предложений. 💡 Почему это важно? ✅Языковая независимость: Модели понимают смысл, а не слова. ✅Мультимодальность: Работа с текстом, речью и изображениями. ✅Эффективность: Лучше обрабатывают длинные тексты и планируют идеи. 📈 Чем лучше LCM? ✅Генерируют текст идея за идеей, а не слово за словом. ✅Поддерживают более 200 языков и легко работают с новыми форматами без дообучения. ✅Применимы для сложных задач: написание эссе, суммаризация, мультимодальный анализ. Таким образом, Meta делает большой шаг вперёд, превращая взаимодействие с ИИ в более интуитивный и человекоподобный процесс.

🎄💡Пока все едят оливье, Nvidia планирует переход на робототехнику на фоне конкуренции на рынке ИИ-чипов Nvidia анонсировала планы по выпуску в первой половине 2025 года компактных компьютеров Jetson Thor, предназначенных для человекоподобных роботов. Компания видит большой потенциал роста в сегменте робототехники и стремится укрепить свои позиции в этой области. Эти изменения связаны с усилением конкуренции со стороны AMD, Google и Amazon на рынке ИИ-чипов. Хотя на данный момент робототехника приносит Nvidia сравнительно небольшой доход, большая часть прибыли компании (88%) по-прежнему поступает от центров обработки данных, которые принесли 35,1 миллиарда долларов в третьем квартале 2024 года. 🔎Подробнее можно узнать в этом источнике

😱ИИ от Apple формирует fake news Apple Intelligence, предназначенный для создания кратких новостных сводок, оказался ненадежным. В некоторых случаях система искажает информацию или выдумывает заголовки. ✅Случай с BBC News: ИИ уведомил пользователей о якобы суициде Луиджи Манджони, обвиняемого в громком убийстве в США, сославшись на BBC. Однако подобного сообщения на сайте BBC не было. ✅Ошибки с The New York Times: В ноябре система объединила три текста в один заголовок и заявила об аресте премьер-министра Израиля Биньямина Нетаньяху, что оказалось ложным. 🤔Apple воздерживается от комментариев по данным инцидентам.

😎Небольшая подборка ИИ-инструментов для дизайнеров ControlNet — это инструмент, который преобразует схематичные эскизы в качественные изображения. Он улучшает начальные наброски, добавляя детализацию и реализм, что делает его идеальным для дизайнеров, художников и разработчиков визуального контента. ArkDesign.ai — это инструмент для автоматической разработки детализированных планов помещений. Он учитывает строительные нормы, энергоэффективность и другие параметры, обеспечивая оптимизацию пространства Archicad AI Visualizer — инструмент для генерации 3D-визуализаций на ранних стадиях проектирования. Он позволяет быстро преобразовать идеи в наглядные модели, упрощая процесс планирования и презентации архитектурных проектов ArkoAI — расширение для создания рендеров 3D-моделей, включающее функции генерации референсов для креативного проектирования. DBF Engine — платформа для быстрого создания городских прототипов. Она помогает проектировать городские пространства с учетом параметров застройки и экологии

😎🤖Топ ИИ-проектов за 2024 год BAML (Boundary Adaptive Markup Language) — предметно-ориентированный язык, разработанный для создания многократно используемых функций LLM. Он преобразует текстовые промпты в функции с типизированными переменными и гарантирует получение конкретного типа выходных данных. BAML превосходит другие подходы к структурированию данных от LLM и уже поддерживается редакторами VS Code и Cursor. LitServe от LightningAI — мощный инструмент для развертывания моделей и сложных AI-конвейеров. Основан на FastAPI, поддерживает PyTorch, TensorFlow, JAX, а также работает с GenAI, CV, ASR и эмбедингами. Инструмент оснащен функцией KV-кэширования для LLM, что делает его подходящим как для легких приложений, так и для масштабных корпоративных задач. Mirascope — Python-инструмент, созданный для удобного извлечения структурированных данных из LLM. Он использует интерфейс на основе декораторов и декларативных схем, поддерживая OpenAI, Anthropic и Cohere. Включает встроенного поискового агента WebSearchAgent, который автономно собирает информацию из интернета. Surya — OCR-инструмент, поддерживающий 90 языков. Он извлекает текст из изображений, PDF и других визуальных форматов с точностью, сопоставимой с Google Cloud Vision. Помимо базового OCR, Surya выполняет расширенный анализ документа, включая определение заголовков, таблиц, изображений и порядка чтения, что делает его отличным выбором для оцифровки книг, форм и научных материалов. DataChain — это платформа для управления версиями мультимодальных наборов данных, включая изображения, видео, текст и PDF. Она преобразует разрозненные файлы в централизованные датасеты, которые можно легко обрабатывать и запрашивать через Python без необходимости использовать Spark или SQL. DataChain поддерживает PyTorch, TensorFlow, автоматическую генерацию метаданных для AI, сериализацию инференса LLM и выполнение пакетных процедур. Narwhals — легковесный инструмент, который объединяет популярные библиотеки DataFrame в Python, такие как pandas, Polars, PyArrow, Modin и cuDF. Он позволяет писать код, не зависящий от конкретного бэкенда, используя подмножество API Polars в качестве интерфейса. Инструмент поддерживает стили выполнения eager и lazy, включая Dask, не имеет зависимостей и обеспечивает статическую типизацию для удобной работы в IDE. PydanticAI — это фреймворк для создания агентов, которые управляют взаимодействием с LLM и проверкой их инференса. Он оснащён системой внедрения зависимостей, позволяющей агентам динамически получать контекстные данные. Фреймворк также поддерживает вызов пользовательских Python-функций для доступа к информации и выполнения вычислений, что делает его универсальным инструментом для создания сложных AI-приложений.