Machinelearning

✔️ Amazon разрабатывает собственные чипы для ИИ, чтобы снизить зависимость от NVIDIA. Как сообщает Financial Times, Amazon уже разработала ряд собственных процессоров для ЦОД. Ожидается, что Amazon прольет больше света на свои новые разработки в следующем месяце в рамках анонса линейки чипов Trainium. Эти чипы были разработаны компанией Annapurna Labs, принадлежащей Amazon, и используются компанией Anthropic. wccftech.com ✔️ ИИ учит роботов паркуру в виртуальной реальности. В MIT разработали систему LucidSim, которая использует генеративный ИИ для создания симуляций, обучающих роботов сложным задачам, таким как паркур. LucidSim использует ChatGPT для создания описаний различных сред, которые затем преобразуются в трехмерную геометрию и физические данные с помощью модели, отображающей эти данные на изображения, сгенерированные ИИ. Робот, обученный с помощью LucidSim, успешно выполнил задачи поиска объекта, преодоление препятствий и подъем по лестнице, с более высокой точностью, чем робот, обученный с помощью традиционных методов. Исследователи считают, что LucidSim может быть использован для обучения ИИ-агентов, взаимодействующих с реальным миром, от роботов и беспилотных автомобилей до управления экранами компьютеров и смартфонов. technologyreview.com ✔️ Релиз Sentence Transformers v3.3.0 с улучшенной производительностью для задач NLP. Sentence Transformers стал более доступным для развертывания в средах с ограниченными ресурсами. Новая версия предоставляет возможность интеграции статического квантования int8 в OpenVINO для 4-х кратного ускорения инференса на CPU со средним снижением производительности всего на 0,36%. Также представлены: метод обучения с использованием подсказок, который улучшает производительность задач поиска, интеграция техники PEFT и возможность оценки с помощью NanoBEIR. github.com ✔️ Cast AI представила AI Enabler и функцию динамической миграции без простоев для Kubernetes. Cast AI, стартап, специализирующийся на управлении операциями Kubernetes анонсировал две новые функции для оптимизации расходов на облачную инфраструктуру и упрощение рабочих нагрузок. AI Enabler - инструмент, который использует возможности Kubernetes для интеллектуальной маршрутизации запросов к наиболее эффективным LLM, как к открытым моделям, так и к коммерческим, без ущерба для качества. Вторая новинка — Commercially Supported Container Live Migration, функция, обеспечивающая миграцию без простоев для работающих в состоянии workloads Kubernetes. Live Migration должно решить проблемы, связанные с перемещением критически важных приложений: базы данных, задачи ИИ и машинного обучения без остановки кластеров. siliconangle.com ✔️ Fastino анонсировала высокопроизводительные модели, оптимизированные для CPU. Стартап Fastino вышел из скрытого режима и объявил о привлечении 7 млн. долларов pre-seed финансирования от фондов Microsoft M12 и Insight Partners. Fastino разрабатывает семейство LLM для устройств с ограниченными ресурсами, которые могут быть развернуты на различных платформах, от периферийных устройств с обычными процессорами до виртуального частного облака. Компания заявляет, что ее модели работают до 1000 раз быстрее, чем традиционные LLM, и могут запускаться на CPU или NPU. С сегодняшнего дня открыта запись в waitlist для получения доступа к pre-alpha тестированию моделей. fastino.ai @ai_machinelearning_big_data #news #ai #ml

🌟 NeuroFly: платформа для реконструкции нейронов мозга. NeuroFly - платформа для полуавтоматической реконструкции из 3D-изображений отдельных нейронов в масштабе всего мозга, использующая глубокое обучение для сегментации и деконволюции изображений. NeuroFly работает в 3 этапа: сегментация, соединение и корректировка: 🟢На первом этапе выполняется автоматическая сегментация изображения, за которой следует скелетизация для создания чрезмерно сегментированных фрагментов нейронов без ветвей. 🟢На этапе соединения используется 3D-метод отслеживания пути на основе изображений, который устраняет пробелы между сегментами нейронов, не распознанными на первом этапе. Агент перемещается вдоль нейрита, руководствуясь сигналами управления, предсказанными по локальному объему изображения, центрированному на нем. Для прогнозирования вектора кривизны, который определяет локальное продолжение пространственной кривой, используется 3D-сверточная нейронная сеть. 🟢Заключительный этап предполагает участие человека для проверки нескольких неразрешенных позиций. NeuroFly предлагает инструменты корректуры на основе набора плагинов napari, которые позволяют вручную соединять и корректировать сегменты, создавая полные реконструкции нейронов в 3D-визуализации. NeuroFly поддерживает работу с различными типами данных, в том числе изображения целого мозга в иерархических структурах (IMS, H5, Zarr) в формате Imaris, а также небольшие объемы изображений, сохраненные в формате TIFF с одним каналом. Функции, основанные на глубоком обучении - сегментация и деконволюция изображений, реализованы в tinygrad, который может работать практически на любом GPU (NVIDIA, AMD, Apple, Qualcomm, Intel). В NeuroFly реализован экспорт реконструированных нейронов в формате SWC.6 Результаты тестирования NeuroFly показали, что метод аугментации данных значительно улучшает производительность модели сегментации в сложных сценариях, содержащих дендриты и загрязненные изображения. Этап соединения значительно увеличивает показатель полноты во всех тестах с небольшой потерей точности, приводя к общему улучшению показателя F1. 📌Лицензирование: GPL-3.0 License. 🟡Arxiv 🟡Набор датасетов 🖥GitHub @ai_machinelearning_big_data #AI #ML #Neurobilogy #NeuroFly

Как большие данные помогают повысить операционную эффективность? Работа с big data стала уже необходимостью для тех, кто стремится к эффективности и оптимизации бизнес-процессов. Однако на этом пути компании сталкиваются с множеством препятствий — от высоких операционных затрат до перехода на отечественные аналитические big data-платформы. 21 ноября в 16:00 на онлайн-митапе разберем, как большие данные решают конкретные задачи в бизнесе. Темы митапа 🔹Оценка окупаемости проектов в big data и запуск пилотов для достижения конкретных бизнес-целей 🔹От Excel к корпоративному хранилищу данных: как мы переводим компании на платформу Greenplum и локализуем big data на отечественных продуктах 🔹Практический кейс из FMCG: задачи, решения и полезные лайфхаки для оптимизации процессов. Спикеры Александр Фикс Менеджер продукта K2 Cloud Руслан Султанов Архитектор аналитических систем K2Тех Регистрация по ссылке>>

✔️ Near Protocol планирует создать самую большую в мире LLM с открытым исходным кодом. Компания Near Protocol на конференции Redacted в Бангкоке объявила о планах по созданию языковой модели, состоящей из 1,4 трлн. параметров. Новая модель будет в 3,5 раза больше, чем самая большая модель Llama. Разработка будет осуществляться с помощью краудсорсинга, любой желающий сможет присоединиться к обучению модели. Финансирование проекта, стоимость которого оценивается в 160 млн. долларов, будет осуществляться за счет продажи криптовалютных токенов. Для обучения такой большой модели потребуются «десятки тысяч GPU в одном месте», что потребует разработки новой технологии распределенного обучения. cointelegraph.com ✔️ X проводит эксперименты с бесплатным доступом к чат-боту Grok AI. X (ex-Twitter) планирует запустить ограниченную бесплатную версию чат-бота Grok для всех пользователей, значительно расширив аудиторию использования генеративного ИИ. Сейчас Grok доступен только подписчикам X Premium, которых насчитывается около 1,3 миллиона человек, это 0,26% от всей пользовательской базы X. Бесплатная версия, хотя и с ограниченным использованием (10 запросов каждые 2 часа к Grok2, 20 запросов каждые 2 часа к Grok2-mini, анализ 3 изображений в день), позволит большему числу людей опробовать Grok и может привлечь больше подписок X Premium. Это также может помочь материнской компании X Corp, привлечь критически важные инвестиции в свое ответвление xAI. socialmediatoday.com ✔️ Китайские технологические гиганты заинтересованы в специалистах в области ИИ. В Китае обостряется борьба за таланты в области ИИ: местные технологические компании предлагают высокие зарплаты, чтобы привлечь лучших специалистов. Xiaomi проводит специальную сессию по найму экспертов в области ИИ, включая специалистов по ИИ-моделям, компьютерному зрению, глубокому обучению, автономному вождению и обработке естественного языка. Компания предлагает ускоренный процесс найма для некоторых кандидатов, позволяя им пропустить письменные тесты и напрямую пройти собеседование с соответствующим бизнес-подразделением. Этот шаг обусловлен растущим спросом на специалистов по ИИ, особенно на экспертов по обработке естественного языка, которых активно ищут как крупные компании, так и стартапы. scmp.com ✔️ NXP разработала ML-алгоритм для оптимизации процесса тестирования чипов. Алгоритм, аналогичный системам рекомендаций в электронной коммерции, выявляет взаимосвязи между различными тестами и определяет, какие из них дублируют друг друга. В ходе испытаний на семи микроконтроллерах и процессорах он позволил сократить количество тестов на 42-74%. Несмотря на высокую эффективность, инженеры NXP отмечают необходимость проверки рекомендаций алгоритма с точки зрения инженерной целесообразности. spectrum.ieee.org ✔️ Ubitus представит инновации в области ИИ на NVIDIA AI Summit Japan 2024. Ubitus, лидер облачного стриминга, продемонстрирует 3 инновации на базе технологий NVIDIA на саммите в Токио 13 ноября , которые могут изменить не только игровую индустрию, но и другие отрасли. Первая - робот с искусственным интеллектом, управляемый LLM, работающей на GPU H100. Вторая - цифровые люди в Unreal Engine 5 на базе NVIDIA ACE будут отличаться памятью разговора, поиском информации c помощью RAG и многоязычными возможностями, обеспечивая динамическое, контекстно-зависимое взаимодействие. Третья инновация - Ubi-chan, виртуальный персонаж с ИИ, работающий на технологии преобразования текста в речь NVIDIA Riva, с функциями мгновенной реакции на голосовые команды и преобразованием речи в плавные движения губ для реалистичного исполнения. businesswire.com @ai_machinelearning_big_data #news #ai #ml

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек: ▪️Актуальный стек. Здесь следят за трендами и быстро внедряют новое. ▪️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие. ▪️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение. ▪️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег. Больше о вакансиях ML-разработчиков — здесь. Устраивайтесь в Т-Банк на позицию ML-разработчика до 23 декабря 2024 года и получайте приветственный бонус в размере одного оклада.

⚡️ Релиз Qwen2.5-Coder. Qwen2.5-Coder - это семейство из 6 LLM : 0,5, 1,5, 3, 7, 14, 32 млрд. параметров, ориентированное на понимание и написание кода на 40 языках программирования. По сравнению с предыдущим поколением моделей CodeQwen1.5, в Qwen2.5-Coder значительно улучшена генерация, обоснование и исправление кода. При этом сохранились сильные навыки в математике и общих компетенциях. Семейство основано на Qwen 2.5, количество обучающих лексем было увеличено до 5,5 трлн, в корпус данных вошли исходный код, текстовые кодовые основания, синтетические данные и т. д. Способности в области программирования старшей модели, Qwen2.5-Coder-32B соответствуют уровню GPT-4o. Модели 0.5В, 1.5B и 3В получили контекст в 32 тыс. токенов, а 7В, 14В и 32B - 128 тыс. токенов. В открытый доступ на HuggingFace опубликованы 36 моделей семейства: базовые модели, instruct-версии и GGUF, AWQ, GPTQ-Int8, GPTQ-Int4 форматы инструктивных версий. ⚠️ В ближайшее время (сроки не указаны), разработчики Qwen-Coder планируют запустить сервис real-time кода на сайте Tongyi . Сервис будет поддерживать генерацию веб-сайтов, создание мини-игр и диаграмм данных одним щелчком мыши. 📌Лицензирование: 🟢Модели 0.5В, 1.5В, 7В, 14В и 32В - Apache 2.0 License. 🟠Модель 3B - Qwen-Research license. 🟡Страница проекта 🟡Коллекция моделей на HF 🟡Документация 🟡Arxiv 🟡Demo 🟡Сообщество в Discord 🖥Github @ai_machinelearning_big_data #AI #ML #LLM #QwenCoder

🌟 AlphaFold 3: система моделирования структуры белков. AlphaFold 3 — конвейер логического вывода системы ИИ, разработанной Google DeepMind, которая произвела революцию в области прогнозирования структуры белков. Пакет AlphaFold 3 включает в себя все необходимое для теоретического моделирования структуры белка. Для запуска системы необходимо сконфигурировать входной файл JSON, содержащий информацию о белке, например, его идентификатор и аминокислотную последовательность. Вместе с программным конвейером инференса доступна подробная документация по входным и выходным данным системы, решению известных проблем, настройкам производительности и установке с последующим запуском с помощью Docker. Для локального использования понадобится ОС Linux (AlphaFold 3 не поддерживает другие операционные системы) примерно 1 ТB дискового пространства для хранения генетических баз данных (рекомендуется SSD), 64 GB RAM, GPU NVIDIA с Compute Capability 8.0 или выше. Исходные данные, содержащие 5120 токенов, могут поместиться на одном NVIDIA A100 80 ГБ или одном NVIDIA H100 80 ГБ. ⚠️ Получение параметров модели возможно через подачу заявки в Google DeepMind, доступ предоставляется в течении 2-3 дней по итогам рассмотрения обращения. ⚠️ Любая публикация, основанная на результатах, полученных с использованием AlphaFold 3, должна ссылаться на статью «Accurate structure prediction of biomolecular interactions with AlphaFold 3». ⚠️ AlphaFold 3 не является официально поддерживаемым продуктом Google и ее результаты не предназначены, не проверены и не одобрены для клинического использования. 📌Лицензирование: CC-BY-NC-SA 4.0 🟡Техотчет 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #DeepMind #AlfaFold3

📌 Практические упражнения и дополнительные материалы к книге "Build a Large Language Model (From Scratch)" Репозиторий на Github c прикладными упражнениями, ноутбуками с кодом для разработки, предварительной подготовки и тонкой настройке LLM-модели типа GPT по одной из лучших книг о построении LLM с нуля. ▶️ О книге: В книге вы узнаете и поймете, как работают большие языковые модели изнутри, создавая собственную LLM шаг за шагом, c подробным объяснением каждого этапа понятным языком, диаграммами и примерами. Метод, описанный в книге демонстрирует подход, используемый при создании крупных фундаментальных моделей, таких как те, что лежат в основе ChatGPT. В репозитории к каждой главе книги соответствуют несколько (3-4) прикладных примеров в формате ipynb или в виде исполняемого python-скрипта. Код ориентирован на широкую аудиторию, разработан для запуска на обычных ноутбуках и не требует специализированного оборудования. ▶️Главная ценность репозитория - дополнительные практические материалы, которые помогут глубже изучить тонкости и нюансы процесса настройки и обучения LLM: Настройка 🟢Советы на настройке Python 🟢Установка пакетов и библиотек Python 🟢Руководство по настройке среды Docker Глава 2: Работа с текстовыми данными 🟠Сравнение различных реализаций Byte Pair Encoding (BPE) 🟠Понимание разницы между embedding и линейными слоями 🟠Dataloader Intuition с простыми числами Глава 3: Код механизмов внимания 🟢Сравнение эффективных реализаций Multi-Head Attention 🟢Буферы PyTorch Глава 4: Реализация модели GPT с нуля 🟠Анализ FLOPS Глава 5: Предварительное обучение на немаркированных данных 🟢Альтернативная загрузка весов с HuggingFace с использованием Transformers 🟢Предварительное обучение GPT на наборе данных проекта Gutenberg 🟢Добавление дополнительных функций в цикл обучения 🟢Оптимизация гиперпараметров для предварительного обучения 🟢Создание пользовательского интерфейса для взаимодействия с LLM 🟢Преобразование GPT в Llama 🟢Llama 3.2 с нуля 🟢Memory-efficient загрузка модели Глава 6: Тонкая настройка для классификации 🟠Дополнительные эксперименты по точной настройке различных слоев и использованию более крупных моделей 🟠Тонкая настройка различных моделей на основе датасета обзоров фильмов IMDB объемом 50 тыс. строк. 🟠Создание пользовательского интерфейса для взаимодействия с классификатором спама на основе GPT Глава 7: Тонкая настройка для следования инструкциям 🟢Утилиты набора данных для поиска близких дубликатов и создания записей в пассивном залоге 🟢Оценка ответов на инструкции с использованием API OpenAI и Ollama 🟢Создание датасета для точной настройки инструкций 🟢Улучшение набора данных для точной настройки инструкций 🟢Создание набора данных предпочтений с помощью Llama 3.1 70B и Ollama 🟢DPO для процедуры LLM Alignment 🟢Создание пользовательского интерфейса для взаимодействия с моделью GPT с тонкой настройкой инструкций 🖥Github @ai_machinelearning_big_data #AI #ML #LLM #Tutorial #Github

📎 ML в медицине: дайджест за 3 - 10 ноября 2024 г. ▶️Модели, бенчмарки и датасеты 🔘GSCo: совместное использование LLM общего назначения и экспертных моделей в медицинской визуализации. GSCo (Generalist-Specialist Collaboration) - система, которая использует преимущества моделей общего назначения (GFM) и экспертных моделей для повышения точности анализа медицинских изображений. 🔘PASSION: датасет дерматологии южноафриканского населения. Набор данных из 4901 фотографий заболеваний кожи 1653 пациентов, собранный в странах Африки к югу от Сахары. 🔘MediQ: бенчмарк клинического мышления. Интерактивный бенчмарк для оценки способности LLM к сбору информации посредством дополнительных вопросов. 🔘BrainSegFounder: 3D-анализ изображений мозга. Базовая модель для сегментации мультимодальных нейроизображений с двухэтапным подходом к предварительному обучению. 🔘Zebra-Llama: контекстно-зависимая LLM для редких заболеваний. Модель фокусируется на синдроме Элерса-Данлоса (СЭД) в качестве основной специализации. ▶️Фреймворки и методологии 🔘AutoProteinEngine: платформа на основе LLMs для автоматизированного машинного обучения в инженерии белковю LLM с AutoML для решения задач, связанных с выбором модели для последовательностей белков, графовых представлений, автоматической оптимизацией гиперпараметров и автоматическим поиском данных в базах данных белков. 🔘Label Critic: контроль качества разметки в медицинских датасетах с помощью LLM. Метод, использующий VLM для автоматического выявления и сравнения ошибок в разметке органов на КТ-изображениях. 🔘MEG: Методика дополнения LLM медицинскими QA. Параметрически эффективный метод для насыщения LLM дополнительными медицинскими знаниями. 🔘Medprompt: анализ эффективности OpenAI o1-preview в медицинских задачах. Medprompt использует цепочки рассуждений и ансамблирование, чтобы улучшить результаты инференса GPT-4 в медицинских задачах. ▶️Медицинские LLM-приложения 🔘CataractBot: чат-бот для помощи пациентам, перенесшим операцию по удалению катаракты. Чат-бот на базе WhatsApp, работающий по принципу «сопровождающий эксперт» с использованием LLM для поддержки пациентов, перенесших операцию по удалению катаракты. 🔘CheX-GPT: использование LLM для маркировки рентгенограмм грудной клетки. Классификатор, предназначенный для автоматической маркировки рентгенограмм грудной клетки (CXR) с использованием LLM. 🔘CardioAI: мультимодальная система на основе ИИ для мониторинга кардиотоксичности, вызванной лечением рака. Система, объединяющая носимые устройства и голосовые помощники на базе LLMs для мониторинга симптомов в амбулаторных условиях 🔘HealthQ: система для оценки способностей LLM к поддержанию диалога. Система оценки навыков LLM в формулировке медицинских вопросов во время диалога с пациентом. ▶️Исследования и обзоры *️⃣Использование LLMs в медицинской робототехнике: обзор и перспективы. Возможности и проблемы, связанные с разработкой роботов для здравоохранения, оснащенных LLM. Спойлер - это перспективное направление *️⃣Критический взгляд на доменно-адаптивное обучение LLM и VLM для медицины. Ожидалось, что доменно-адаптивное дообучение (DAPT) на медицинских текстах и изображениях позволит улучшить эффективность моделей в решении задач медицинской QA. Но есть нюанс. *️⃣Исследование применимости LLM для специализированной онкологической помощи. Google Research исследовал эффективность системы ИИ для диалоговой диагностики в области лечения рака молочной железы без специальной тонкой настройки моделей. 🔜 Читать полный дайджест 🔜 Зеркало @ai_machinelearning_big_data

Разбираем основные принципы работы AutoML на открытом уроке «AutoML и подбор гипер-параметров» от Otus 🔹В эфире проговорим про основные концепции, преимущества и недостатки AutoML Рассмотрим разные способы подбора гиперпарамеров, их плюсы и минусы ✅ Практика на примере популярных библиотек pycaret и hyperopt. Получите базовые навыки работы с инструментами для автоматизации подбора моделей и гиперпараметров 👉 Регистрация и подробности: https://otus.pw/ge07/?erid=LjN8KLF4M #реклама О рекламодателе

📌Руководство по эффективному использованию промптов для LLM от разработчиков из GoogleDeepMind. Туториал ориентируется на нетехническую аудиторию, которая имеет опыт взаимодействия с большими языковыми моделями. В первой половине представлены ментальные конструкции природы посттренинга и промптов. Вторая половина содержит более конкретные предписания и высокоуровневую процедуру промпт-инжиниринга. Авторы, Varun Godbole и Ellie Pavlick подчеркивают, что поиск «идеальной» подсказки — это итеративный процесс, аналогичный настройке модели, который в лучшем случае является эмпирическим, а в худшем - алхимическим. ▶️ Содержание: 🟢Для кого предназначен этот документ? 🟢Зачем нужно это руководство? 🟢Background трейна: предварительная и последующая подготовка 🟢Рекомендации по промптам 🟢Рудиментарное "руководство по стилю" для промптов 🟢Процедура итерации новых системных инструкций 🟢Некоторые мысли о том, когда полезна LLM 🟢Дополнительные ресурсы 📌Лицензирование: Creative Commons Attribution 4.0 International Public License. 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Prompt #Github #Tutorial

📌 Awesome-list методов глубокого обучения на графах при смещении распределения. Смещение распределения в графовых данных — это расхождение в распределении данных между обучающим и тестовым наборами, оно может существенно снизить производительность модели машинного обучения. Репозиторий на Github, в котором собрана коллекция работ по обучению на графах в условиях смещения данных вне распределения (Out-of-Distribution, OOD) в трех основных сценария: 🟢обобщение графов OOD: 🟢адаптация графов во время обучения OOD: 🟢адаптация графов OOD во время тестирования. Обобщение OOD предполагает, что целевые данные недоступны во время обучения модели, и фокусируется на повышении способности модели к обобщению, чтобы справляться с выборками из любых неизвестных доменов. Адаптация во время обучения направлена на устранение расхождений в распределении между исходными и целевыми графовыми данными. Она служит для коррекции смещения наблюдений, переноса знаний между графами и смягчения негативных последствий аугментации данных. Адаптация во время тестирования сосредоточена на настройке предварительно обученной модели на новые целевые данные, которые становятся доступными после начальной фазы обучения. Эта адаптация особенно важна в случаях, когда доступ к исходным данным ограничен. В каждом сценарии рассматриваются модельно-ориентированные и ориентированные на данные подходы. ▶️Для многих статей предоставлены ссылки на код, реализующий описанные методы. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #GNN #Giihub #AwesomeList

🌟 TIPO: Оптимизация текстовых промптов для text-2-image моделей. TIPO (Text to Image with text presampling for Prompt Optimization) - метод, который улучшает качество и удобство использования моделей text-2-image. TIPO использует LLM для предварительной обработки текстовых запросов, делая их более точными и информативными. Он воспринимает как промпты на естественном языке , так и формат Danbooru тегов. Основная идея метода заключается в том, что более детальные и конкретные запросы приводят к более точной генерации изображений, тогда как неконкретные запросы приводят к более широкому спектру, но менее точным результатам. TIPO генерирует несколько подробных вариантов запроса из одного простого, тем самым расширяя пространство возможных результатов и повышая вероятность получения желаемого изображения. Представлены 2 модели TIPO, обе построены на базе LLaMA 400M, обученные на наборах Danbooru2023, GBC10M и Coyo-HD-11M с общим числом токенов 30 млррд. 🟢TIPO-200M; 🟢TIPO-500M. ▶️ Использование TIPO доступно в качестве расширения к stable-diffusion-webui, Forge UI и ComfyUI. Все подробности по установке расширений и использованию в ComfyUI можно найти в репозитории проектка Z-TIPO-extension. 📌Лицензирование : Kohaku License 1.0 🟡Коллекция моделей на HF 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #T2I #TIPO #LLM

✔️ Samsung представила обновленный ИИ Bixby на базе LLM. Обновленный Bixby, дебютировавший на эксклюзивных для китайского рынка складных смартфонах Samsung W25 и W25 Flip, способен понимать сложные инструкции, извлекать информацию с экрана, например, из карт или фотографий, а также запоминать контекст предыдущих разговоров. В демонстрации Samsung Bixby смог дать рекомендации по одежде, основываясь на текущей погоде, и пошагово объяснил, как добавить водяной знак на изображение. Bixby поддерживает голосовой и текстовый ввод, его можно вызвать из любого приложения или экрана. Ожидается, что обновленный ассистент станет доступен на международном рынке с выходом One UI 7 в начале следующего года. techradar.com ✔️ Робот-художник Ai-Da продал портрет Алана Тьюринга за рекордную сумму. На аукционе Sotheby's в Нью-Йорке картина "AI God: Портрет Алана Тьюринга", созданная роботом-художником Ai-Da, была продана за 1,08 млн. долларов. Робот Ai-Da, оснащенный искусственным интеллектом и роботизированными руками, использует большие языковые модели для общения. Ai-Da создал портрет Тьюринга, используя камеры в своих "глазах" для анализа фотографии ученого и создания эскизов. Робот нарисовал 15 отдельных частей лица Тьюринга, которые затем были объединены в единое изображение и напечатаны на большом холсте с помощью 3D-принтера. cnn.com ✔️ TSMC прекращает поставки чипов искусственного интеллекта китайским компаниям. Тайваньская компания сообщила своим китайским клиентам о прекращении поставок передовых чипов для ИИ, произведенных по технологии 7 нанометров и меньше. Это решение связано с ужесточением контроля со стороны США за доступом Китая к передовым технологиям. TSMC будет требовать одобрения Вашингтона для любых будущих поставок чипов в Китай. По словам источников, данный шаг не окажет существенного влияния на выручку TSMC. Компания подчеркнула, что соблюдает все применимые правила и экспортный контроль. Ранее сообщалось, что чипы TSMC были обнаружены в продукции Huawei, находящейся под экспортными ограничениями США. businessinsider.com ✔️ Суд в Нью-Йорке отклонил иск СМИ к OpenAI по авторскому праву. Федеральный суд Южного округа Нью-Йорка отклонил иск, поданный изданиями Raw Story и AlterNet против компании OpenAI. Истцы обвиняли OpenAI в нарушении Закона об авторском праве в цифровую эпоху (DMCA), утверждая, что компания намеренно удаляла информацию об авторских правах: названия статей и имена авторов, из материалов, использованных для обучения ChatGPT. Судья Коллин Макмахон поддержала ходатайство OpenAI о прекращении дела, указав, что истцы не доказали фактического ущерба своим предприятиям в результате удаления информации об авторских правах. Суд признал маловероятным, что ChatGPT будет воспроизводить материалы Raw Story и AlterNet дословно, учитывая огромный объем информации в его базе данных. Судья Макмахон оставила возможность для подачи дополненной жалобы в будущем. Это решение может иметь значение для других аналогичных исков против OpenAI и других компаний, занимающихся генеративным ИИ. gizmodo.com ✔️ Google открыла доступ к Gemini через библиотеку OpenAI. Разработчики теперь могут использовать модели Gemini от Google через библиотеку OpenAI и REST API. Поддерживаются API завершения чата и API эмбедингов. В ближайшие недели Google планирует расширить совместимость. В анонсе на странице Google for Developers представлены примеры кода на Python, Typescript/Javascript и REST для взаимодействия с Gemini API. Google рекомендует разработчикам, не использующим библиотеки OpenAI, обращаться к Gemini API напрямую. developers.googleblog.com @ai_machinelearning_big_data #news #ai #ml

🌟 AdaCache: ускорение DiT в генерации видео через необучаемое адаптивное кэширование. AdaCache основан на наблюдении, что «не все видео одинаковы»: некоторым видео требуется меньше шагов денойза для достижения приемлемого качества, чем другим. AdaCache использует кэширование остаточных вычислений в блоках трансформера (например, выходные данные механизмов внимания или MLP) на определенном шаге диффузии и повторного использования их на нескольких последующих шагах, количество которых зависит от генерируемого видео. Решение о том, когда нужно выполнить следующее вычисление, принимается на основе метрики расстояния, которая измеряет скорость изменения между сохраненными и текущими представлениями. Чтобы избежать артефактов для динамики используется регуляризация движения (MoReg). MoReg оценивает движения в латентном пространстве на основе разности остаточных кадров, а чтобы эта оценка была эффективна на ранних шагах диффузии, MoReg вычисляет градиент движения, который выступает в качестве разумного раннего предиктора. И оценка движения, и градиент движения используются в качестве масштабирующего фактора метрики расстояния для регуляризации схемы кэширования AdaCache. AdaCache был протестирован на Open-Sora-v1.2, Open-Sora-Plan-v1.1 и Latte. Результаты показали, что AdaCache обеспечивает ощутимое ускорение без ущерба для качества генерации. Фактически, он достигает ускорения в 4.49x, 3.53x и 2.46x соответственно на трех рассмотренных базовых видео. Прикладной кейс использования AdaCache предлагается на бейслайне Open-Sora с вариантами запуска: Baseline, AdaCache и AdaCache+MoReg. ⚠️ Пример инференса рекомендуются на одном GPU A100 (80Gb) ▶️Инференс:

# Baseline
bash run_sample_video.sh configs/sample.py

# AdaCache
bash run_sample_video.sh configs/sample_adacache.py

# AdaCache+MoReg
bash run_sample_video.sh configs/sample_adacache_moreg.py

📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI #ML #DiT #AdaCache #Text2Video

🔒 Российское решение для виртуализации от разработчика операционных систем РОСА ROSA Virtualization – безопасная, надёжная и гибкая платформа. Включена в ЕРРП и имеет сертификаты ФСТЭК (№4610 и №4861). Построена по принципу “Всё необходимое в одном решении”: 🔹 Виртуализация + ОС от единого поставщика 🔹 Поддержка внешних хранилищ (iSCSI, FC, NFS) 🔹 Надёжное хранилище на базе GlusterFS 🔹 Единый центр управления для всей виртуализации 🔹 Автоматическое резервное копирование виртуальных машин 🔹 Серверная и рабочая виртуализация в одном решении 🔹 Поддержка удаленных рабочих столов с vGPU LoudPlay 🔹 Сервер доменной авторизации в комплекте ⚡️ Узнайте больше о возможностях платформы ROSА Virtualization и оставьте запрос на демо здесь Erid: 2VtzqxP2k8u Реклама "НТЦ ИТ РОСА" ИНН: 7735201059

✔️ Mistral AI представила API для модерации контента. Mistral AI выпустила новый API для модерации контента, который позволяет пользователям выявлять нежелательный текст по нескольким критериям. Этот API, используемый в сервисе Le Chat, классифицирует текст по 9 категориям и доступен в двух вариантах: для обычного текста и для диалогов. Модель, лежащая в основе API, обучена на 11 языках, включая русский, и учитывает контекст беседы при классификации сообщений. Mistral AI стремится обеспечить безопасность использования ИИ и считает, что системные меры защиты имеют решающее значение для защиты пользователей. mistral.ai ✔️ Локальная структура обучающих данных улучшает пошаговое рассуждение в языковых моделях. В Университете Стэнфорда изучили эффективность пошаговых рассуждений в LLM, протестировав гипотезу о том, что рассуждения эффективны, когда обучающие данные состоят из локальных кластеров переменных, которые сильно влияют друг на друга. Эта кластерная структура позволяет моделировать связи между переменными, которые не встречались вместе в процессе обучения. Для проверки этой гипотезы авторы обучали трнасформерные модели с нуля на синтетических данных с различной структурой. Данные были сгенерированы из байесовских сетей, но в каждой выборке присутствовала только часть переменных, создавая локальную структуру. Результаты показали, что генерация промежуточных переменных (т.е. пошаговое рассуждение) значительно улучшает способность моделей правильно оценивать условные вероятности для пар переменных, которые не наблюдались вместе в процессе обучения. arxiv.org ✔️ Nous Research запускает чат-бот с доступом к модели Hermes 3-70B. Компания Nous Research, известная разработкой «персонализированных и неограниченных» моделей ИИ, представила свой первый чат-бот Nous Chat. Веб-сервис предоставляет доступ Hermes 3-70B, основанной на Llama 3.1. Чат-бот отличается высокой скоростью работы и способностью предоставлять ссылки на источники в интернете, хотя иногда он выдумывает эти ссылки. Несмотря на заявленную цель создания моделей ИИ без ограничений, Nous Chat все же имеет некоторые ограничения этического характера. Хотя Nous Chat пока не обладает многими дополнительными функциями, он может стать альтернативой другим чат-ботам, особенно если ограничения контента будут сняты в соответствии с заявленными целями Nous. venturebeat.com ✔️ Andreessen Horowitz отмечает снижение темпов развития моделей ИИ. Andreessen Horowitz, несмотря на активное инвестирование в стартапы, работающие с ИИ, заметила снижение темпов улучшения возможностей моделей ИИ в последние годы. Марк Андрессен, один из основателей фонда, отметил, что два года назад модель GPT-3.5 от OpenAI значительно опережала конкурентов. Однако сейчас существует 6 моделей с аналогичными возможностями, которые достигли потолка в развитии. Одним из основных препятствий для разработчиков ИИ является глобальная нехватка GPU. Другой проблемой становится доступность обучающих данных, необходимых для обучения моделей ИИ. С апреля 2023 по апрель 2024 года доступ к 5% всех данных и 25% данных из самых качественных источников был ограничен из-за ужесточения правил использования текстов, изображений и видео для обучения ИИ. В результате крупные лаборатории ИИ нанимают тысячи специалистов для создания обучающих данных вручную. observer.com ✔️ Windows Terminal получил поддержку ChatGPT и GitHub Copilot. Microsoft добавила поддержку чат-ботов с ИИ в nightly-ветку Windows Terminal. Версия доступна для скачивания только на странице проекта на GitHub в разделе «Установка Windows Terminal Canary». После установки Windows Terminal Canary необходимо включить поддержку «Terminal Chat» в меню, а затем добавить ключ API от OpenAI, GitHub или Azure. Идея интеграции заключается в том, чтобы не покидая среды терминала использовать ChatGPT, например, как создать папку в PowerShell. pcworld.com @ai_machinelearning_big_data #news #ai #ml

🌟 Cosmos Tokenizer: эффективная токенизация изображений и видео от NVIDIA. Cosmos Tokenizer - набор токенизаторов для изображений и видео с высокой степенью сжатия при сохранении качества реконструкции, представленный на конференции Conference for Robot Learning 2024, которая проходит до 9 ноября в Мюнхене. Cosmos Tokenizer предлагает непрерывную (C) и дискретную (D) токенизацию для изображений (I) и видео (V), что формирует 4 типа токенизаторов: CI, DI, CV и DV. Cosmos Tokenizer имеет внушительные показатели сжатия: 8x или 16x для пространственного сжатия изображений и 4x или 8x для временного сжатия видео, при этом работает до 12 раз быстрее, чем другие современные токенизаторы, сохраняя при этом высокое качество изображения. Такая эффективность обусловлена легкой временно-причинной архитектурой, использующей причинную временную свертку и слои внимания. Этот дизайн архитектуры гарантирует, что обработка каждого кадра зависит только от текущих и прошлых кадров, сохраняя временную согласованность видео. Для оценки Cosmos Tokenizer использовались стандартные наборы данных и новый набор данных TokenBench, созданный NVIDIA. Cosmos Tokenizer сравнивался с современными токенизаторами с использованием метрик PSNR, SSIM, rFID и rFVD. Результаты тестирования показали превосходство Cosmos Tokenizer над существующими методами как по качеству реконструкции, так и по скорости работы. ▶️ В репозитории на Github опубликован код для установки, сборки docker Cosmos Tokenizer, примеры запуска для в непрерывном латенте, кодирования в дискретные токены, запуск токенизаторов на примерах изображений и видео из тестового набора и запуск с Pytorch. 📌Лицензирование: NVIDIA Open Model License 🟡Страница проекта 🟡Набор на HF 🖥GitHub @ai_machinelearning_big_data #AI #ML #NVIDIA #Tokenizer #Cosmos

🌟 SmolLM2: второе поколение компактных LLM от HuggingFace. Hugging Face представила SmolLM2, новую серию SLM, оптимизированных для работы на устройствах c ограниченными ресурсами и предназначенных для выполнения задач генерации и обобщения текста на английском языке и вызова функций. Модели SmolLM2 были обучены на миксе из наборов данных FineWeb-Edu, DCLM и Stack. Тестирование после обучения показало превосходство старшей модели SmolLM2-1.7B над Meta Llama 3.2 1B и Qwen2.5-1.5B. Модели доступны в трёх конфигурациях: 135М, 360М и 1.7B параметров, каждая модель имеет свою Instruct-версию, а 1.7B и 360М еще и официальные квантованные версии GGUF: ⏩SmolLM2-1.7B🟢SmolLM2-1.7B-Instruct🟢Instruct GGUF ⏩SmolLM2-360M🟠SmolLM2-360M-Instruct 🟠Instruct GGUF ⏩SmolLM2-135M 🟠SmolLM2-135M-Instruct 🟠Instruct GGUF от комьюнити ▶️Пример запуска модели SmolLM2-1.7B в полной точности на Transformers :

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-1.7B"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

📌Лицензирование: Apache 2.0 License. 🟡Коллекция моделей на HF 🟡Demo SmolLM2 1.7B @ai_machinelearning_big_data #AI #ML #SLM #Huggingface #SmolLM2

Как работают генеративные технологии, которые лежат в основе большинства визуальных сервисов? Какова их «математическая начинка»? Получите ответ на эти и другие вопросы на бесплатном интенсиве Computer Vision Week! Он пройдёт с 25 по 29 ноября онлайн и поможет вам разобраться в сложных вопросах компьютерного зрения и диффузионных моделей. Среди организаторов — эксперты, которые создают технологии будущего: Yandex Cloud, Школа анализа данных, YaArt и YaResearch. За 5 дней они расскажут, как устроена генерация изображений на практике: от математических основ и алгоритмов до нейробайесовских методов. Вы также научитесь работать с генеративными технологиями самостоятельно и узнаете, какие горизонты они открывают для разработчиков и исследователей. Что ещё? Вы не только послушаете лекции, но и сможете попробовать свои навыки на практике — в решении задач. Те, кто успешно справится с отборочными испытаниями и итоговой работой, получат заветный сертификат в портфолио! Успейте зарегистрироваться до 24 ноября, пока есть места!