что-то на DL-ском

Building Microservices: Designing Fine-Grained Systems 2nd Edition Автор: Sam Newman (2021)

Flash Attention 3 вышел! [Статья][Блог] Не прошло и года с выхода Flash Attention 2️⃣, как вышло продолжение, доведя серию до трилогии. Метод Основная идея первого Flash Attention в уменьшении передачи памяти 📝 между HBM и кэшом GPU, а второго - в отпимизации не matmul операций. Flash Attention 2 позволяет довольно эффективно использовать вычислительные возможности A100, но для более современной H100 все еще имеет место сильная недоутилизация - всего 35%. В Flash Attention 3 отпимизируют Attention с учетом новых архитектурных особенностей Hopper+ - новых тензорных ядер с большим throughput, тензорным ускорителем памяти (Tensor Memory Accelerator) и поддержкой fp8. Основных источника ускорения два: 1️⃣ Паралеллизация вычислений между GEMM (General Matrix Multiply) и иными операциями (softmax, RMSNorm). Хоть по flops softmax и нормализации кажутся мизерными, они выполняются в 256 раз медленее на H100, потому могут занимать до половины времени матричного умножения. За их выполнение отвечают другие компоненты GPU, чем тензорные ядра для перемножения матриц, потому их можно обрабатывать параллельно. 2️⃣ Использование fp8. fp8 позволяет почти удвоить скорость. Однако есть нюанс - выбросы, приводящие к большим ошибкам квантования. Чтобы избавиться от них используют incoherence processing из QuIP. Благодаря этому ошибка квантизации уменьшается до 2.6 раз. Результаты С fp16 удается достичь ускорения до 1.6-1.8 раз по сравнению с Flash Attention 2. И под 1.2 PFLOPs c fp8 на больших последовательностях и с большими головами трансформера. Обещают в будущем накатить в торч. Вывод Сильно! Ждем через год Flash Attention 4️⃣!

Quality Prompts - библиотека для использования и эвалюации распространенных техник промптинга из коробки. Например: few shot with Knn, system2attention, CoT итд. GitHub Colab @toshoseti

Какие научные исследования читают нормальные люди vs какие научные исследования читаю я Мы разные💅. Women science core🥲

Когда Microsoft дропнули код для нового способа построения графа для RAG системы, первая мысль в голове: а что изменилось в сравнении с такими фреймворками, как ontotext, NebulaGraph и Neo4j ❔ Почитала их статью от апреля, рассказываю и вам, чтобы вы сэкономили свое время 😊 : 💛Разделение текста на чанки оптимального размера для баланса между эффективностью и и длинной контекста в излеченной информации 💛Использование многоэтапного LLM-промпта для извлечения сущностей, их отношений и дополнительных атрибутов из каждого чанка текста. 💛Возможность настройки промптов под конкретную предметную область путем подбора few-shot примеров. 💛Применение нескольких раундов "доизвлечения" (gleanings) для обнаружения пропущенных сущностей, что позволяет использовать более крупные чанки без потери качества. 💛Использование LLM для создания абстрактных сводок извлеченных элементов, включая описания сущностей, отношений и утверждений. 💛Дополнительный этап суммаризации для объединения информации о повторяющихся элементах графа. 💛Применение алгоритма Leiden для разделения графа на иерархические community с более сильными внутренними связями. А далее описание каждой такой группы для детальной детализации семантики документов 💛Многоэтапный процесс генерации глобального ответа на запрос пользователя: 😅Подготовка и случайное перемешивание сводок сообществ. 🙋‍♀️Параллельная генерация промежуточных ответов для каждого чанка с оценкой релевантности. 🙃Объединение наиболее релевантных промежуточных ответов в финальный глобальный ответ. 🖥Сама репа 🖥Тут подсобрали быстрый деплой GraphRAG на Azure 📖Статья

Попробовали уже Moshi? Первая LLM для аудио, которая умеет одновременно слушать и отвечать 🕺 Интересные детали: 💛7B модель 💛Совмещение текста и звука (и отвечает звуком, и пишет ответ) 💛Скоро выйдет открытая версия на hf, которую можно будет дообучить на 30 минутах аудио данных 💛Содержит около 70 эмоций, которые может эмитировать, но чет не умеет отвечать звуками животных например)) 💅Мое очень важное мнение: вещица занимательная, хочется какой-то углубленный папир почитать, но пока что из моего теста, ощущаю, как очередную игрушку с ИИ 🔇Вот вам демка

🌟 Cambrian-1 — семейство мультимодальных LLM, ориентированных на CV-задачи Cambrian-1 — это семейство MLLM, разработанных с упором на работу с визуальной информацией. На страничке Cambrian-1 представлены модели 3 размеров (8B, 13B и 34B), данные для обучения, скрипты для обучения на TPU. Скоро на GitHub появится скрипт для обучения на GPU. 🟡 Страничка Cambrian-1 🖥 GitHub 🤗 Hugging Face @data_analysis_ml

Если вдруг, вам давно хотелось закодить без особых на то причин, 3D Render, поиграться с доп реальностью, покодить блокчеин или движки для поиска, то у меня к вам 0 осуждения, 100 понимания. 🖥Как раз на свободные вечера, нашла реп с подобными обучалками Содержание на изображение👇

σ-GPT, когда счет за кафе можно читать справа налево. 🤔 Как мы помним, внимание в классик декодере слева направо, без заглядывания в будущее. Но при этом, есть кейсы, где полезно читать справа налево и это не только счет в ресторане за твою тянку. Например, для операций сложения/вычитания и тп важна поразрядность операций с вычислением с конца числа. Тут-то и выходит на сцену σ-GPT. Решение позволит не только инвертировать генерацию и внимание, но и делать это динамически, в зависимости от необходимости. Репо тык.

🔥Microsoft просто, без громкого анонса (опять!),выпустили новый интересный способ обучения моделей "Instruction Pre-Training, модели и датасеты. При предварительном обучении с нуля модель 500M, обученная на 100B токенах, достигает производительности модели 1B, предварительно обученной на 300B токенах. Доступны: 👀 Датасеты 🦙Llama 3 8B с качеством, сравнимым с 70B! 🔥 Общие модели + специализированные модели (медицина/финансы) ▪abs: https://arxiv.org/abs/2406.14491 ▪models: https://huggingface.co/instruction-pretrain @ai_machinelearning_big_data