ML&|Sec Feed

⚡️ FBI-LLM: семейство binary foundation моделей, обученных с нуля. Лаборатория Университета MBZUAI (ОАЭ) и Университет Carnegie Melon опубликовали в открытом доступе набор моделей, созданных по методологии Fully Binarized Large Language Model (FBI-LLM). При создании FBI-LLM была использована авторегрессионная дистилляция потерь при сохранении эквивалентной размерности модели (130M, 1.3B, 7B) для достижения производительности, сравнимой с FP16 / BF16. Для обучения семейства был использован датасет Amber, который состоит из документов Arxiv, книг, С4, данных веб-страниц, StarCoder, StackExchage и Wikipedia. Суммарный объем датасета - 1259 млрд токенов. Структурные параметры представленных моделей : 🟢FBI-LLM 130M - 12 layers, 12 attention heads, 769 hidden size, 2048 intermediate size; 🟢FBI-LLM 1.3B - 24 layers, 32 attention heads, 2048 hidden size, 5632 intermediate size; 🟢FBI-LLM 7B - 32 layers, 32 attention heads, 4096 hidden size, 11008 intermediate size; В FBI-LLM используется токенизатор Llama-2-7b-hf, поддерживается текстовый ввод и текстовый вывод на английском языке. 🟡Модели на HF 🟡Arxiv 🖥Github [ Stars: 29 | Issues: 0 | Forks: 1] @ai_machinelearning_big_data #AI #LLM #ML #Autoregression #MBZUAI

🌟 Algebraic-NCD — совсем свежая библиотека Python, которая предоставляет алгебраическое описание алгоритмов Deep Learning Цель Algebraic-NCD — предоставить алгебраические описания алгоритмов глубокого обучения. Алгебраические описания алгоритмов имеют массу приложений: например, они позволяют преобразовывать алгоритмы в диаграммы, что помогает легко понять архитектуру модели и т.д. Ну и конечно алгебраические описания формируют основу для разных математических преобразований и для дальнейшего анализа алгоритмов. 🖥 GitHub 🟡 Анонс от автора в X @data_analysis_ml

Андрей Карпаты как всегда лучший в аналогиях В своем твиттере он попытался объяснить концепцию токенизации через эмоджи. Каждый токен – уникальный смайлик, и, по сути, LLM должна с нуля изучить, что все это означает, на основе статистики обучающих данных.

«Так что проявите немного сочувствия, когда в следующий раз спросите LLM, сколько букв «r» в слове «strawberry», потому что ваш запрос для модели выглядит следующим образом: 👩🏿‍❤️‍💋‍👨🏻🧔🏼🤾🏻‍♀️🙍‍♀️🧑‍🦼‍➡️🧑🏾‍🦼‍➡️🤙🏻✌🏿🈴🧙🏽‍♀️📏🙍‍♀️🧑‍🦽🧎‍♀🍏💂»

Кроме того, Андрей даже ноутбучек в колабе залил, чтобы с аналогией можно было поиграться. Вот ссылка. Подробнее о проблемах токенизации – в этом нашем посте

Семантическая сегментация людей Базируясь на описанных раннее принципах, разработал архитекутру сегментации (критика приветствуется):

# Encoder
x = tf.keras.layers.Input((256, 256, 3))
conv1 = tf.keras.layers.Conv2D(64, (3, 3), padding='same', activation='relu')(x)
conv2 = tf.keras.layers.Conv2D(64, (3, 3), strides=2,  padding='same', activation='relu')(conv1) 
conv3 = tf.keras.layers.Conv2D(128, (3, 3), padding='same', activation='relu')(conv2)
conv4 = tf.keras.layers.Conv2D(128, (3, 3), strides=2, padding='same', activation='relu')(conv3) 
conv5 = tf.keras.layers.Conv2D(256, (3, 3), padding='same', activation='relu')(conv4)
conv6 = tf.keras.layers.Conv2D(256, (3, 3), strides=2, padding='same', activation='relu')(conv5) 
conv7 = tf.keras.layers.Conv2D(512, (3, 3), padding='same', activation='relu')(conv6)
conv8 = tf.keras.layers.Conv2D(512, (3, 3), strides=2 , padding='same', activation='relu')(conv7)
conv9 = tf.keras.layers.Conv2D(512, (3, 3), padding='same', activation='relu')(conv8)

# ASPP Block
aspp1 = tf.keras.layers.Conv2D(256, (1, 1), padding='same', activation='relu')(conv9)
aspp2 = tf.keras.layers.Conv2D(256, (3, 3), dilation_rate=6, padding='same', activation='relu')(aspp1)
aspp3 = tf.keras.layers.Conv2D(256, (3, 3), dilation_rate=12, padding='same', activation='relu')(aspp2)
aspp4 = tf.keras.layers.Conv2D(256, (3, 3), dilation_rate=18, padding='same', activation='relu')(aspp3)
out = tf.concat([aspp1, aspp2, aspp3, aspp4], axis=3)
out = tf.keras.layers.Conv2D(256, (1, 1), padding='same', activation='relu')(out)

# Decoder
up1 = tf.keras.layers.Conv2DTranspose(256, (3, 3), strides=2, padding='same', activation='relu')(out)
concat1 = tf.keras.layers.Concatenate()([up1, conv6])
conv11 = tf.keras.layers.Conv2D(256, (3, 3), padding='same', activation='relu')(concat1)
conv12 = tf.keras.layers.Conv2D(256, (3, 3), padding='same', activation='relu')(conv11)

up2 = tf.keras.layers.Conv2DTranspose(128, (3, 3), strides=2, padding='same', activation='relu')(conv12)
concat2 = tf.keras.layers.Concatenate()([up2, conv4])
conv13 = tf.keras.layers.Conv2D(128, (3, 3), padding='same', activation='relu')(concat2)
conv14 = tf.keras.layers.Conv2D(128, (3, 3), padding='same', activation='relu')(conv13)

up3 = tf.keras.layers.Conv2DTranspose(64, (3, 3), strides=2, padding='same', activation='relu')(conv14)
concat3 = tf.keras.layers.Concatenate()([up3, conv2])
conv15 = tf.keras.layers.Conv2D(64, (3, 3), padding='same', activation='relu')(concat3)
conv16 = tf.keras.layers.Conv2D(64, (3, 3), padding='same', activation='relu')(conv15)

up4 = tf.keras.layers.Conv2DTranspose(32, (3, 3), strides=2, padding='same', activation='relu')(conv16)
conv17 = tf.keras.layers.Conv2D(32, (3, 3), padding='same', activation='relu')(up4)
conv18 = tf.keras.layers.Conv2D(32, (3, 3), padding='same', activation='relu')(conv17)

output = tf.keras.layers.Conv2D(1, (1, 1), padding='same', activation='sigmoid')(conv18)

model = tf.keras.Model(inputs=x, outputs=output)

model.compile(loss=tf.keras.losses.BinaryCrossentropy(), 
              optimizer=tf.keras.optimizers.Adam(), 
              metrics=['accuracy'])

Ввиду отсутствия графического ускорителя, обучение проводилось на центральном процессоре в течение десяти эпох. Невзирая на этот фактор, достигнутые результаты вышли впечатляющими ☺️ #ML

Самая базовая база по машинному обучению https://education.yandex.ru/handbook/ml

Шпаргалка: https://legium.notion.site/ai-legium-io-47030ab67018431ea905a2cf4a3d295b

Всем привет, если хотите потестировать t-lite и все новые маленькие модельки, которые вышли на днях - стучитесь https://ai.legium.io/api/generate

⚡️Я️ндекс выложил в опенсорс новые методы сжатия нейросетей Решение разработано совместно с IST Austria и представляет собой двухэтапный метод сжатия, позволяющий уменьшать модели до 8 раз, при этом сохранив качество их ответов на 95%. Это позволит сэкономить потребляемые ресурсы и ускорить работу нейросетей. Эффективность методов оценивали на популярных моделях с открытым исходным кодом: LLama 2, Mistral, Mixtral и других. На Хабре разработчики также могут скачать уже сжатые с помощью метода популярные опенсорс модели. Авторы выложили демо-материалы, которые помогут правильно дообучить уменьшенные нейросети под свои сценарии. ▪️Habr: https://habr.com/ru/companies/yandex/articles/830410/ @ai_machinelearning_big_data

Нашёл крутой учебник про нейронки — 450 страниц чистейшой базы про трансформеры, файнтюнинг, декодеры, LLM и стабильную диффузию. Авторы потрудились собрать ВСЮ теорию в одном месте, с пояснениями и кодом. Сам учебник платный, но после регистрации дают 10 дней бесплатного доступа (ну или можно спиратить). Забираем здесь.

📌Skforecast — библиотека для прогнозирования временных рядов — pip install skforecast Skforecast — это библиотека Python, которая облегчает использование моделей регрессии от scikit-learn для прогнозирования временных рядов. Skforecast также работает с любыми моделями регрессии, совместимыми с API scikit-learn (LightGBM, XGBoost, CatBoost...) 🖥 GitHub 🟡 Доки 🟡 Примеры использования @data_analysis_ml

🌟 Xorbits — масштабируемый Python фреймворк для задач ML и DS, ориентированный на скорость Xorbits позволяет, к примеру, легко использовать данные для обучения генеративных моделей а также разворачивать обученные модели в своей инфраструктуре. Xorbits может использовать несколько ядер/GPU, может работать на 1 машине или масштабироваться до тысяч машин для поддержки обработки терабайтов данных. Xorbits предоставляет набор полезных библиотек для анализа данных и ML. 🖥 GitHub 🟡 Доки @data_analysis_ml

#GPT4o Captcha Bypass https://github.com/aydinnyunus/gpt4-captcha-bypass

🌟 Pomegranate — библиотека Python для создания вероятностных моделей, таких как байесовские сети или марковские модели — pip install pomegranate Модели, реализованные с помощью pomegranate, могут быть настроены более гибко, чем с помощью других библиотек. Например, можно создать классификатор Байеса, который использует различные типы распределений для каждого признака (например, для связанных со временем признаков — экспоненциальное распределение, а для других признаков — распределение Пуассона). Или, скажем, можно построить единую модель из нескольких байесовских сетей или сделать классификатор Байеса со скрытой марковской моделью, который делает прогнозы по последовательностям. 🖥 GitHub 🟡 Доки 🟡 Примеры использования @ai_machinelearning_big_data

Инструкция по тонкой настройке LLM с нуля Если вы ищете ресурс для понимания процесса тонкой настройки инструкций в LLM, я хочу сообщить, что Глава 7 о тонкой настройке инструкций в LLM наконец-то появилась на веб-сайте Manning . Это самая длинная глава в книге, в которой используется подход с нуля для реализации конвейера тонкой настройки инструкций. Сюда входит все: от форматирования входных данных до пакетирования с пользовательской функцией сортировки, маскирования токенов заполнения, самого цикла обучения и оценки качества ответа тонко настроенного LLM на пользовательском тестовом наборе. (Упражнения включают изменение стилей подсказок, маскировку инструкций и добавление LoRA.) https://github.com/rasbt/LLMs-from-scratch

https://dreadnode.notion.site/2582fe5306274c60b85a5e37cf99da7e?v=74ab79ed1452441dab8a1fa02099fedb Paper stack от dreadnode, в нем собраны различные ресёрчи по безопасности llm, adversarial атакам и т.д

LLM-Assisted Static Analysis for Detecting Security Vulnerabilities https://arxiv.org/pdf/2405.17238v1

🖥 Geomstats — библиотека Python, позволяющая использовать нелинейные многообразия для обучения ML-моделей — pip install geomstats Данные из многих прикладных областей тесно связаны с нелинейными многообразиями. Например, многообразие трехмерных вращений SO(3) естественным образом возникает при проведении статистического обучения на сочлененных объектах, таких как человеческий позвоночник или руки роботов. Аналогично, другие многообразия возникают при моделировании сложных биологических объектов 🖥 GitHub 🟡 Доки @data_analysis_ml

🌟 NeuralForecast — большая коллекция ML-моделей для прогнозирования — pip install neuralforecast NeuralForecast предлагает множество моделей прогнозирования: от классических MLP и RNN, до новых моделей, таких как NBEATS, NHITS, TFT и других. 🖥 GitHub 🟡 Быстрый старт @data_analysis_ml