ML&|Sec Feed

На ACL показали новую архитектуру быстрых языковых моделей Статью про новую архитектуру уже успели процитировать Принстонский университет и университет Карнеги-Меллона, а с 11 по 16 августа ребята из лаборатории T-Bank AI Research выступали с ней на ACL – главной NLP’шной конфе мира. Идея исследования: трансформеры крутые, но медленные, а линейные модели быстрые, но не очень крутые. Как найти между ними баланс? В T-Bank AI Research предложили взять модель Based, которая сочетает в себе обучаемое ядро для линейных трансформеров и короткие свертки, и немного подправить это самое ядро. Они добавили новые обучаемые параметры и упростили аттеншен. В итоге метрики подскочили, модель стала лучше работать с длинным контекстом и в среднем понимание взаимосвязей в тексте улучшилось на 10%. Получается, ребятам удалось взять линейную модель и приблизить ее по качеству к трансформеру: скорость, экономия ресурсов и перформанс в одном флаконе. Подробнее об экспериментах и результатах можно прочитать в статье, а вот тут лежит исходный код и доп.материалы.

А вот тут ребятки из MIT взяли с полсотни существующих таксономий рисков и угроз, связанных с искусственным интеллектом, проанализировали их и разработали базу данных AI Risk Repository, содержащий свыше 700 ИИ-рисков. База данных сделана на базе Google Sheet и может быть переиспользована для своих нужд 🧠

Пост про RAG Тк основное внимание ИТ сообщества приковано сейчас к теме использования LLM в бизнесе, а надо отметить важность такого класса решений, как RAG (Retrieval-Augmented Generation ) платформы. На фоне того, что бы конкуренция в области LLM возрастает, что стоимость токенов кратно и постоянно падает, то именно RAG становится точкой соединения “бизнеса” и LLM и основной статьей бюджета компаний. В RAG платформу сейчас по сути сейчас “сгружаются” все существующие до LLM методы поиска и ранжирования информации и там они раскрываются в полной мере. Я не хочу описывать все, что может быть “под капотом” RAG, в статье ниже это все очень хорошо описано, почитайте. Кроме этого там еще затрагиваются и смежные технологии типа векторных баз данных (и в кои то веки дается очень человеческое объяснение что это такое и зачем нужно :)), методы промпирования LLM, Knowledge Graph и тд. В общем RAG - очень интересная и перспективная область развития. Это и самостоятельный класс решений и в целом достаточно наукоемкая область в которой инновации могут помочь получить конкретное преимущество и с тз бизнес модели они занимают очень правильное место в цепочке добавленной стоимости для бизнеса - есть есть и консалтинг, и внедрение и лицензионная составляющая + на самом деле RAG (или его владелец/пользователь) определяет, какая LLM будет получить бюджеты. Но вот если обратиться ко второй части статьи то там делает интересное и не безосновательное утверждение о том, что чем больше у LLM контекстное окно, тем все для более многих задач RAG просто не требуется (или не все его компоненты), т.к. все данные можно поместить в это контекстное окно. Но пока они еще требуются и есть причина по которой RAG может остаться с нами надолго - разделение прав и управление доступом. Делать это на уровне LLM никак нельзя, ибо LLM можно убедить в чем угодно и так останется ещё долго (если не всегда). Часть первая: https://habr.com/ru/companies/raft/articles/791034/ Часть вторая: https://habr.com/ru/companies/raft/articles/818781/

https://medium.com/@tomrocc/applying-llms-to-threat-intelligence-f3b8ba4463a4?source=email-46103b4156f0-1723593493649-digest.reader-77db2cb82174-f3b8ba4463a4----0-109------------------dbf6ccff_24ce_4c12_b108_6d542a39e4bf-1 Читать тут: https://freedium.cfd/

Adversary Emulation with #MITRE ATT&CK: Bridging the Gap between the Red and Blue Teams, Drinor Selmanaj, 2024 ThX #1N73LL1G3NC3

#ML #MachineLearning

#MachineLearning #python

Представляем FLUX. LoRa - Explorer 🧭✨ FLUX "LoRA the Explorer" — эта нейросеть, может похвастаться одним из самых точных пониманий промпта и отличается исключительной работой с текстом. ▶️ https://huggingface.co/spaces/multimodalart/flux-lora-the-explorer @machinelearning_ru

Jailbreak Attacks and Defenses Against Large Language Models: A Survey 5 Jul 2024 1 Tsinghua University, 2 Hong Kong University of Science and Technology (Guangzhou) https://arxiv.org/pdf/2407.04295

Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection 5 May 2023 https://arxiv.org/pdf/2302.12173

Threat Modelling and Risk Analysis for Large Language Model (LLM)-Powered Applications 16 Jun 2024 TEESSIDE UNIVERSITY, SCHOOL OF COMPUTING, ENGINEERING & DIGITAL TECHNOLOGY, UNITED KINGDOM https://arxiv.org/abs/2406.11007

Релиз русских бенчмарков Shlepa Small - бенчмарк на знаний русскоязычной культуры, своего рода ЕГЭ. book_mc - своего рода егэ по литературе, проверяет что модель знает персонажей разных книг lawmc - проверит что моделька видела законы music_mc - проверит что моделька видела очень много музыкальных текстов в претрене movie_mc - проверяет на знание сюжетов фильмов mmlu_pro - классический переведенный mmlu pro Скоро будет статья на хабре с подробным рассказом. LeaderBoard куда каждый может сабмитить модель

Если вдруг вы ищете презентации с BlackHat и DEFCON 2024, то их есть у меня: 👨‍💻 BlackHat 👨‍💻 DEFCON ЗЫ. Там уже бОльшая часть, но, возможно, будут еще что-то докладывать! ЗЗЫ. Презентации и видео с PHD2 тоже недурны ☺️

Красотища: фантастическая шпаргалка с фреймворками Python для разных задач. Работа с данными, машинное обучение, визуализация, статистика и веб-скраппинг — есть буквально всё.