ML&|Sec Feed

Соавтор и коллега по Yandex Research @galqiwi выкатил демку AQLM на ржавчине. Можно просто взять и запустить Llama 3.1-8b, квантованную в 2 бита AQLM+PV в браузере на CPU, со скоростью 1.4 токена в секунду на M1. Language model head квантизуется в int8. [Демка][Пост на galqiwi boredom][Репост на Love. Death. Transformers][Репозиторий]

🤯 В паблик вышла первая фундаментальная ИИ-модель человеческого познания (!) — Centaur предсказывает и симулирует поведение человека в любых экспериментах. С помощью имитации интуиции и анализа она бустит качество ответов в разы. Над Centaur работали лучшие умы из DeepMind, Оксфорда, Кэмбриджа и других универов. В основе лежит Llama 3.1 70B, обученная на 160 психологических экспериментах (60 тысяч участников). Теперь нейронка точнее всех прогнозирует поведение людей в любых условиях. Будущее уже близко! Почитать пейпер можно здесь, а скачать исходники тут. @notboring_tech

Google SAIF – портал, посвященный безопасности систем искусственного интеллекта🧠 В прошлом году Google представил свой Secure AI Framework, который получил противоречивые отзывы о своей полезности. Возможно, собрав обратную связь, команда решила доработать материалы, и запустила обновленный портал, обогатив его более конкретными и полезными ресурсами🖥 На данный момент портал включает в себя следующие основные разделы: 🔘SAIF Risk Map – интерактивная карта, на которой представлены ключевые компоненты систем ИИ, присущие угрозы и риски, а также возможные меры по их митигации. 🔘Secure AI Development Primer – краткое руководство по безопасной разработке систем ИИ. 🟣Risk Self Assesment – опросник, позволяющий провести самооценку рисков и выявить слабые места в системе безопасности ИИ. 🟡Resources – коллекция полезных материалов, которые помогут глубже разобраться в вопросах безопасности и возможных решениях. #ai #saif #framework #risk

Выбираете темную сторону силы? Статьи на ArXiv, оказывается, можно читать в инвертированной цветовой схеме (черный фон / белый текст). Для этого надо просто в pdf заменить arxiv -> arxiv.black: https://arxiv.black/pdf/{arxiv-id}. Не знаю зачем, но прикольно.

Opyrator — превращает ваш код машинного обучения в микросервисы с веб-API, интерактивным графическим интерфейсом и многим другим. 4️⃣ GitHub

Make Real позволяет пользователям нарисовать макет пользовательского интерфейса своей будущей программы и отобразить её базовую логику. 4️⃣ GitHub

Summary GPT Bot — Telegram-бот на базе искусственного интеллекта, который создает краткие резюме текста, URL-адресов, PDF-файлов и видео YouTube. 4️⃣ GitHub

Diagrams позволяет вам рисовать архитектуру облачной системы в коде Python. 4️⃣ GitHub

⚡️ FatLlama-1.7T Зачем кому-то создавать FatLlama-1.7T? Серьезно, в чем смысл? Однажды вы просыпаетесь и думаете: "Знаете, что нам нужно? Такая огромная модель, чтобы даже облака занервничали". Это все равно что решить построить ракету только для того, чтобы сгонять в супермаркет. Конечно, это впечатляет, но кто будет ее запускать? Скорее всего, не вы, если только ваш ПК не является нелегальным ядерным реактором. И что же она умеет? Может быть, предсказывать ваши электронные письма еще до того, как вы подумаете их написать, или просто станет очень хорошо находить в сети видео с котами, кто ж знает... Вопрос в том, создаем ли мы эти гигантские модели, потому что можем или потому что нам есть что показать Вселенной? FatLlama-1.7T - это не столько ИИ, сколько "подержите мое пиво, я собираюсь запустить эту штуку". И вот она, FatLlama-1.7T, которая займет ВСЕ место на вашем жестком диске. Забудьте о сохранении семейных фотографий или драгоценном архиве книг, которые вы никогда не прочитаете. Вам же не так уж и нужны были эти жалкие 3 ТБ свободного места, правда? Зато теперь у вас есть цифровой гигант. Квантованные версии? Да не вопрос, удачи с запуском, держитесь там. Даже если каким-то чудом вам удастся запустить FatLlama-1.7T, не спешите расслабляться, ведь вы знаете, что будет дальше, верно? FatLlama 3T. К тому времени, когда вы выработаете максимум энергии и превратите свой дом в центр обработки данных, чтобы запустить свежую FatLlama 3T, я перейду к FatLlama 5.8T, для которой, вероятно, потребуется маленькая галактика в качестве источника энергии. Вызов принят? 😁 🟡Модель 🟡Набор GGUF @ai_machinelearning_big_data #AI #ML #LLM

Выяснилось, что LLM могут считать, что 9.8 < 9.11, из-за Библии, физики или даже теракта 11 сентября Исследователи из Transluce – только что анонсированной некоммерческой ИИ лаборатории – создали инструмент Monitor. Это еще одна попытка интерпретировать черный ящик LLM и научиться понимать, как модели обдумывают свои ответы. Основной прикол тут в интерфейсе (см.скрины), такого уровня UX подобные интерпретаторы еще не видели. Как и предыдущие решения от OpenAI и Anthropic, инструмент основан на архитектуре SAE, то есть на разреженных автоенкодерах, которые распутывают активации LLM и достают из них так называемые интерпретируемые "фичи" (подробнее про то, как устроены такие автоенкодеры писали здесь). Самое интересное: исследователи прогнали через свою тулзу задачи, на которых LLM традиционно фейлятся, и результаты получились крайне занятные. Например, в той самой задачке, где LLM предлагается сравнить числа 9.8 и 9.11, в ее "мыслях" (в данном случае рассматривают Llama 3.1) внезапно всплывает информация про атаку 11 сентября (9.11) и гравитационную константу (9.8). Вероятно из-за того, что эти темы появлялись в обучающих данных Llama очень часто, числа 9.8 и 9.11 перестают восприниматься ею как обычные числа: она воспринимает их, как другой вид объектов, путается и несет чепуху. Но это не все: можно погрузиться глубже и спросить у интерпретатора не просто о том, какие темы вообще активируются при ответе на вопрос, но и о том, какие именно из них заставляют модель сказать "больше". Если это проделать, то получается, что модель начинает думать про Библию. Оказывается, определенные нейроны в этом кластере связаны со стихами из Библии, и выходит, что 9.8 и 9.11 интерпретируются как 9:8 и 9:11 (глава: стих). Это неудивительно: большинство наборов данных для претрейна содержат много копий Библии. Ученые предположили, что если избавиться от таких тематик, ведущих модель по неверному пути, она все-таки может дать верный ответ. И это заработало! Если с помощью интерпретатора "выключить" вышеперечисленные кластеры нейронов, то модель меняет свое мнение и отвечает правильно: 9.11 меньше 9.8. Короче, интерпретатор не только занятный в роли песочницы, но и действительно полезный. Исследователи отмечают, что это только прототип для интерфейсов с еще более широкими возможностями. Например, Monitor в его нынешнем виде оставляет построение гипотез пользователю: он позволяет наблюдать, какие идеи лежат в основе вычислений модели, но не объясняет, как модели принимают окончательные решения с помощью этих идей. Агенты-исследователи будущего же смогут не только анализировать решения модели, но и помогать автоматически исправлять галлюцинации.

Android-PIN-Bruteforce — разблокируйте телефон (или устройство) Android, взломав PIN-код экрана блокировки. Превратите свой телефон Kali Nethunter в брутфорс-взломщик PIN-кодов для устройств Android! (без рута, без adb). 4️⃣ GitHub

Редакция канала ТЕХНО собрала самое важное из свежего отчета State of AI о развитии искусственного интеллекта: — Главные события прошедшего года; — Какие из прогнозов на 2024 год сбылись, а какие — нет; — Что случится в сфере ИИ в 2025 году. Ну а больше подобного контента можно найти в их канале. Подписывайтесь — точно не пожалеете.

Гениальный Илья Суцкевер выкатил топ-30 книг и курсов, которые помогут вам вкатиться в мир нейросетей. Илья — один из основателей нашего любимого OpenAI и нового стартапа, цель которого — создать СУПЕРИНТЕЛЕКТ. Мастрид лист здесь.

Потестировал новую модель Антропика, где агенты могут управлять компьютером, используя экран Инъекции с ней работают точно также и позволяют менять поведение агента на новое (например, отправить команды в терминал)

ИИ в московских поликлиниках настолько умный, что уже помог врачам поставить больше 17 миллионов диагнозов. Виртуальный глаз смог определить в том числе сахарный диабет, артериальную гипертензию, астму, язву и прочее. Нейронка анализирует данные пациента и выдаёт предварительный результат исследований с вероятностью больше 90%. Заключительный диагноз всегда определяет доктор, ИИ лишь параллельно формирует свой ответ. Если он совпадает с мнением врача, сервис говорит, что поддерживает доктора. Если нет — система подаёт сигнал. На повторном визите нейросеть собирает все данные из медкарты пациента за последние два года воедино: даты приёма, результаты анализов, назначения и прочее. Цифровизация системы здравоохранения в Москве развивается уже более 10 лет. Пациентов ведут персонифицированно на всех этапах — от постановки диагноза и лечения до последующего наблюдения. ❗️ Подписывайся на Mash

🖥 optillm — инструмент для оптимизации процесса вывода языковых моделей (LLM) через прокси-сервер. Он поддерживает различные подходы к оптимизации, такие как цепочки размышлений (CoT), самоотражение, алгоритм R* и другие. Этот инструмент позволяет использовать модели, совместимые с OpenAI API, и позволяет легко интегрировать их с существующими инструментами и фреймворками. 🌟 Основная цель — упростить работу с крупными языковыми моделями, обеспечивая их более эффективное использование, включая поддержку нескольких техник вывода и оптимизации 🔐 Лицензия: Apache-2.0 ▪️Github @data_analysis_ml

#хакер #magazine