AI Для Всех

Подглядел у @j_links ссылку на невероятную историю (твиттер тред тут) Исследователи обучали агента играть в игру NetHack. Это очень старая ролевая игра из времён (1987 г.), когда нормальных пользовательских интерфейсов не было, и всё происходило в консоли. Игрок проходит уровни, собирает вещи и награды, участвует в сражениях и набирает очки — и всё выражается самыми простыми символами. Агент научился стабильно набирать примерно 5000 очков. Но однажды после запуска он достиг лишь ~3000, то есть показал результат существенно хуже. Отладка решений всегда дело весёлое, поэтому автор треда попробовал: — найти проблему в коде загрузки модели агента — откатить код на пару дней назад — откатить код на несколько недель назад (ну там то ТОЧНО всё работает?) — пересобрать окружение — поменять версию CUDA (драйверов для запуска нейросетей на видеокарте) — запустить код на персональном ноутбуке, а не сервере ...и ничего не помогало: агент предательски, но стабильно играл на 3000 очков. После этого автор треда написал автору модели, тот ответил: — А, да, вероятно, сегодня полнолуние 🌗 Что?? 😑 И да, в тот день и вправду было полнолуние. Чувак запустил игру, и увидел ... надпись «Ты — везунчик! Сегодня полнолуние» Оказывается, в NetHack есть механика, которая немного меняет процесс игры каждый раз, когда наступает полнолуние (проверка происходит по времени вашей системы). В этот день у героя увеличивается удача, и меняется ещё пара вещей. Это не делает игру сложнее, но модель просто не понимает, как изменились правила, и старается играть так, как привыкла — отсюда и просадка в очках. Для проверки можно сменить время на компьютере — и агент снова набирает 5000 очков. ❓ вот так и сиди отлаживай программу

Как и предсказывал Андрей, у Девина было 2 варианта, либо умереть, либо дать съеденным Майкрософтом. Сегодня, компания Cognition, которая разрабатывает Девина, объявила о партнерстве с Microsoft.

Мы будем сотрудничать с корпорацией Microsoft, чтобы помочь донести Devin до каждого разработчика. В рамках партнерства Microsoft будет использовать Devin, чтобы помочь своим разработчикам достичь большего, начиная с миграции и модернизации кода, и распространять Devin среди своих клиентов. Devin будет работать на базе Azure.

X.com

Images that Sound: Composing Images and Sounds on a Single Canvas abs: https://arxiv.org/abs/2405.12221 project page: https://ificl.github.io/images-that-sound/ code: https://github.com/IFICL/images-that-sound This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both. @opendatascience

🤖🔍 Компания Anthropic впервые детально изучила внутреннее устройство современной продакшн-модели - Claude Sonnet. Что удалось выяснить? 👇 ▫️В модели закодированы миллионы концептов - от конкретных сущностей (города, люди, химические элементы) до абстрактных понятий (гендерные стереотипы, секретность). Причем мультимодально и мультиязычно! ▫️Схожие концепты (например, достопримечательности Сан-Франциско) располагаются "близко" друг к другу. Прямо как у людей в голове! 🧠 ▫️Усиливая или подавляя определенные паттерны активации нейронов (т.н. "фичи"), можно влиять на поведение модели - например, заставить ее генерировать фишинговые письма, от которых она обычно отказывается. 😮 Цель Anthropic - сделать ИИ более безопасным. Идентификация фичей, связанных с нежелательным поведением - первый шаг. В будущем это поможет лучше детектировать и пресекать такое поведение. Работа только началась, многое еще предстоит изучить. Но это важная веха в интерпретируемости ИИ и понимании того, как мыслят большие языковые модели! 🎉 Хотите узнать детали - читайте научную статью "Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet". 🌁 Блог-пост

🦙 Реализации LLaMa-3 с нуля Привет, AI-энтузиасты! Готовы к захватывающему путешествию в мир создания языковых моделей? Тут выложили супер подробный туториал о реализации LLaMa-3 от Meta с нуля! 🦙💻 Что такое LLaMa-3? Это передовая языковая модель, способная генерировать человекоподобный текст. Она использует архитектуру трансформера и обучена на огромном объеме данных. 📚 Но как именно она работает под капотом? 🔧 Один из лучших способов разобраться - реализовать ее самостоятельно, tensor за tensor'ом, matrix multiplication за matrix multiplication. 🧩 Именно этим мы и займемся! Наш путь будет полон захватывающих этапов: - Подготовка данных и токенизация 🪄 - Создание эмбеддингов и их нормализация 🎛️ - Реализация механизма внимания (attention) 🎯 - Применение позиционных эмбеддингов 📍 - И многое другое! 🎉 Хотите узнать все детали и погрузиться в код? Тогда скорее переходите по ссылке на GitHub: 💻 GitHub

Влияет ли fine tuning LLM на новых знаниях на галлюцинации модели? На этот интригующий вопрос решили ответить исследователи из Google. Основные тезисы: 1. LLM с трудом удается переварить новые фактические знания посредством fine tuning-a. Примеры, вводящие новые знания, изучаются значительно медленнее, чем те, которые соответствуют уже существующим знаниям модели. 2. По мере того, как LLM со временем усваивает новые знания, ее склонность к галлюцинациям возрастает. При этом наблюдается линейная корреляция между долей примеров fine tuning-a, вводящих новые знания, и увеличением количества галлюцинаций. 3. Fine tuning в основном помогает модели более эффективно использовать уже существующие знания, а не приобретать новые знания. Примеры fine tuning-a, соответствующие уже существующим знаниям модели, изучаются быстрее и повышают производительность. 4. Авторы разработали контролируемое исследование, в котором варьировали долю примеров fine tuning-a, вводящих новые знания, и анализировали их влияние на производительность модели. Также исследователи впервые предложили классифицировать факты по отношению к базе знаний модели на четыре категории. 5. Fine tuning на новых фактических знаниях создает риск overfitting-a, что может привести к снижению производительности и усилению галлюцинаций. Ранняя остановка (early stopping) во время fine tuning-a помогает снизить этот риск. 6. Точная настройка примеров, отнесенных к категории «Может быть, известно» (те вопросы, на которые модель спорадически давала правильные ответы), оказалась особенно полезной. Этот выбор улучшил способность модели обрабатывать такие примеры без значительного увеличения галлюцинаций. 📜 Пэйпер

💭 ЧАТ: Че как вы тут вообще? Утро воскресенья, чем занимаетесь?

Откройте новые горизонты искусственного интеллекта с аналитикой данных Согласно докладу Всемирного экономического форума, профессия аналитика данных является одной из самых востребованных в России и за рубежом. Возможность анализа данных становится ключом к пониманию и оптимизации работы искусственного интеллекта. По данным сервиса Хабр Карьера, средняя зарплата аналитика на позиции джуниор составляет 90 000 рублей, а зарплаты опытных аналитиков достигают 300 000 рублей. Если вас интересует аналитика или вы уже развиваетесь в этой сфере и хотите существенно улучшить свои скиллы, хочу порекомендовать вам курс – Аналитик PRO от Changellenge » Education. Это самый полный курс аналитики на рынке. Он подойдет вам, если вы хотите прокачаться как аналитик данных, бизнес-аналитик, финансовый аналитик - в нем есть все что нужно для роста в любом направлении аналитики. На 12 месячном курсе вы прокачаете ключевые навыки, необходимые аналитику — работа с данными: 🔵Python, SQL, Excel, а также визуализация данных: 🔵Tableau, PPT, и с помощью Python. Научитесь строить финансовые модели, погрузитесь в продуктовую и маркетинговую аналитику. И все попробуете на практике. Из интересного для поиска работы за рубежом: 🔵В комплекте - мини-курс о специфике поиска работы за рубежом. 🔵При необходимости - подготовят вам резюме на английском. 🔵Карьерный консультант поможет с поиском офферов в России или за рубежом. Школа специализируется исключительно на обучении аналитике, выпустила уже более 3500 учеников, а её выпускники программ работают в Яндексе, VK, Газпроме и других крупных компаниях. В программе мастер-классы от экспертов из компаний уровня Avito и VK, реальные бизнес-проекты от компаний уровня Тинькофф, которые можно сразу указать в резюме. 83% студентов получают оффер в аналитике сразу после окончания обучения. Сейчас на программу действует скидка 50%. По промокоду AI10 действует дополнительная скидка 10 000 руб. на курс "Аналитик PRO". Оставь заявку по ссылке и получи бесплатную консультацию по программе! #Реклама. ООО «Высшая школа аналитики и стратегии». ИНН:7716917009 erid:2Vtzqx9mZsQ

Хочешь пиццу?)

Чем ужинать будем? Ф