Neural Deep

Daisy digest #19: самые интересные новости из мира ИИ за прошедшую неделю 🔸 Stability AI опубликовала открытую модель Stable Audio для генерации 47-секундных музыкальных семплов и звуковых эффектов. 🔸 s16vc и ещё пять компаний инвестировали $3,5 млн в ИИ-платформу Field Materials для оптимизации закупок стройматериалов. 🔸 Разработчик умной броши AI Pin ведёт переговоры о продаже с HP, рассчитывая получить более $1 млрд за свой бизнес. Проект не оправдал ожиданий, стоимость броши — $699. 🔸 В WhatsApp Business* появятся функции ИИ для рекламы и автоматических ответов. Сгенерированные сообщения будут помечены специальным образом, чтобы пользователи понимали, что общаются с ИИ. *Meta (владеет Facebook, Instagram и WhatsApp) запрещена в РФ. 🔸 Siri в iOS 18 получит улучшенные функции ИИ и интеграцию с 18 встроенными приложениями для iPhone. Подробности будут раскроют на Всемирной конференции разработчиков Apple уже сегодня. #daisy_digest @daisygpt_bot

Паша Дуров показал фото своего расклеившегося телефона. Создатель Telegram пользовался Samsung за 180 долларов (16 тысяч рублей). Кореец не выдержал дубайской жары. Миллиардер пояснил свой не самый очевидный выбор девайса. Павел считает важными ощутить на себе пользовательский опыт своего продукта, а большинство юзеров мессенджера владеют именно этой моделью смартфона.

Любое обновление ОС и железа последний год:

AI стоило изобрести только ради всех этих треков с AI-голосами – вот вам бэнгер с Тиссовой улицы, для всех тех кому Флёр Делакур разбила сердце Автор

В ChatGPT масштабный сбой — в три раза мощнее утреннего. Не получается войти в аккаунт или нейронка не даёт ответов. В офисе OpenAI пятница началась во вторник. 👍 Бэкдор

Интерфейс ChatGPT недоступен уже около получаса, что вызывает беспокойство у школьников по всему миру, которые не могут решать свои задачи. Шутки про возможное обновление до GPT-5 не слишком успокаивают пользователей. Эти сбои – яркий сигнал о необходимости продолжать развитие открытых и доступных моделей ИИ. Мы понимаем вашу озабоченность и предлагаем воспользоваться нашим ботом Daisy, который всегда готов помочь вам с вашими задачами прямо здесь и сейчас. Не ждите решения проблемы с ChatGPT – переходите на нашего бота Daisy и получайте необходимые ответы!

Веса Stable Diffusion 3 Medium релизнут 12 июня! AMD провела презентацию на Computex 2024, где вышел новый CEO Stability и объявил дату релиза. Пока что релизят только Medium, на 2 миллиарда параметров. 2B модель – это, конечно, не ахти. Думаю, что она будет близка по качеству к SDXL, так что многого ожидать не стоит. Но зато будет код архитектуры и можно будет легко самим отмасштабировать и обучить, если есть деньги. Судя по изначальному анонсу, ещё должны быть 8B и 800M модели (подозреваю что их назовут Large и Small), когда их релиз – не говорят. Релизнут ли Turbo версию Medium одновременно с основной - тоже неясно.

Трансформеры МОГУТ справляться с математикой, если подобрать правильные эмбеддинги Есть известная проблема: хотя LLM хорошо справляются с естественным языком, они все еще могут уверенно утверждать, что 2+2 = 5. Проблему пытаются решать файн-тюнингом, прикручиваем питона и тд (см. недавний разбор). А на днях вышла статья, в которой ученые утверждают, что на самом деле нужно просто внимательно поработать с эмбеддингами чисел. В работе доказано, что проблема трансформеров в том, что они не способны отслеживать "положение" числа относительно нуля. "Так давайте же просто добавим информацию о такой позиции прямо в эмбеддинг" – предложили исследователи. И это заработало! Всего один день обучения на единственной GPU, и удалось достичь SOTA перформанса: 99% accuracy в задачах сложения 100-значных чисел. При этом интересно, что обучалась модель ТОЛЬКО на 20-значных.

Ян Лейке, который уволился из OpenAI вместе с Суцкевером, ушел в Anthropic Там он будет заниматься исследованием генерализации, масштабируемости и, конечно, alignment’ом. Создатели Claude известны своей любовью к такому роду ресерчам. У них регулярно выходят статьи и собрана большая команда. Не удивительно, что они легко приманили Яна который любитель таких историй. Надеемся, что скоро мы увидим больше интересных папирок на архиве