эйай ньюз

Вчера провели шикарную сходка неделеко от Сан-Франциско, нас захостил у себя один замечательный человек, который тоже читает канал. Попозже расскажу про свои впечатления подробнее и скину фотки. А сейчас еду в Сан-Франциско, и буду там гулять до вечера, так что если хотите пересечься — пингуйте! @ai_newz

🔥Vidu — Китайцы забахали свою СОРУ! Обучили нового конкурента Альтману в стартапчике Shengshu Technology и Университете Цинхуа. Генерит видео до 16 секунд в 1080p. Если демо не фейк, то качество Vidu уже тупо в шаге от качества генерацией Соры. Архитектура модели вроде как основана на U-ViT, которая похожа на Diffusion Transformer, что у Соры. Если интересно, что за мозг за этим стоит, то вот гугл сколар профиль научрука, который руководил этим проектов. Ждём больше подробностей про эту модель! Exciting! Блогпост на китайском @ai_newz

Появились результаты с арены: чуда не случилось, Phi-3 mini не догнала LLaMa 3 8B, но модель показала себя очень хорошо и вполне себе тягается с Mistral 7B. Вин (или слив?) засчитан. @ai_newz

Microsoft выпустила Phi-3 Моделька интересная и довольно умная, есть поддержка 128к контекста, запускается на айфоне со скоростью в 12 токенов в секунду. Поздно запостил я потому что у неё подозрительно хорошие результаты бенчмарков: mini (3.8B на 3.3 триллионах токенов) версия модели тягается с LLaMa 3 8B (15 триллионов токенов), а medium - с Mistral 8x22B Instruct. По поводу моделей семейства давно ходят шутки что это из-за того что их тренируют на бенчмарках, но авторы заявляют что это из-за того что их датасет лучше всех учит модельку размышлению. Через трое суток после релиза весов возможно, что автора правы, но я все ещё жду проверки этой модели на ChatBot Arena, так как доверия бенчмаркам нет. Предыдущие модели семейства Phi тренировали на синтетических данных, тут же, большая часть датасета - данные из интернета. Тренируют в две стадии: первая - тренировка на сильно отфильтрованных данных. На второй стадии её, как и прошлые модели, тренируют на синтетических данных, но добавляют ещё более отфильтрованную примесь данных из интернета. Авторы пытаются отсеять данные которые LLM такого размера и так вряд ли выучит, например результаты конкретных спортивных матчей. Назвали они это Data Optimal Regime, но у него есть заметный минус: после 7B параметров качество почти не растёт, 14B моделька очень недалеко ушла от 7B модели. Тут может быть две интерпретации: первая – из датасета убрали всё, что не может понять 3B моделька (то есть что-то такое, только для LLM), вторая – модель выучила все ответы на бенчмарки, что были в датасете и насытилась. Из-за этого, хоть в пейпере речь идёт о моделях трёх размеров: mini (3.8B), small (7B) и medium (14B), пока что релизнули только самую маленькую. -- На видео, демонстрации инференса в fp16 на M3 Max:  Вход - 131.917 tps, Генерация- 43.387 tps. Бегает шустро, но можно сделать ещё быстрее. А вы что думаете про Phi-3? Technical report 4k версия модели 128k версия Тут можно початиться с моделькой @ai_newz

GigaCode: AI-ассистент от Сбера На платформе GitVerse появились новые фичи GigaCode. Сервис помогает кодить непосредственно в среде разработки в реалтайме. Теперь он может: ▪️ решать связанные с кодом задачи — в чатике непосредственно в среде разработки; ▪️ при просмотре репозитория в GitVerse объяснить, что делает конкретная часть кода, а также подсказать, как ее улучшить. Список языков программирования, которые поддерживает GigaCode, пополнился Ruby, а также стала доступна генерация текстовых данных в формате JSON. Ассистент поддерживает более 15 популярных языков программирования и устанавливается как плагин в привычные среды разработки, включая IDEA, PyCharm, VSCode, Jupyter. Постестить можно здесь. #промо

Я не знаю, плакать или смеяться. Вслед за Маском, и его карманным огнемётом, Throwflame из Огайо (интересно, почему именно оттуда?) только что запустила в продажу ОГНЕДЫШАЩЕГО, мать его, РОБО-ПСА. Пёсель продается на сайте с милой кнопочкой "добавить в корзину" за 10к баксов. За основу взят Unitree go2. Управляется так же, как какой-нибудь дрон (к счастью, сам пока бегать не может, хотя может следовать за вами как телохранитель), есть фонарики и лидар для ночных похождений и даже колоночка для эпичного музончика. Ну и, конечно, лазерная указка, что бы еще сильнее приблизить киберпанк. Создатели также добавляют, что их детище это: on-demand огнище где угодно. Какие же зайки 😸 А вообще говорят, что этот прародитель (или вернее сказать ранняя ступень эволюции) терминатора предназначен для, цитирую:

- Борьбы с лесными пожарами и их предотвращением - Управления сельским хозяйством - Сохранения окружающей среды - Устранения снега и льда - Развлечений и спецэффектов

Так что чего вы тут ха-ха, у нас все серьёзно. Но самое интересное, что эта штука в US никак не регулируется. То есть любой может заказать адского пса с Амазона и получить утром в коробке под дверью. Пацаны, признайтесь, захотелось?) @ai_newz

Покажу вам, что творилось в Стенфорде сегодня, когда было выступление Сэма Альтмана. Мой отель находится буквально в 200 метрах от Стенфорда. И сегодня Сэма решил приехать в университет дать лекцию. Народ стоял в очереди как за маслом в девяностые. Я честно сказать в шоке от таких раскладов и сам, конечно, в очереди не стоял, а был на работе. Увидел эти видосы в твиттере. @ai_newz

О будущем LLM Не знаю за ваши модные ку-стары, но вот некоторый набор уже практически фактов про LLM в перспективе месяцев: 1. GPT и LLaMa — это не продукты, а исследовательские проекты. Как только детали архитектуры, пайплайнов, датасетов станут ясны (экспериментальным путём), стоимость тренировки аналогичной модели упадет в разы, а скорее сотни раз. Вы сможете сделать претрейн специализированной модели за $10-100k, причем даже в распределенной среде. 2. То же самое с инференсом. За счет квантизации, MoD, оптимизации под edge девайсы и архитектуры ARM, TPU, NPU модели уровня 13-30В параметров можно будет запускать на телефонах. 3. За счет увеличения окна контекста до миллионов токенов, файнтьюнинг становится не так важен. Ты просто копируешь промт на 10-100 страниц со всей историей своей жизни или организации и получаешь персональную модель. Стоимость переключения с Зефира на Гермес, с Клода на Databricks становится ровно три клика и один копипаст. 4. Адаптивный роутинг. Приложения выбирают модели на лету, в зависимости от задачи. Модели выбирают инфраструктуру для вычислений на лету, в зависимости от спроса и предложения на железо в конкретный момент. 5. RAG не уйдет, а, наоборот, заменит в некоторой степени претрейнинг. Большие децентрализованные RAG датасеты на миллиарды или триллионы токенов будут просто «подсасывать» знания на лету, что позволит делать базовые еще тоньше, быстрее и запускать на микроволновке (quite literally).

Для контекста о посте ниже: Степан (автор e/acc) — фаундер и венчурный инвестор. У него можно почитать и про крипту, и про веб3 (это не формат файла, если что), ну и без AI/ML, конечно, не обошлось. А еще, как инвестор, Степан много рассуждает на тему того, как будет устроен мир в перспективе от 5 до 30 лет. Так что там не обошлось и без программируемой экономики с цифровыми государствами. Рекомендую почитать, если про такое еще не слышали — контент в канале у Степана топовый. @ai_newz

Diffusion Models for Video Generation Вышел новый пост #ликбез в моем любимом блоге. У Lilian Weng (OpenAI) всегда получаются очень подробные разборы тем. На этот раз она написала про существующие подходы для генерации видео с помощью диффузии. Контент для продвинутых юдокас. Другие крутые посты из блога Lilian: - Про диффузию - Про оптимизацию трансформеров - Про другие генеративные модели @ai_newz