Метаверсище и ИИще

Блокчейн TON ищет талантливых разработчиков! Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON. В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира: 📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург. Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык Что вас ждет: — 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON — Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON. Регистрируйся — https://tgtelespace.link/qntzco

Нейровьюпорт. Был на Silicon Graphics такой софт TDI Explore, его ядро в основном вошло в Maya. И там был IPR - Interactive Photorealistic Renderer (IPR). Когда выделяешь часть картинки, а он тебе подрендеривает её сразу. Это щас есть везде, но в 1993 году это была нереальная уникальная фишка. 30 лет назад. Я вот сейчас гляжу на то, что творит Мартин, Krea и Substance3D и думаю, что интерактивный нейрорендер - это просто снос башки. Ключевая фишка - интерактивность. Когда не надо нажимать кнопку рендер. Тут в конце апскейл с помощью Магнифика и псевдовидео в Леонардо.

Помните, я писал, что после LLM-Arena, где разные ллм-хлещутся друг с другом руками кожаных за звание лучшей, появилась Image Arena. Где хлещутся генераторы картинок. Кожаные генерят две картинки по промпту, тыкают в понравившуюся больше, и только потом видят, чем сгенерили, а моделька поднимается в рейтинге. Теперь кто-то сварганил такое же для 3Д-генераторов. Но к сожалению всерьез это воспринимать нельзя. Там есть очень устаревшие модели, нет самых жирных и популярных генераторов, даже опен-сорсных, но можно оценивать модели по разным параметрам. https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena

Zero GPU для всех. Если у вас нет конской видеокарты(и вы не умеете разворачивать репозитарии с гитхаба), то есть хорошая новость. ХаггингФейс вонзает 10 миллионов в программу Zero GPU. Если грубо, то они теперь дают поюзать их GPU в гораздо большем объеме, чем раньше. Для старых нормальных: они собрали почти 300 всех этих безумных опен-сорсных (и не очень) проектов и сделали каталог, где можно погонять эти проекты в качестве демо на их GPU. Про многие из них я уже писал (Хуньянь, InstanMesh, StoryDiffusion и др), про остальные можно почитать у Неронавтика, который делает гигантскую работу. Теперь можете сами погонять весь этот ИИ на сколько хватит квоты. Для новых нормальных: Если вы пилите что-то свое, то можете разместить свои модели демо на HuggingFace. Держите весь каталок тут: https://huggingface.co/spaces/enzostvs/zero-gpu-spaces И ну тестировать весь этот ад! Подробнее тут: https://www.theverge.com/2024/5/16/24156755/hugging-face-celement-delangue-free-shared-gpus-ai

Недавно давал карту ИИ-стартапов по миру - где и как инвестируют в ИИ. Сегодня такая же карта по городам. Там скоринг немного более сложный, описан прямо на картинке. После Сан-Франциско и Нью-Йорка сразу идут Пекин и Шанхай. Ну и если сложить США и Китай, то остальным станам останется пять мест. Из Европы только Берлин, который занимает последнее место в рейтинге.

Вчера писал про моделинг на кончиках пальцев. Сегодня лайтинг на ладони. С пульта. В удивительное время живем. Можно светить фонариком в плоскую картинку на экране, и получать трехмерное освещение этой картики так, как будто у нас есть ее трехмерная модель. Ну или как будто это не картинка, а реальность. Подробности тут.

И, похоже, идея брать демо-видео от OpenAI и делать на них свой маркетинг пошла в массы. Теперь китайцы из DeemosTech, за которыми я внимательно слежу, тоже взяли и скормили голос из демо в свой движок Media2Face. Я опять не уверен, что это реалтайм. Но сам движок выглядит очень занятно. Он генерит не финальное видео, как у Синтезия или D-ID, а полигональную модель головы. Точнее, он генерит анимацию заранее существующей сетки. Почитайте про него тут, посмотрите видео внутри, очень занятно. https://sites.google.com/view/media2face

Тут по интернетику прокатилась демка от Синтезия. Очень хороший маркетинг - они взяли запись демо gtp-4o и присунули голосовые ответы модели(звук) в свой генератор мимики для аватров. Выглядит просто убойно. Синтезия действительно проапгредила свой движок и их аватары теперь артикулируют и шевелят лизом очень хорошо. Но, коллеги, кто вам сказал, что это реалтайм? Нейролипсинк - вещь тяжелая, неприятная...

Поглядеть на внешний вид новых ИИ-писюков от Микрософт и на то как работает рисовалка Co-Creator можно тут

Теперь про ИИ на новой Винде с ARM-процессором. 1. Меня больше всего триггернула функция Total Recall (Вспомнить всё one love). Поглядите тут: https://youtu.be/5JmkWJNng2I?t=26 ИИ запоминает ВСЕ ВАШИ ДЕЙСТВИЯ. С привязкой по времени. Это, конечно, потрясающе для обучения и дообучения. Через некоторое время вы только поглядите на экран, а ИИ поймет, что вы собираетесь сделать и сделает (правда в игры будет играть неинтересно). Но подумайте, а вы хотите, чтобы все ваши глупые действия протоколировались? 2. Live Captions также позволяет делать переводы на основе AI любого видео в реальном времени. Забавно, что в демо ролике светится перевод с русского на английский. 3. Microsoft также добавляет Auto Super Resolution, которая автоматически масштабирует игры для улучшения частоты кадров и графического разрешения. Тут боян, конечно. 4. Co-Creator. Там, конечно, весь этот жир для генерации контента. Судя по демо, аналог Креа. Надо будет смотреть (в след посте). Вот тут подробно про софт и железо: https://www.youtube.com/watch?v=iHQgf3DNAr8&t=419s