CGIT_Vines

Decart в демку Oasis добавил возможность создавать представления на основе вашей входящей картинки. Ожидаемо, такой мир довольно быстро начинает деградировать и разваливаться. В следующих версиях обещают сделать его более стабильным. Все инсинуации с будущим оставляю вам в комментариях. Пробовать всё там же. Свои миры кидайте в комменты — либо картинками, либо видосами. @CGIT_vines

Offline is new luxury #PIA

С каждым месяцем всё лучше и лучше. Геймдев все ближе к точке бифуркации. Ребята из Etchet в сотрудничестве с Decart, на которой выпустили DoomAI, показали Minecraft, полностью сгенерированный, идущий в 20 fps без инпут-лага. В эту демку можно поиграть вот тут, дождавшись своей очереди; на момент написания её около 100-200 человек. Кадры генерируются в зависимости от вашего ввода: из интерактива — повороты, прыжки, строительство и разрушение. Etchet также представили свой чип, который супербыстр для генерации видео через трансформеры, и предупреждают, что 70% контента уже имеют видеооснову, будут иметь ещё больше, в том числе генеративного формата. Эта демка запускается всё ещё на H100 в разрешении 360, и потом апскейлится; на чипах Sohu будут обслуживаться модели 100B+ и разрешением 4K, которые будут супербыстрыми за счёт распараллеливания. Подробнее в их блоге. @cgit_vines

Нашёл интересный пример с небольшой перспективой на развитие. Грубо говоря, возможность агента непрерывно смотреть на ваш экран и помогать вам в обучении. В данном случае это десктопная версия ChatGPT с голосовым управлением, но она пока не умеет смотреть на экран. Прощай, курсы, учившие вас нажимать кнопочки в софте! А потом и в целом курсы, обучающие вас делать что-либо! В который раз убеждаюсь, что не сами знания, а пайплайн получения знаний становится куда важнее. Мечта интерпренёра — поставить такое в офисе и каждый раз списывать с вас кредиты, когда страдаете херней на работе 🫡. Думаете, не поставят? Конечно, поставят! Сейчас ещё нет релизнутых моделей (только беты), которые могут просматривать ваше рабочее пространство на компьютере или смартфоне. Claude и ещё пару стартапов пробуют делать это посредством скриншотов, и пока только так. Я думаю, к середине следующего года, но скорее всего раньше, у нас будет что-то наподобие этого концепта, но уже в рабочем состоянии.

Спустя примерно полтора года после того, как Wonder Dynamics присоединилась к Autodesk, они запустили бета-версию тулзы Wonder Animation. Напомню для тех, кто пропустил: вы можете снимать на свой телефон шоты с актёрами и потом переводить их анимацию в готовые трёхмерные представления. Я даже делал стрим на эту тему полтора года назад. Создатели сами заявляют, что не поддерживают хайп по автоматическим решениям с кнопкой «сделать красиво», понимают, что художникам нужны широкие настройки в инструментах при работе с ИИ, и предоставляют их, давая художникам полный контроль над анимацией движений, мимики, крупности шотов и, по заявлениям, поддержку бесшовного переключения между крупностями кадра. (Интересно посмотреть, как это работает).

Сегодня наткнулся на интересное исследование, в котором обсуждается, как крупные языковые модели учатся, используя структуры, схожие со строением человеческого мозга. В работе показано, что концепты в ИИ организованы на трёх уровнях: от «атомных» идей до более сложных «кластеров» с общими смысловыми признаками. Использование автоэнкодеров для представления концептов в виде трёхуровневой иерархической структуры организовывает данные по принципу, напоминающему когнитивные структуры. Это дает языковым моделям возможность более глубоко понимать и генерировать смысловые связи, улучшая их точность и интерпретируемость. В итоге, это создает предпосылки для развития ИИ, способного обрабатывать сложную иерархическую информацию, типо того как это делает человеческий мозг. Подробнее читать тут

По всей видимости, текущие методы RL не очень подходят для генерации трёхмерных представлений либо тратят слишком много вычислительных ресурсов. Поэтому для новой беты модели Gen-1 RLHF V0.9 использовали Reinforcement Learning with Human Feedback (RLHF): у них, натурально, в штате сидит команда моделлеров, которые раздают вознаграждения. К слову, генерации на уровне Tripo3D из этого поста — возможно, у Tripo тоже RLHF, но это же не звучит так волшебно, если у тебя разметку делают люди. На старте дадут 8 бесплатных кредитов, погонять тесты хватит. Для остального есть возобновляемые кредиты у Tripo. Пробовать тут

В Японии освятили Гандама! Теперь официально, выходные можете проводить спокойно, человечество под защитой.

А вот тут чувак поместил старую и обновленные модельки sonnet 3.5 в майнкрафт в качестве агента и попросил отстроить что-нибудь. Слева — старая модель, справа — новая. Тот самый случай, когда claude строит лучше, чем я. Майнкрафт — тысяч бенчмарков.

Давайте пока охладим траханье на счёт управленческих LLM-систем. Если кто не в курсе, почитайте тут у Дениса. Если влом читать, то это LLM-агенты, способные "управлять" вашим компом через промпты. Не знаю, в чём там сложность установки, но я как гуманитарий поставил в течение пары минут. Попросил создать сферу в Blender — окей, не можешь, давай тогда, может быть, куб? Тоже нет? Окей, я создам сам, просто подвинь его на 5 см вправо. Нет? Бу, испугался? В общем, моё дело — периодически проверять, теряем ли мы работу или ещё можно пофлексить. И, как видно из видео, для съёмки которого я оплатил API Claude AI, оно того стоило, ага 🤡. Работу пока не теряем. Блуперы, не попавшие на видео: на просьбу запустить Blender, он настойчиво открывал ZBrush. Давайте ваши советы, что ещё попробовать! Автору самого интересного и рабочего промпта посвящу пост в канале. Агента брал с этой репы

О вишенках и реальности Год радует на громкими словами, а не релизами. Очередной симпатичный релиз от моих любимых Runway ждет нас уже скоро — доступы обещали начать раздавать уже со вчерашнего дня. В этот раз нам обещают шикарный перенос мимики (лицевой мокап), лучше завирусившейся недавно Hedra. Видео из нового продукта Act-On Runway правда сначала потрясают. Но тестируя как работают другие релизы типа обновления Gen c переносом стиля на кадр, понимаешь, что это годится только пока для мемов и творческого поиска. И на том спасибо. Применяя это на практике понимаешь, что инструменты из коробочки работают примерно на 20%, в кейсе часто приходится это учитывать, подстраиваясь не под идею, а возможности софта. Например у Hedra, если у героя не очевидные черты лица (а это бывает часто), то инструмент просто выдаст ошибку, перенести точки как-то вручную и помочь ему сориентироваться — никак. Кредиты только так улетают, вне зависимости от качества картинки-движения-реалистичности. Итого для хорошей работы нужно иметь в арсенале несколько подписок, механику которых ты знаешь можешь приблизительно предсказать результат. Часто возникает ситуация, когда одна механика вырусится, автор или группа авторов начинает работать именно с определенным пайплайном, забивая на содержание и вместо экспериментов и все новых и новых открытий мы получаем нейронный шум. Создатели (или их заказчики) потом еще удивляются, а почему их кейс с пайплайном 2022 года не оценили. Некоторые коллеги выбирают для своих проектов решения из опенсорса, но в этом случае больше управления несет за собой больше экспериментов, итераций и поломок, что конвертируется во время. Зато результат часто не такой как у всех. Настоящее и будущее больших открытий и хороших денег как всегда за междисциплинарными кейсами, где используется много нейронок, много не-нейронок, а самое главное человеческий талант. Волшебной видео-кнопки пока нет. Извините, а SORA выйдет? А мячик можно?

Все: Невероятное использование нейросетей в продакшене, кажется все студии и художники теперь потеряют работу. Next generation AI: create video of sculpting wooden plank in zbrush @CGIT_vines P.S. к слову, он генерил это дней 5

Не знаю, отсутствие ли необходимых данных или абсолютная левость в фильтрах ChatGPT заставляет его называть эту фотографию фейковой и даже AI-generated и это при трех прямых вопросах. А ведь я заставил его погуглить последние события и ткнул носом.

Слышали, что Третьяковка решила закрыть отделение современного искусства? Переживать не стоит, я открываю филиал Post Internet Art #PIA прямо тут! С любовью, @CGIT_Vines 🥰

В очередной раз просматривая ленту людей, которые на меня подписаны (да, я иногда так делаю, это мой фетиш), воодушевляюсь тем, какие вы все разные: молодые, старые, модные и нёрдовые, устремленные, в теме и те, кто еще в поиске себя, инженеры, художники, заводчане, службы смм и маркетинга, директора студий, владельцы тг-каналов и ТАМАДА (тебе отдельное ❤️). Возможно, я вам иногда облегчаю жизнь, делаю ее слегка интереснее, кому-то, возможно, помогаю, потому что вы мне абсолютли да! 🥰

Кажется, не так много времени осталось, и пора разобраться. В первую очередь честно ответьте себе: если ваш партнёр начнет чаще говорить, шутить, обсуждать общие темы со своим AI-компаньоном хотя бы на том же уровне, что и с вами, будете ли вы чувствовать ревность, зависть, непринятие? Да, AI со временем зарегулируют, и он будет выступать больше в роли семейного психолога, но ведь будут и те, которые будут восполнять то, чего не получают в отношениях с реальным человеком. Будет ли AI поводом для расставания, ревности, зависти? У вас это было бы проблемой?

На днях, на прошедшей конференции CitizenCon, посвящённой игре StarCitizen, показали вот такой сетап для управления кораблями из кокпита. Помимо хардверной части, добавили отслеживание взгляда и головы! Жаль, что нет перегрузок при выходе из атмосферы и растягивания тела при гиперпрыжке.

В который раз наткнулся на это "видео", которое, как мне кажется, — лучшая фиксация космического объекта эвер, и мне стало интересно наконец-то узнать, как оно было сделано. Многие знают, что это комета Чурюмова-Герасименко. На самом деле, видео не снималось в традиционном смысле. То, что вы, вероятно, видели, — это серия изображений, собранных космическим аппаратом "Розетта" Европейского космического агентства (ESA) во время его миссии к комете. Космический аппарат был запущен в 2004 году и достиг кометы 67P в 2014 году. "Розетта" была оснащена несколькими камерами, включая систему OSIRIS (Optical, Spectroscopic, and Infrared Remote Imaging System). Аппарат вышел на орбиту вокруг кометы и делал снимки с разных углов и расстояний. В ноябре 2014 года "Розетта" отправила на поверхность кометы посадочный модуль "Филы", который также сделал несколько снимков. Однако это приземление было проблематичным — после касания аппарата с поверхностью кометы он отскочил несколько раз и оказался в тени, что затруднило его работу на солнечных батареях. Несмотря на это, он смог передать важные данные до того, как его батарея разрядилась. Ученые собрали серию снимков, сделанных в течение определенного периода времени, и объединили их в последовательность, создавая эффект видео. "Розетта" провела около двух лет на орбите кометы, что позволило собрать огромное количество данных и изображений. Таким образом, "видео" с кометы 67P — это результат тщательно спланированной космической миссии, использования передовых технологий и обработки данных на Земле. Это не видео в привычном смысле, а скорее визуализация данных, собранных в течение длительного периода времени. На комете еще нашли органические молекулы, но это уже другая история 👾