CGIT_Vines

Не сиди близко к телевизору, глаза испортишь!

Совсем скоро начнут релизиться первые игры с системой Nvidia ACE. Это та, которая позволяет прогонять личности NPC через LLM. Они могут помогать вам на поле боя, мешать вам на поле боя, сливать катку, долго не слушаться ваших просьб и приказов. Еще они могут быть проводниками по интерфейсу, дополнять туториалы, знакомить вас с механиками, шутить (только не это, юмор у ИИ пока отвратный) и еще их можно будет романсить. Они будут очень сильно раздражать, иногда удивлять, но совершенно точно будут хорошо помогать продавать новые поколения видеокарт, потому как текущее поколение ACE будет вычисляться локально на вашей машине. Среди списка, что я перечислю, лично у меня большие надежды на GTA6, потому как я уверен, что какую-нибудь LLM прикрутят туда. inZOI - появятся NPC заполняющие пустой мир, обучающиеся на дневном полученном опыте во время сна. ZooPunk - пока что показали только одного NPC в сейфзоне который будет помогать вам кастомизировать корабль. PUBG - компаньон о котором не лестно отзываются после того как на презентации ему кричали в микрофон садиться машину в течении 15 секунд пока он продолжал атаковать врагов. (На просчёт раков в команде теперь нужно будет потратить свое электричество) World of Jade Dynasty - эту реализацию ругают в основном за то что разработчики будут лениться делать хороший мокап и липсинг спихивая всю работу на автоматизацию делая бездушных персонажей еще более мертвыми. За это же ругают Alien: Rogue excursion - на мой взгляд наиболее удачное применение, т.к. вы говорите с синтетиком. На канале Nvidia еще есть примеры других игр. Если вспомнить историю кино и как актеры там отыгрывали роботов буквально с начала 20 века по наши дни, идея не изменилась, изменились детали. Мы стали больше знать про искусственные машины и то, как они могут проявляться в деталях, ушли от тупого подражания движениям тела "железки" к философским размышлениям. Так и тут: железо станет более приемлемым и принимаемым для нас, ведь нам еще с ними сливаться.

Krea добавила инструмент, который переводит некоторые объекты генерации в трехмерное представление. Помните, я говорил: когда все наиграются с красивыми картинками, начнут уходить в тулзы? Надеюсь, это уже началось. На самом деле, для такого инструмента не нужна суперточная система генерации геометрии, и это хорошо. Перевод объекта в 3D займет наименьшее количество времени, остальное дорисуется. Кажется, мы увидели гибрид пейджера и телефона. @CGIT_Vines

Лучший перфоманс Beepl'a

Microsoft в своем блоге сообщили, что новые версии DirectX, которые они сейчас разрабатывают, будут нацелены на поддержку нейронного рендеринга. Кооперативные вектора - это технология которая будет раскрывать потенциал тензорных ядер на видеокартах для вывода нейронных шейдеров, оптимизируя и ускоряя просчеты и вывод результатов. Как работают обычные пиксельные шейдеры, которые мы используем сейчас? Это программы, обрабатывающие каждый пиксель на экране - они отвечают за освещение, текстуры, тени и все визуальные эффекты в играх. Работают они по строгим математическим формулам и дают предсказуемый результат, что годами было стандартом в индустрии. В отличие от классических шейдеров, нейронные используют машинное обучение и способны "додумывать" детали изображения. Именно так - они могут создавать более реалистичные текстуры, оттуда же и компрессия текстур высокого разрешения, улучшать освещение и генерировать новые детали в реальном времени. Конечно, за красоту приходится платить - нейронные шейдеры требуют больше вычислительной мощности. Качество картинки выходит на новый уровень, особенно в связке с трассировкой лучей. При этом классические шейдеры никуда не денутся - обе технологии будут работать вместе, дополняя друг друга, пока. В контексте текущей, ползущей, революции рендеринга, хочется отметить, что новые технологии для разработчиков приносят еще больше нагрузки, ожиданий, требований и конечно багов. С одними только нанитами и люменом, я себе в мозг заложил наверное процентов 15 новой информации чего можно с ними делать а чего нельзя. С шейдерами будет та же история. Запросы у аудитории вырастут настолько, что разрабы будут пищать только бы дали какую нибудь нейронку для упрощения работы, потому что количество работы вырастет в разы. Мы сейчас работаем над проектом в котором требования к технической и художественной детализации настолько дико высокие, что иногда даже не очень понятно синематик мы делаем или игровой процесс. Так что, конечно, не нужно думать что с нейронками количество работы уменьшится, она просто станет другой, ебаться будем с другими проблемами, чтобы сделать красиво и интересно. @CGIT_Vines

Adobe Research опубликовали тесты новой модели реконструкции 3D по фотографии. На выходе пока имеем только сплаты. Хочу отметить довольно высокий уровень сходства моделей с изначальной фотографией, в том числе и в плане расположения полигонов, т.е. силуэты довольно точны. Обратная сторона моделей додумывается тоже без критичных нареканий. Волосы на сплатах выглядят великолепно. Остается вопрос: сделают ли они перевод волос на сплайны или плашки (что вряд ли). Кроме этого, модель отлично справляется с переводом видео в splat sequence, правда, пока с пониженным количеством кадров. Nvidia же с этим поможет, да? Git Project Paper Youtube

Достойное применение всех этих ваших технологий.

К другим, более мрачным новостям. В 2021-м People Make Games рассказывали о кранче в азиатском видеоигровом аутсорсе. Чтобы вы примерно представили масштаб этой части логистики глобального ААА-производства, держите немного анекдаты. В компании Virtuos (штаб в Сингапуре, офисы — по всему миру) работает 3 800 человек, и она уже скупает инди-студии. А начиналось все с работ над версиями игр для конкретных платформ и создания ассетов. Работа ее сотрудников — невидимая соединительная ткань между играми вроде MGS Delta, Call of Duty: Modern Warfare III, Horizon Forbidden West, Mortal Kombat, Kerbal Space Program 2, the Callisto Protocol, NieR Automata, Astral Chain, Cyberpunk 2077, Dark Souls Remastered. Как видите, даже жанровый разброс вполне внушительный. Или можно вспомнить компанию Brandoville Studios из Индонезии, сделавшую ассеты для The Last of Us: Part 2, Age of Empires IV и Assassin's Creed Shadows. О ней как раз идет речь в новом видео PMG. Работать с азиатскими компаниями, судя по всему, удобно — там дела с защитой прав трудящихся еще хуже, более нормализована культура кранча. С 2021-го ситуация не особенно изменилась, но история Brandoville выходит и за эти рамки: физическое насилие над сотрудниками, сотрясение мозга, видео с сотней шлепков себя по лицу в качестве извинений, все в таком духе. Ubisoft, разумеется, уже всячески открещиваются от бывших партнеров и отсыпают порцию серьезной озабоченности. Советую посмотреть само видео (я все еще в процессе), но помимо прочего хотел немного поговорить про распространенную романтизацию кранча, особенно от лица комментаторов, которые этот самый кранч в глаза не видели. Есть такая идея, что разработка игр — это такая работа мечты, где знай себе, пили с прикольными людьми игры, давай волю фантазии, реализуй свои фантазии про ограбление корованов. Но на самом деле, огромная доля геймдева посвящена переизобретению велосипеда, отлову багов и бесконечному уточнению видения игры, так как у всех свое понимание "фана" и "центральной идеи". Это даже не учитывая необходимости как-то убеждать инвесторов — людей, не очень хорошо понимающих видеоигры — что именно ваш проект принесет десятикратный возврат вложений. При этом за одни и те же навыки в геймдеве нередко платят ниже, чем в других областях. Культурная проблема кранча заключается в том, что при всех возможных "оплачиваемых сверхурочных" во многих компаниях в принципе нормализуется ситуация, когда сотрудник работает на величие студии до полуночи, первым уходить — нехорошо, нужно показать результат. Прерогативой многих менеджеров становится допрос сотрудников в духе "а я не уверен, что на задачу Х ты действительно потратил 20 часов, а не 10, распиши, что ты вообще делал все это время". Кранч не всегда учитывается в планировании следующих (как правило, более крупных) проектов. Ну и, конечно, делать одни и те же вещи несколько тяжелее, месяцами выкраивая на сон по 3-4 часа за сутки в 90-часовую рабочую неделю. При этом нельзя недооценивать влияние постоянного недосыпа и усталости на организм. Чем сильнее устаешь, тем сложнее трезво оценить ситуацию, отстоять права и вообще перестать крутиться в колесе, распознать манипуляции, в конце концов. Когда где-то говорят вещи в духе "мы не просто компания, мы — семья/друзья", нужно сразу напрячься. Это вполне может означать, что на рабочем месте могут начаться семейные по своей динамике разборки, свойственный неблагополучным семьям абьюз и выгодные для одной из сторон дружеские просьбы в обход четко прописанных рабочих обязанностей. Дополнительный контекст — Прошлое видео про покупку кранча в Азии — Текст Outline про Virtuos и индустрию аутсорса — Wiki-страничка про Virtuos — Заметная история кранча в Naughty Dog — Выжимка из опроса 2023 года о кранче в игровой индустрии — Материал Digital Trends о кранч-культуре 2018 года

Pixar выпустил генератор text2video с поддержкой альфа канала, TransPixar. Давайте сразу успокою споры симулянтов: это никакая не замена Houdini, Bifrost или чего-то еще. Это просто управляемая альтернатива для стоковых эффектов — огни, дымы, льющаяся водичка для простеньких рекламных пэкшотов. Ну или мемов. Да, альфу и глубину можно было вытащить из видео и раньше, но теперь они идут вместе и сразу. Код открытый, модель доступна для некоммерческого использования. Обучалась, кстати, всего лишь на 484 видео. Проект Huggingface Git @CGIT_Vines

Еще несколько вещей по нейронному рендерингу показали в контексте Nvidia RTX Kit. Из интересного — нейронные шейдеры с нейронной компрессией текстур, уменьшающей использование текстурной памяти почти в два раза. А я думаю, чего это мы так бесстрашно начали отгружать текстуры в 4K для нового проекта... Это на самом деле суперфича, только можно, пожалуйста, сделать так, чтобы Painter не лагал в 4K при большом количестве слоев?! Вторая фича — это Neural Radiance Cache, позволяющая держать "бесконечное" количество отскоков света. Про бесконечность я все же думаю, что это маркетинг. Третья фича — RTX Neural Faces. Очень напомнила эффект, который делали в L.A. Noire с анимированными текстурами лица. В общем, выглядит как аппликация, и я бы не сказал, что на данный момент это хорошее решение против зловещей долины. Демка на видео запусказалась на 5090 в реальном времени. Но теперь даже не знаю как относиться к новой серии, после лажи с 25 ФПС. Kit станет доступен позже в этом месяце. Почитать в блоге Смотреть на ютубе

Nvidia поделилась обновлением для DLSS 4. Из маркетинговых фишек — Multiframe Rendering, доступный исключительно для 5-й серии карточек. Для 4-й серии все то же самое, но с генерацией одного промежуточного кадра. Сдается мне, что в течение месяца это сломают и добавят поддержку для 4-й и 3-й серии. Не секрет, что DLSS — это чисто нейронная тема для поддержки продаж "зеленых" карт. В связи с прогрессом пришлось заменить сверточные сетки в основе на трансформеры с почти вдвое увеличенным количеством параметров. Вспоминаем слова Хуанга о том, что вся графика будет сгенерирована. И еще вспоминаем все эти демки с "Думами", "КС-ами", "Майнкрафтами" и т.д. Они уже умеют кое-как предугадывать следующий кадр, но опираются не на четкие трехмерные представления, как в Multiframe Rendering, а на предыдущие кадры. Из-за чего коллапсируют довольно быстро. Идея DLSS будет двигаться так далеко, как сможет, пока не научится генерировать почти все кадры. С таким подходом нужен будет только один разметочный кадр на зону, который, вероятнее всего, даже не будет вам показываться. Остальные фичи смотрите в полном видео. Таблица совместимости функций — в комментах.

На реддите тип под ником ai_happy собрал сборку Trellis с пониженными требованиями к памяти. С 16Gb до 8Gb и однокликовым установщиком, как у A1111. Не требует cuda toolkit, powershell и admin'ских прав. Говорит, потери в качестве нет. Добавил api support + documentation. Как вернусь домой к компу, буду тестить, если кто-то развернет раньше, кидайте сюда свои результаты!❤️ Git тут @CGIT_Vines

На реддите тип под ником ai_happy собрал сборку Trellis с пониженными требованиями к памяти. С 16Gb до 8Gb и однокликовым установщиком, как у A1111. Не требует cuda toolkit, powershell и admin'ских прав. Говорит, потери в качестве нет. Добавил api support + documentation. Как вернусь домой к компу, буду тестить, если кто-то развернет раньше, кидайте сюда свои результаты!❤️ Git тут @CGIT_Vines

У Sora есть кнопка loop, которая позволит сделать turntable с нужным объектом и потом перевести его в 3D. Только если делаете персонажей, не забывайте писать в промпте, чтобы персонаж был лысый, если вы понимаете, о чем я 👩‍🦲

Прошло только 2 дня с начала 25 года, а судья и адвокат во Флориде уже смотрят преступление от первого лица через брейнданс. @CGIT_vines

Прикручивание LLM-систем к классическим способам моделирования, например CAD-системам проектирования. Я тоже поначалу подумал, как же это тупо, неудобно и неэффективно — писать текстом то, что можно сделать руками по классике. Тем более если мы говорим про сложные сопряжения и неравномерные фаски. Но если в вашей схеме под 500 деталей, и вам нужно вносить изменения в узлы, сдвинув на 0.032 mm отверстия, а потом запустить каждую деталь в симуляцию, чтобы ракета или корабль не отклонялся от курса или детали меньше изнашивались, то текст, как дополнение, будет увеличивать скорость ваших итераций в 10, а в некоторых моментах — в 50 раз. Так, по крайней мере, заявляет разработчик этого решения, Джордан Нун, исполнительный директор Zoo Creates — инфраструктуры для hardware design. Попробовать тут.

Понимаю, что возможность сделать себе подарочек официально прошла, но если вы не успели купить себе ничего, то возможно это вас заинтересует. Покидайте в комменты любой гаджет с которого дуреете, как я с эстетики этой клавиатуры. Название - Field75 HE

Прохождение капчи через убийство трех монстров в DOOM. Лучшая проверка на остатки человечности первого января. Попробовать тут

Вместо того, чтобы читать чужие итоги года, читайте свои. Если вы достаточно активно использовали GPT, то можете попросить его составить ваш собственный Recap, используя запрос:

Сделай мой собственный recap и подведи статистику моего использования GPT за этот год.

Отдельно мотивирует, если вы давали достаточно информации по вашему развитию получать ваш же рекап, но уже на 2035 год, например.

Сделай мой собственный recap и подведи статистику моего использования GPT за 2035 год.

Иногда сложно со стороны бывает посмотреть на свои возможности, особенно в контексте будущего. Теперь определённо мне нужны будут агенты-мотиваторы, чтобы я мог попросить составить персональный план на год, два или 5 лет с достижением определенных целей. Так, чтобы агенты следили, мотивировали и помогали ежедневно по шагу  двигаться к реализации планов. Как запилите подобный стартап, не забудьте мне закинуть процент.

На госуслугах в честь 15-летия и по окончанию года решили подвести местный Recap. Но получилось, как всегда. Хотя геймификацию одобряю. Ачивка за 10 штрафов за превышение скорости, конечно, пополняет бюджет, но хотелось бы позитивной мотивации. Заодно впервые решил проверить местного робота "Федора Максима" в режиме GPT. На запрос он ответил, что ничего не нашел, и все. После этого — ни предложений, наиболее близких к теме, ни предположений о том, что я мог в действительности иметь в виду. В общем, гостеприимству еще учиться.