AINews | Нейросети

Рубрика крутые вакансии. Смотрите, на Кипре очень крутое IT-комьюнити. Прям хорошее. Сам я провожу регулярные сходки сообщества в Пафосе, подробнее можно глянуть тут. Адвайзю некоторое количество ИИ-проектов. В один из них (очень крутой) требуется крепкий LLM-щик, и такой же крепкий Generative-щик. Все по-взрослому, релокация на Кипр, все блага цивилизации и очень интересные задачи. Если чувствуете в себе крутизну и отвагу, идите по двум ссылкам ниже, читайте подробности, писать по указанным там контактам можно по-русски. Можно мне, если есть останутся вопросы. Вилка не указана, но сеньоры тут получают 6-10К евро. В общем, если хотите зимовать как цари на острове в средиземном море, то поглядите на вакансии. Senior AI / ML Engineer Senior AI Image Generation Generalist

Рубрика "крутые подписчики". Я недавно увидел новый клип LIMP BIZKIT на старый трек Turn It Up, Bitch и зацепился взглядом на полный ИИ-генератив, который использовался в этом клипе. Зацепился, потому, что в отличие от других нейроклипов, тут все сделано чисто и авторы явно знали, что такое колор-коррекция и выравнивание во цвету для всего материала, а не просто склейка нейрокусков. И тут мне написал автор этого клипа! Оказалось, что Павел, владелец студии Нойзлаб, в одно лицо запилил именно этот клип, без предварительного знания нейронок, обучаясь на ходу по 12 часов в день. За две недели! История была такая, что Павел по фану сделал видео-кавер на трек Break Stuff в стиле кантри, с обработанными голосами и выложил его на ютюб. https://www.youtube.com/watch?v=dZGisw-uEgo Кавер заметили сами LB и выложили его к себе в Инсту. И понеслось.А дальше Паше в директ написал сам Фред и предложил стать РЕЖИССЕРОМ следующего клипа! Из вводных - пара фоток и стилистика Майями Вайз. Также Фред пригласил Пашу на концерт в Лондон через три недели, где надо было представить клип. Паша расписал детали у себя в канале, я скопирую сюда самое мясо, а остальное, включая те самые фотки, поглядите у него у канале. Мой рабочий пайплайн включал использование 10 нейросетей и примерно 12 часов работы за компьютером каждый день. Я не использовал ComfyUI или другие подобные интерфейсы, а только те, которые доступны в веб-браузере. Единственное, что я хотел бы отметить, это мое очень дотошное и скрупулезное отношение к финальным кадрам. Я старался, чтобы каждый глаз и каждый палец были на своем месте. Мой перфекционизм сыграл здесь свою роль. Что конкретно я использовал? Препродакшен: Pinterest - создание досок с разными стилями Midjourney - поиск промтов и вдохновения Miro - общая доска с кадрами и таймлайном Старт: 27 мая Pinterest - референсы + фото артистов ChatGPT - создание многослойного промта Midjourney - генерация картинок Leonardo Ai - генерация картинок Photoshop - замена/добавление элементов Krea.ai - улучшение окружающих элементов Topaz Gigapixel - апскейл до 4K FaceSwap - замена на лицо артиста Topaz Gigapixel - апскейл до 8K Runway ML - создание видео из фото FaceSwap Video - еще один прогон с лицом артиста Topaz Video AI - апскейл видео файла до 4K После выхода Luma.ai (после 12 июня) из пайплайна пропала полировка лица с помощью FaceSwap: Midjourney - генерация картинок Leonardo Ai - генерация картинок Photoshop - замена/добавление элементов Krea.ai - улучшение окружающих элементов Topaz Gigapixel - апскейл до 4K FaceSwap - замена на лицо артиста Topaz Gigapixel - апскейл до 8K Luma.ai - создание видео с лицом артиста Topaz Video AI - апскейл видео файла до 4K Ну и прибавьте сюда кучу потраченного времени на “рандомные” генерации, и получится, что я использовал примерно 30% из того, что создавали эти сервисы. Тут я добавлю, что именно опыт поста и продакшена, понимание постановки камер и света, склеивания камер, тут ключевой. И очень круто, что у меня в подписчиках такие люди. Вот тут чуть больше деталей, как произошел контакт с Бискетами в аудио версии. https://youtu.be/mIlgrwF9AQ0?t=350 А остальное в канале у Паши.

В продолжение про LivePortrait повторю свой пост двухлетней давности: Я сначала немного привсподупал со стула. Слева реальная кожаная косплеерша имитирует движения анимационного персонажа из Отеля Трансильвания. И как! Да, там сверху навалено фильтров, но кожаная анимация (мимика и тело) впечатляет. Вот такие люди смогут использовать LivePortrait на всю мощь. Ну и вот вам история для размышления. Когда в конце 90-х мы привезли первый взрослый мокап (Асценшен) на студию Пилот, то был устроен кастинг для мокап-актеров. Обосрались все. И только одна категория граждан идеально и с большим отрывом подошла на эту роль. Знаете кто? Мимы. P.S. А Серега Лобанков после этого стал лучшим актером мокапа в России. И было это 28 лет назад. Вот косплеерша: https://twitter.com/seeu_cosplay

Давно хотел написать про LivePortraits, но подождал пока все проплачутся кипятком восторга типа "вот оно как умеет". Как по мне, это очень крутая штука, выходящая за рамки шевеляжа моны лизы с помощью вашего унылого видео. Вообще говоря, это мета-нейромокап. Смотрите, обычный лицевой мокап снимает данные с маркеров на лице актера и переносит их на 3Д\2Д-модель лица и ну шевелить его. Нейромокап, вместо маркеров и костюма берет на вход видео и отдает тоже трехмерные траектории маркеров или датчиков, он их не считывает, он их считает (в уме). И тоже подает на скелет или модель лица в 3Д\2Д. А тут получается захват данных с камера\видео и перенос их на нейроаватара. Без всякого 3Д. Нейро-нейро-мокап. Траектории движения, маркеры и вот это вот все просто не возникают и остаются неявными переменным в мозгах у ИИ. Кстати, вы в курсе, что у них также есть видео-в-видео, а не только видео-в-картинку. То есть входное видео с шевелящимся лицом, шевелит лицо на другом видео - например человек шел молча, а пото...

Вот держите довольно незамысловатый ролик. На входе - отрывок из "Гордость и Предубеждение". На выходе типавидео. Пайплайн: - Anthropic Claude взял первую главу, сгенерировал сцены и отдельные промпты для генератора изображений - ideogram взял промпты и сгенерировал изображения - Luma Labs взял изображения и анимировал их - elevenlabs для повествования - veed studio для монтажа Я бы не обратил внимания на ролик, но это запостил у себя Андрей Карпатый, который сам лично ручками собрал это дело. И вот что он пишет. https://x.com/karpathy/status/1808686307331428852 Честно говоря, это было довольно муторно, и мне пришлось много копировать-вставлять между всеми инструментами, и даже это небольшое видео с 3 сценами заняло у меня около часа. У того, кто сможет сделать это удобным, есть огромные возможности для создания сюжетов. Кто создаст первый 100% AI-native movie maker? И это отличный вопрос! Мы с Пашей Рогожиным делали что-то подобное в 2022, когда не было не то, что видео, но и контрол нета, айпи...

Сейчас будет каминг аут. У меня есть Скайп(!) и я им пользуюсь. И вайбер. Уф, полегчало. Правда скайпом я пользуюсь только для того, чтобы звонить родителям, а вайбером, чтобы дозвониться, на мобильный, когда скайп тупит. И вот после недавнего звонка, заметил, что кто-то мне пишет сверху в скайпе. Оказалось, что это Copilot от Микрософта (с мобилы не замечал, а тут позвонил с десктопа). Ну-ка иди сюда, говорю, давай генери мне картинки. А он такой, апажалста! И ну стрелять в меня картинками по моим промптам очередями по четыре за раз. Я его помучил немного, в отличие от chatGPT, он генерит только квадратные, не понимает json промпт и вообще туповат. Но быстрый исполнительный. И до лимита я не дошел. Да, это DALL·E 3 с урезаным промптом из микрософтовского Designer, но это какое-то странное ощущение - сидеть в скайпе и генерить картинки в чате. Месье знает толк в извращениях!

Центр искусственного интеллекта Т-Банка (AI-Центр) проведет одну из крупнейших конференций по машинному обучению Turbo ML Conf и одно из немногих многопрофильных ML-событий в России. Конференция охватит сразу 7 ML-направлений. Более 30 экспертов выступят на 4 площадках: Research & RnD, NLP & MLOps/LLMОps, RecSys & Time Series, Computer Vision & Speech. О новейших достижениях в отрасли расскажут эксперты из Т-Банка, Яндекса, VK, MTS AI, AIRI и других компаний. Мероприятие пройдет 20 июля в Москве в пространстве GOELRO. #промо

Я погонял Paint-Undo от создателя Fooocus. Там под капотом Stable Diffusion 1.5 и та сама сетка ToonCrafter, которая недавно навела шороху. В общем идея там простая. Есть два режима single frame и multi frame. Первый берет на вход картинку и номер кадра. 999 это ваша картинка, 0 это чистый лист. 950 - это почти законченная картинка. Далее вы задаете эти кифреймы ручками, типа 0, 100, 200, ..., 900, 999. И сетка строит видео "назад". Single frame генерит картинку в указанном кадре, а multi frame генерит 16 картинок между полученным кадром и поданным на вход. В примере выше берется кадр 999, генерится кадр 900 и 16 кадров между ними, потом берется полученный 900, генерится 800 ну и тд. Не обязательно до нуля. Лучше ставить до 400-500. Сначала вгружаешь картинку, просишь описать промптом. Он натренирован на 1.5 пэтому чаще всего промпт такой - 1girl, solo, long hair, looking at viewer, blue eyes, blonde hair, collarbone, artist name, mole, lips, eyelashes, makeup, watermark, lipstick, portrait, yellow back...

Продолжаем нейронные олимпийские игры. Сегодня у нас фигурное катание

В последнее время количество каналов в ИИ растет если не экспоненциально, то линейно. Количество вороваторов-аггегаторов зашкаливает. Я с любопытством смотрю, как мои разнузданные посты копируют и втискивают в шаблон "смаритечто" или "SD3 урыли, а OpenAI фсе" или "а вот новость". Понятно, что такие каналы - закупка аудитории, нагон хомяков и личности автора там и близко не просвечивает. Я подписан в основном на авторские каналы, где есть персоналити. Один из них - авторский канал Алексея Иванова, где он рассказывает и обсуждает нетривиальные новости из мира AI, делится полезными подборками и промптами, публикует разборы и ляпы нейронок. Кстати, Алексей любит эксперименты с AI в областях саморазвития и обучения, и активно встраивает LLM в свою повседневную жизнь. Возможно вы его знаете по проекту PonchikNews. Вот интересные посты с его канала: #Промпт: саммари, которые вставляет читать Claude 3 Opus vs GPT 4 Updated: чем пользоваться? [опрос] Станут ли бедняки и средний класс богаче с появлением AGI? OpenAI - это новый Apple. Вот почему Тестим Gen-3 по промптам от подписчиков Подписывайтесь на , это вам не аггрегатор чужих постов #вп