AINews | Нейросети
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Больше8 667
Подписчики
-3324 часа
-4517 дней
+3 37030 дней
- Подписчики
- Просмотры постов
- ER - коэффициент вовлеченности
Загрузка данных...
Прирост подписчиков
Загрузка данных...
Рубрика крутые вакансии.
Смотрите, на Кипре очень крутое IT-комьюнити. Прям хорошее.
Сам я провожу регулярные сходки сообщества в Пафосе, подробнее можно глянуть тут.
Адвайзю некоторое количество ИИ-проектов.
В один из них (очень крутой) требуется крепкий LLM-щик, и такой же крепкий Generative-щик. Все по-взрослому, релокация на Кипр, все блага цивилизации и очень интересные задачи. Если чувствуете в себе крутизну и отвагу, идите по двум ссылкам ниже, читайте подробности, писать по указанным там контактам можно по-русски. Можно мне, если есть останутся вопросы. Вилка не указана, но сеньоры тут получают 6-10К евро. В общем, если хотите зимовать как цари на острове в средиземном море, то поглядите на вакансии.
Senior AI / ML Engineer
Senior AI Image Generation Generalist
Рубрика "крутые подписчики".
Я недавно увидел новый клип LIMP BIZKIT на старый трек Turn It Up, Bitch и зацепился взглядом на полный ИИ-генератив, который использовался в этом клипе. Зацепился, потому, что в отличие от других нейроклипов, тут все сделано чисто и авторы явно знали, что такое колор-коррекция и выравнивание во цвету для всего материала, а не просто склейка нейрокусков. И тут мне написал автор этого клипа!
Оказалось, что Павел, владелец студии Нойзлаб, в одно лицо запилил именно этот клип, без предварительного знания нейронок, обучаясь на ходу по 12 часов в день. За две недели!
История была такая, что Павел по фану сделал видео-кавер на трек Break Stuff в стиле кантри, с обработанными голосами и выложил его на ютюб.
https://www.youtube.com/watch?v=dZGisw-uEgo
Кавер заметили сами LB и выложили его к себе в Инсту. И понеслось.А дальше Паше в директ написал сам Фред и предложил стать РЕЖИССЕРОМ следующего клипа! Из вводных - пара фоток и стилистика Майями Вайз. Также Фред пригласил Пашу на концерт в Лондон через три недели, где надо было представить клип.
Паша расписал детали у себя в канале, я скопирую сюда самое мясо, а остальное, включая те самые фотки, поглядите у него у канале.
Мой рабочий пайплайн включал использование 10 нейросетей и примерно 12 часов работы за компьютером каждый день. Я не использовал ComfyUI или другие подобные интерфейсы, а только те, которые доступны в веб-браузере.
Единственное, что я хотел бы отметить, это мое очень дотошное и скрупулезное отношение к финальным кадрам. Я старался, чтобы каждый глаз и каждый палец были на своем месте. Мой перфекционизм сыграл здесь свою роль.
Что конкретно я использовал?
Препродакшен:
Pinterest - создание досок с разными стилями
Midjourney - поиск промтов и вдохновения
Miro - общая доска с кадрами и таймлайном
Старт: 27 мая
Pinterest - референсы + фото артистов
ChatGPT - создание многослойного промта
Midjourney - генерация картинок
Leonardo Ai - генерация картинок
Photoshop - замена/добавление элементов
Krea.ai - улучшение окружающих элементов
Topaz Gigapixel - апскейл до 4K
FaceSwap - замена на лицо артиста
Topaz Gigapixel - апскейл до 8K
Runway ML - создание видео из фото
FaceSwap Video - еще один прогон с лицом артиста
Topaz Video AI - апскейл видео файла до 4K
После выхода Luma.ai (после 12 июня) из пайплайна пропала полировка лица с помощью FaceSwap:
Midjourney - генерация картинок
Leonardo Ai - генерация картинок
Photoshop - замена/добавление элементов
Krea.ai - улучшение окружающих элементов
Topaz Gigapixel - апскейл до 4K
FaceSwap - замена на лицо артиста
Topaz Gigapixel - апскейл до 8K
Luma.ai - создание видео с лицом артиста
Topaz Video AI - апскейл видео файла до 4K
Ну и прибавьте сюда кучу потраченного времени на “рандомные” генерации, и получится, что я использовал примерно 30% из того, что создавали эти сервисы.
Тут я добавлю, что именно опыт поста и продакшена, понимание постановки камер и света, склеивания камер, тут ключевой. И очень круто, что у меня в подписчиках такие люди.
Вот тут чуть больше деталей, как произошел контакт с Бискетами в аудио версии.
https://youtu.be/mIlgrwF9AQ0?t=350
А остальное в канале у Паши.
00:08
Видео недоступноПоказать в Telegram
В продолжение про LivePortrait повторю свой пост двухлетней давности:
Я сначала немного привсподупал со стула.
Слева реальная кожаная косплеерша имитирует движения анимационного персонажа из Отеля Трансильвания.
И как!
Да, там сверху навалено фильтров, но кожаная анимация (мимика и тело) впечатляет.
Вот такие люди смогут использовать LivePortrait на всю мощь.
Ну и вот вам история для размышления.
Когда в конце 90-х мы привезли первый взрослый мокап (Асценшен) на студию Пилот, то был устроен кастинг для мокап-актеров.
Обосрались все.
И только одна категория граждан идеально и с большим отрывом подошла на эту роль.
Знаете кто?
Мимы.
P.S. А Серега Лобанков после этого стал лучшим актером мокапа в России. И было это 28 лет назад.
Вот косплеерша: https://twitter.com/seeu_cosplay
r_Damnthatsinteresting1.mp42.26 MB
Давно хотел написать про LivePortraits, но подождал пока все проплачутся кипятком восторга типа "вот оно как умеет".
Как по мне, это очень крутая штука, выходящая за рамки шевеляжа моны лизы с помощью вашего унылого видео.
Вообще говоря, это мета-нейромокап.
Смотрите, обычный лицевой мокап снимает данные с маркеров на лице актера и переносит их на 3Д\2Д-модель лица и ну шевелить его.
Нейромокап, вместо маркеров и костюма берет на вход видео и отдает тоже трехмерные траектории маркеров или датчиков, он их не считывает, он их считает (в уме). И тоже подает на скелет или модель лица в 3Д\2Д.
А тут получается захват данных с камера\видео и перенос их на нейроаватара. Без всякого 3Д. Нейро-нейро-мокап. Траектории движения, маркеры и вот это вот все просто не возникают и остаются неявными переменным в мозгах у ИИ.
Кстати, вы в курсе, что у них также есть видео-в-видео, а не только видео-в-картинку. То есть входное видео с шевелящимся лицом, шевелит лицо на другом видео - например человек шел молча, а пото...
ssstwitter.com_1720701313931.mp40.65 KB
ssstwitter.com_1720701257847.mp40.76 KB
00:30
Видео недоступноПоказать в Telegram
Вот держите довольно незамысловатый ролик.
На входе - отрывок из "Гордость и Предубеждение". На выходе типавидео.
Пайплайн:
- Anthropic Claude взял первую главу, сгенерировал сцены и отдельные промпты для генератора изображений
- ideogram взял промпты и сгенерировал изображения
- Luma Labs взял изображения и анимировал их
- elevenlabs для повествования
- veed studio для монтажа
Я бы не обратил внимания на ролик, но это запостил у себя Андрей Карпатый, который сам лично ручками собрал это дело. И вот что он пишет.
https://x.com/karpathy/status/1808686307331428852
Честно говоря, это было довольно муторно, и мне пришлось много копировать-вставлять между всеми инструментами, и даже это небольшое видео с 3 сценами заняло у меня около часа. У того, кто сможет сделать это удобным, есть огромные возможности для создания сюжетов. Кто создаст первый 100% AI-native movie maker?
И это отличный вопрос!
Мы с Пашей Рогожиным делали что-то подобное в 2022, когда не было не то, что видео, но и контрол нета, айпи...
ssstwitter.com_1720690757615.mp42.07 MB
Сейчас будет каминг аут.
У меня есть Скайп(!) и я им пользуюсь.
И вайбер.
Уф, полегчало.
Правда скайпом я пользуюсь только для того, чтобы звонить родителям, а вайбером, чтобы дозвониться, на мобильный, когда скайп тупит.
И вот после недавнего звонка, заметил, что кто-то мне пишет сверху в скайпе. Оказалось, что это Copilot от Микрософта (с мобилы не замечал, а тут позвонил с десктопа).
Ну-ка иди сюда, говорю, давай генери мне картинки.
А он такой, апажалста!
И ну стрелять в меня картинками по моим промптам очередями по четыре за раз.
Я его помучил немного, в отличие от chatGPT, он генерит только квадратные, не понимает json промпт и вообще туповат. Но быстрый исполнительный. И до лимита я не дошел.
Да, это DALL·E 3 с урезаным промптом из микрософтовского Designer, но это какое-то странное ощущение - сидеть в скайпе и генерить картинки в чате.
Месье знает толк в извращениях!
Фото недоступноПоказать в Telegram
Центр искусственного интеллекта Т-Банка (AI-Центр) проведет одну из крупнейших конференций по машинному обучению Turbo ML Conf и одно из немногих многопрофильных ML-событий в России. Конференция охватит сразу 7 ML-направлений.
Более 30 экспертов выступят на 4 площадках: Research & RnD, NLP & MLOps/LLMОps, RecSys & Time Series, Computer Vision & Speech.
О новейших достижениях в отрасли расскажут эксперты из Т-Банка, Яндекса, VK, MTS AI, AIRI и других компаний. Мероприятие пройдет 20 июля в Москве в пространстве GOELRO.
#промо
Я погонял Paint-Undo от создателя Fooocus.
Там под капотом Stable Diffusion 1.5 и та сама сетка ToonCrafter, которая недавно навела шороху. В общем идея там простая. Есть два режима single frame и multi frame.
Первый берет на вход картинку и номер кадра. 999 это ваша картинка, 0 это чистый лист. 950 - это почти законченная картинка. Далее вы задаете эти кифреймы ручками, типа 0, 100, 200, ..., 900, 999. И сетка строит видео "назад". Single frame генерит картинку в указанном кадре, а multi frame генерит 16 картинок между полученным кадром и поданным на вход. В примере выше берется кадр 999, генерится кадр 900 и 16 кадров между ними, потом берется полученный 900, генерится 800 ну и тд. Не обязательно до нуля. Лучше ставить до 400-500.
Сначала вгружаешь картинку, просишь описать промптом. Он натренирован на 1.5 пэтому чаще всего промпт такой - 1girl, solo, long hair, looking at viewer, blue eyes, blonde hair, collarbone, artist name, mole, lips, eyelashes, makeup, watermark, lipstick, portrait, yellow back...
lady.mp412.25 MB
anime.mp410.88 MB
moneta_edit.mp412.36 MB
prince_ok_edit.mp422.16 MB
36785811-4069-4b61-ab64-8f9b5599e6b6.mp47.62 MB
00:49
Видео недоступноПоказать в Telegram
Продолжаем нейронные олимпийские игры. Сегодня у нас фигурное катание
video_xhKdBOt.mp45.14 MB
В последнее время количество каналов в ИИ растет если не экспоненциально, то линейно. Количество вороваторов-аггегаторов зашкаливает. Я с любопытством смотрю, как мои разнузданные посты копируют и втискивают в шаблон "смаритечто" или "SD3 урыли, а OpenAI фсе" или "а вот новость".
Понятно, что такие каналы - закупка аудитории, нагон хомяков и личности автора там и близко не просвечивает. Я подписан в основном на авторские каналы, где есть персоналити.
Один из них - авторский канал Алексея Иванова, где он рассказывает и обсуждает нетривиальные новости из мира AI, делится полезными подборками и промптами, публикует разборы и ляпы нейронок.
Кстати, Алексей любит эксперименты с AI в областях саморазвития и обучения, и активно встраивает LLM в свою повседневную жизнь. Возможно вы его знаете по проекту PonchikNews.
Вот интересные посты с его канала:
#Промпт: саммари, которые вставляет читать
Claude 3 Opus vs GPT 4 Updated: чем пользоваться?
[опрос] Станут ли бедняки и средний класс богаче с появлением AGI?
OpenAI - это новый Apple. Вот почему
Тестим Gen-3 по промптам от подписчиков
Подписывайтесь на , это вам не аггрегатор чужих постов
#вп
Выберите другой тариф
Ваш текущий тарифный план позволяет посмотреть аналитику только 5 каналов. Чтобы получить больше, выберите другой план.