Рио Даже Нейро

Знаменательный день для Яндекса: компания представила «Нейро» — поиск с внедрённым ИИ Ожидаемо, ведь ИИ — это реальная угроза для поисковых сервисов. Поэтому поисковикам нужно самим вовремя стать нейросетями, чтобы в этой гонке не проиграть. Получается симбиоз: вся мощь большой языковой модели + самая актуальная информация из поиска.

Руководитель отдела качества «Поиска» Екатерина Серажим уточнила, как работает «Нейро». Сначала нейросети переформулируют вопрос. Затем находят релевантные источники для ответа и выбирают пять самых полезных. Потом собирают из информации в этих источниках понятный ответ.

Bing и Google уже это внедрили. В новых реалиях сильно поменяется user experience, а значит и поведение пользователей в поиске. Например, люди будут писать естественным языком и все больше полагаться на советы ИИ, а последний будет между строк нативненько пропихивать рекламку.

Серажим добавила, что «Нейро» будет выдавать коммерческие предложения в ответах, так как нейросеть бесплатная. Сейчас в сервисе нет рекламы, но через пару месяцев она появится. Модель распространения пока разрабатывается.

«Нейро» уже доступен в приложении «Яндекс с Алисой» и в «Яндекс Браузере». Чтобы воспользоваться сервисом, нужно авторизоваться в «Яндексе» и переключить тумблер около поисковой строки.

Вышка наградит студентов за использование нейросетей Да, вы все прочитали верно — в НИУ ВШЭ запустили конкурс по эффективному применению ChatGPT и других нейросеток при написании выпускных работ. Подать заявку может любой студент бакалавриата или магистратуры, в заявке главное подробно описать, какие ИИ-инструменты использовались, алгоритм действий, промпт-запросы и т.д. Естественно, тупое использование из разряда "просто напиши все за меня" никто поощрять не будет — жюри оценит уровень и сложность решаемых задач, этичность и целесообразность использования ИИ. А потом, уверен, Вышка на основе собранных данных ещё и какое-нибудь исследование интересное опубликует. Синергия полная, браво! Пока одни бегают в панике и думают, как бы все запретить, другие занимаются настоящей цифровой трансформацией — попыткой вовремя адаптироваться под неизбежно меняющуюся реальность.

Яндекс обновила свою GPT до 3-й версии Ну а я после насыщенного рабочего дня конечно же помчался в Yandex Cloud её тестить (доступны 100 бесплатных запросов в час). Но вот что говорят в самой компании:

Новая нейросеть «особенно хорошо» проявляет себя в таких сферах, как клиентская поддержка, онлайн-продажи, цифровые коммуникации, маркетинг, реклама и управление персоналом. Также языковая модель лучше работает с документами. Например, она может составлять договоры, счета, нормативную документацию, должностные инструкции и другие формы.

Для тестирования есть всякие MMLU, но у меня свой бытовой бенчмарк маркетолога, на котором я проверяю способности каждой языковой модели, и он включает 7 разных заданий от "написать письмо от имени..." и "придумать креативные названия" до "сочинить стих", "дать ответ на тестовое задание" и "решить математическую задачку". Само собой, формулируются они не короткими фразочками, а адекватными промптами. Я прогнал все задания в YandexGPT 3 — и вот ключевой вывод: ОНО-ПИШЕТ-РИФМЫ! На русском. Да, все ещё не идеально, но и последняя GPT-4 Turbo тоже рифмует на родном английском не на пять с плюсом. А в русский стих и вовсе не умеет. Других сюрпризов YandexGPT 3 пока не предподносит: на тестовые задания стала отвечать правильно, а вот с математикой по-прежнему туго. Но общее качество по сравнению с прошлой версией скакнуло ощутимо — теперь это стабильный уровень GPT 3.5 Turbo или чуть выше, а Сберу с GigaChat Pro видимо опять придётся поднажать. Жаль только, что на колонку не выкатили в день релиза — а ведь могли бы. Хочется уже с Алисой поболтать по-человечески)

ТГ каналы прямо сейчас взрываются от подборок примеров генераций Sora. Очень, очень впечатляет — хоть на последнем видео с корги и присутствуют исчезающие птицы)

OpenAI опять рвёт рынок — на этот раз #text2video генераций, и это совсем вскоре после бесконечных и невыразительных Stable Video Diffusion и иже, о которых мне даже лень было писать. Знакомьтесь, SORA — модель, которая внезапно умеет генерировать ОЧЕНЬ реалистичные видео по текстовому запросу. Видос к этому посту — прямиком со странички проекта, ничего подобного по качеству ещё не встречал! Промпт был таким:

A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

Особое внимание обратите на chatacter consistency (девушка никак не мутирует, сохраняет облик), количество движущихся объектов в кадре (там буквально толпа на фоне и люди ведут себя естественно, тоже ни во что не превращаются и не взлетают), меняющемся ракурсе камеры и — супер реалистичных отражениях и бликах (лужи, очки!). Цитирую:

Sora способна создавать сложные сцены с несколькими персонажами, определенными типами движения и точными деталями предмета и фона. Модель понимает не только то, что пользователь запросил в подсказке, но и то, как эти вещи существуют в физическом мире. Модель имеет глубокое понимание языка, что позволяет ей точно интерпретировать подсказки и создавать увлекательных персонажей, которые выражают яркие эмоции. Sora также может создать несколько кадров в одном сгенерированном видео, которые точно сохраняют персонажей и визуальный стиль.

Доступ выдали пока очень узкому кругу специалистов — исследователям, ИИ-безопасникам и креаторам. Думаю, что при таком качестве генерации видео публичного теста до конца этого года (года выборов в ряде крупных государств) ждать не стоит. Но это же рывок вперед, Карл!

Тот приятный момент, когда в МГИМО начал внедрять это раньше (полгода назад) и безо всякого партнёрства...😎

OpenAI впервые заключили партнёрство с образовательным учреждением для внедрения AI в процессы обучения Счастливчиками стали студенты Arizona State University. Согласно плану, планируется создать персонализированного ИИ-наставника для студентов. Тот будет помогать как с конкретными курсами с известной программой, так и консультировать по любым необходимым топикам. Основной упор будет сделан на предметы STEM (Science, Technology, Engineering, Mathematics), но и про гуманитарные науки не забудут. В США на первых курсах есть обязательный предмет «Freshman Composition», где студенты изучают основы эссе, аргументации и развивают критическое мышление — и вот тут ChatGPT тоже поможет. Студентам, преподавателям и сотрудником спец. группы, разрабатывающим решение, будет оформлен пакет ChatGPT Enterprise, включающий расширенный доступ к полноценной модели GPT-4 (без ограничения в 40 сообщений в 3 часа — чтобы ничего не отвлекало от учебного процесса). А помните как в самом начале в школах и университетах банили ChatGPT? Как быстро обернулся мир, и как хорошо, что нашлись умные люди, готовые к переменам! Я уже несколько раз писал, что образование — один из основных топиков, который мне интересен в контексте AI. Рекомендую прочитать хотя бы вот эти 3 поста: раз, два и три. В первом можно увидеть, как AI-учитель помогает генерировать решения и объясняет тему, что впоследствии увеличивает оценку тестируемого.

Хотел тут заагриться на МВФ за их цитату, которую прочитал в одном Телеграм-канале:

За счет распространения ИИ число вакансий на мировом рынке труда сократится на 40%, причем в группе риска находятся развитые страны, нежели развивающиеся или мало развитые страны

Но решил все-таки посмотреть первоисточник. И что вы думаете? Там написано:

AI will affect almost 40 percent of jobs around the world, replacing some and complementing others. We need a careful balance of policies to tap its potential

Английский знаю, но для красоты я попросил ChatGPT сделать перевод этого предложения:

ИИ повлияет примерно на 40 процентов вакансий по всему миру, заменяя некоторые и дополняя другие. Нам нужна сбалансированная политика, чтобы раскрыть его потенциал.

Так кто в итоге представляет большую угрозу для человечества — ИИ, который помогает делать верный перевод, или авторы СМИ, которые не умеют или не хотят правильно перевести 3 слова? Или люди, которые читают громкие заголовки в чужой интерпретации и все принимают за чистую монету?

ChatGPT взбунтовался — продолжение Ладно там задачи какого-то Слесарева, но вот реальный кейс, когда отказ нейросети обрабатывать запросы приводит к… неприятностям. На Amazon у некоторых товаров вместо заголовков стали появляться ТЕ САМЫЕ надписи «Извините, я не буду это делать, так как это нарушает политику OpenAI» Вывода два. Во-первых, мы узнали — о ужас! — что нейросети уже давно можно и нужно использовать для оформления карточек на маркетплейсах, причем этот процесс автоматизируется. А во-вторых — OpenAI продолжает «чинить» автомобиль прямо во время поездки, меняя правила игры на ходу и без предупреждения. Вчера можно было делать заголовки с брендами, а сегодня уже нельзя — извиняй. Для бизнеса это сущий кошмар…

Встретил Новый год с… Алисой Не шучу — вот уже несколько дней бета-тестирую YandexGPT 2 на своей станции Макс. В декабре подавал заявку, так что вероятно работает пока не у всех Несмотря на то что YandexGPT 2 заметно проигрывает GPT-4 во многих задачах (почти во всех), качество взаимодействия с колонкой от Яндекса (активным пользователем которой я являюсь аж с 2020 года) подпрыгивает до неожиданных высот. Да, уже давно можно активировать YaGPT фразой «Алиса, давай придумаем» — но это рушило все погружение. Теперь же с Алисой можно просто болтать на любые темы — и это по сути то, какой она ДОЛЖНА была быть с самого начала. Но не могла по объективным причинам. Ответы генерируются все еще вне контекста даты/времени/погоды/предпочтений пользователя, но это лишь вопрос времени. Думаю, что совсем скоро удастся полностью избавиться от костыля «Навыки Алисы» и нативно интегрировать все приложения и функции в бесшовный диалог.

Палевно получилось: 6-я версия #Midjourney генерирует прямые референсы кадров из фильмов и игр. Все потому, что модель обучали на кадрах из этих самых фильмов — другие источники графической информации попросту иссякли. Уже вижу, как юристы судорожно вбивают промпты, чтобы получить побольше доказательной базы для исков... Увы, из-за таких обломов шаг за шагом и будут ограничивать генеративные ИИ. Авторы Dall-E 3, как хорошо знают мои читатели, уже нашли "изящный" выход — тупо переписывать промпт пользователя, удаляя оттуда любые отсылки к личностям, брендам и персонажам)

MidJourney V6 уже здесь! #txt2img Полгода ожидания, и вот — 6-я версия одной из лучших графических моделей #MidJourney выкатилась в публичное альфа-тестирование! Сгенерированные фотки стали ещё реалистичнее, а получить этот реализм стало проще. Нейросеть лучше учитывает каждое слово в промпте, даже если он будет очень длинным. Картинки генерируются в формате до 1024x1024 пикселей и апскейлятся до 2048x2048. И да, теперь нейросетка наконец сможет корректно генерировать на изображениях надписи) Пример — на фотке к этому посту, сделано мной с 1-й попытки.

web streamer girl is holding a A4 sheet of paper with wording "MidJourney 6", showing that sheet into camera --ar 16:9 --v 6.0

Честно — прирост в качестве есть, но не такой революционный, как когда-то в V5. От V6 лично я жду повышенного контроля за результатом — это сейчас объективная необходимость. И его нам вроде как даже обещают в пока отключенной функции тюнинга. Например, Dall-E 3 на данный момент не умеет ничего, кроме бессмысленного и беспощадного переписывания промптов, в то время как в Stable Diffusion со всеми его аддонами уже давно можно и позу персонажа задавать, и сохранять внешность, и рисовать картины по скетчам, и много-много чего еще. Именно это и превращает нейросетки из развлекаловки на пару вечеров в рабочий инструмент. Надо добавить, что каждая версия MidJourney — это вообще новая нейросеть, промпты к которой нужно учиться писать заново. Старые лайфхачные костыли типа "award winning, super high quality, photorealistic, 4k, 8k, trending on Artstation" теперь будут только ухудшать результат. Писать лучше натуральным языком. Ну и конечно пока что отвалились функции редактирования (inpainting) и расширения рамок (outpainting) — зато появился креативный upscale с перерисовкой, прямо как в старые добрые.

И тут выясняется, что ту самую демку Gemini смонтировали — она не показывает тру возможности модели в реальном времени. В частности, из видоса выбросили текстовые и графические промпты, которые скармливались модели, чтобы получить красивые ответы:

We created the demo by capturing footage in order to test Gemini’s capabilities on a wide range of challenges. Then we prompted Gemini using still image frames from the footage, and prompting via text.

Ну, это многое меняет, честно говоря. Потому что лично меня больше всего и поразило, как модель все ухватывает на лету и даже предугадывает "без слов". Фейк короче — и никаких оправданий из серии "Ну мы хотели всех вдохновить" тут быть не может. Гугл, что с вами не так? Я понимаю, что конкуренция в сфере ИИ сейчас развернулась нехилая, но вы реально никогда не слышали про ошибку завышенных ожиданий — чуть ли не главный грех, который может совершить маркетолог?!

#новость Некст левел от Google: сегодня компания анонсировала мультимодальную нейросеть Gemini, которая имеет шансы порвать GPT-4 (особенно если Open AI продолжит заигрывать с замедлением). Посмотрите видео (самые интересные для меня 6 минут контента за последний год) — в нем показано, как самая мощная версия Gemini (Ultra) взаимодействует с пользователем, понимая и речь, и картинки, и видео — и отвечая синтезом речи, а также сгенерированным либо найденным в Интернете контентом. Полная бесшовность действа впечатляет — да, это тот ИИ, о котором фантазировали в самых футуристичных сериалах 80-х. Особенно меня порадовали моменты, где нейросетка угадывает, что от нее хотят: мысленно соединяет точки рисунка и видит краба, генерирует фото поделок из увиденных ниток, а также озвучивает нарисованный музыкальный инструмент. Ах да, и еще вот эта игра, где человек угадывает страну, молча указывая ее на карте, а бот все понимает. Обещают это чудо в начале 2024 года, а доступ к упрощенной версии Gemini Pro уже доступен в Барде жителям США (API откроют 13 декабря).

ШОК: GPT восстал против меня! У нас в @omtumgimo для студентов работает самописный бот-ассистент в Telegram по имени Ника, в которую встроены разные нейросетки, включая ChatGPT. Мне стали поступать жалобы, что некоторые команды Ника (но на самом деле ChatGPT) перестала выполнять — отказывается и все тут. Сначала не поверил — обычно грешу на неточные промпты. Но тут мне понадобилось нагененерировать новых кодов доступа к Нике — я эту задачу всегда в ней же и решал, например по такому запросу:

Сгенерируй 20 рандомных 10-значных паролей из букв и цифр

И что вы думаете? Новейшие модели GPT-4 Turbo и Updated GPT-3.5 НАОТРЕЗ отказываются выполнять эту команду — хотя раньше промпты работали. При этом если 1-я модель пытается как-то красиво отмазаться, то 2-я пишет дословно следующее:

К сожалению, я не могу выполнить этот запрос.

Но я же не ключи активации для Windows 10 прошу, а просто парочку рандомных кодов — бытовая и весьма безобидная ситуация. А тут такое. Решил проверить свой промпт в СТАРЫХ версиях GPT-4 и GPT-3.5 Turbo 16k (благо в Нике их можно выбрать) — и все по-прежнему работает в лучшем виде! Вот так удалось нащупать существенный недостаток последних версий ChatGPT, и имя ему — АЛАЙНМЕНТ, в самом худшем и уродливом своём проявлении. И вот кому-то ГПТ в Нике отказывался писать программный код, кому-то — переводить текст. А причина этому парадоксальна — потому что в нашей Нике стоят ПОСЛЕДНИЕ версии моделей! Вся прелесть ChatGPT была в том, что ты можешь порешать практически все свои задачи в одном месте в формате диалога. Теперь же это становится не так. Казалось бы, так мало времени прошло — а уже существенный откат назад...

— Сбер провёл конференцию AI Journey 2023, в рамках которой анонсировал обновления своих нейросетей. Громкие анонсы шли на эпической конференции каждый день. Сначала выкатили Kandinsky 3.0 — и модель реально классная, скажу я вам. Главная изюминка — генерит русских фольклорных и мультгероев. Есть API — и пока все бесплатно. Потом пошли новости про обновление Gigachat. Обещают скачок в качестве, но пощупать пока нельзя. Зато теперь Gigachat станет медиакомбайном: ему можно будет отправлять информацию голосом и PDF-файлами, а ещё появится возможность писать музыку по текстовому запросу (text2music). Ну и свои ответы он тоже сможет озвучить. Илон так и не прилетел, зато на конференции выступил Владимир Путин, предложив меры поддержки развития отечественной сферы ИИ. А ещё в речи Президента промелькнуло, что он против пресловутого замедления развития ИИ — смелое и важное заявление, ещё и крайне логичное для нас как догоняющего игрока. С таким подходом и поддержкой у нас есть шанс. В общем, конференция была сочная. Чувствуется, что на ИИ делают большую ставку, и это верное решение.

#итогинедели Новости в сфере ИИ идут потоком — не успеваю освещать. Хоть тут соберу самое важное) — Сэм Альтман вернулся в OpenAI, а совет директоров, который его уволил, теперь распустят. Сэма уволили, взяли в Майкрософт, а потом из-за бунта (уходом из OpenAI пригрозили 90% сотрудников) взяли обратно — и все это меньше чем за неделю! У Майкрософт реально был шанс поглотить OpenAI за 0 денег, но не склалось. Причины драмы — туманны. Есть версия, что суть конфликта — подковёрная борьба внутри OpenAI между сторонниками скорости развития / коммерциализации (опережать всех и делать на этом деньги) и теми, кто за безопасность ИИ, замедление, алайнмент и вот это все. Сэм в 1-м лагере. Самые большие конспираторы говорят, что в OpenAI якобы изобрели нечто вроде сверхумного ИИ, возможности которого настолько велики, что аж страшно — вот борда и психанула. Больше похоже на попытку сгладить негатив и хоть немного поправить ситуацию с просевшими акциями. В целом, развал OpenAI был чреват тем, что у нас бы отобрали доступ к GPT-4 и другим продуктам, так что будем надеяться, что такая опасность миновала. — Stability AI выпустили нейросеть Stable Video Diffusion Супер новость, так как, напомню, Stability AI выпускает модели с открытым исходным кодом, тем самым придавая большой импульс развитию индустрии. Работает так: загружаешь картинку (можно также сгенерированную) — и её нейросеть с учётом логики и контекста превращает в 4-секундное видео. Возможности пока скромные, но на основе SVD обещают создать целую экосистему инструментов.

ИИ открывает новые горизонты для маркетологов, освобождая их от рутины и направляя фокус на аналитику и креатив. О том, как нейросети помогают Demis Group формировать маркетинговые стратегии, рассказал Денис Чуприн, менеджер по продуктовому маркетингу Demis Group. @adindex

#text2text #gigachat А вот это уже интересно: на сберовской конфе AI Journey представили новую версию сервиса GigaChat. Похвастались самой большим для России числом параметров — 29 млрд. Для понимания: у GPT-2 было 1,5 млрд. (48 слоев), у GPT-3 — уже 175 млрд. (96 слоев), а у GPT-4 — аж 1,8 трлн (!) и 120 слоев. Нужно добавить, что не только в числе параметров счастье — важен также объём обучающих данных и их качество, архитектура и логика нейросети и др. Скажу откровенно: 1-я версия GigaChat на фоне даже YandexGPT 2 выглядела довольно плохо. Так что очень рассчитываю на серьёзный скачок в новой версии. Пишут, что "значительно улучшилось" качество суммаризации и рерайтинга текстов, а также просто улучшилось (видимо незначительно?) редактирование текстов и качество ответов на вопросы. По результатам тестов новый GigaChat превзошёл схожие по количеству параметров иностранные аналоги в бенчмарке MMLU. То есть, как вы поняли, с известным нам GPT-3 её даже не сравнивали... В общем, развитие идет, но много "но". От всей души желаю Сберу, чтобы все получилось. Участникам академического сообщества (а это как раз я) обещали ранний доступ для проведения исследований — жду, как Хатико!