ИИнтеллект

Мы внезапно оказались на грани квантового скачка в обучении и использовании больших языковых моделей! ПРЕИМУЩЕСТВА СПЕЦИАЛИЗИРОВАННЫХ ЧИПОВ – Sohu более чем в 10 раз быстрее и дешевле, чем даже самые передовые GPU, такие как NVIDIA Blackwell (B200). – Один сервер Sohu обрабатывает более 500 000 токенов Llama 70B в секунду, что в 20 раз больше, чем сервер H100 и в 10 раз больше, чем сервер B200. – Тесты проведены в режиме FP8 без использования разреженности при 8-кратном параллелизме модели с длиной ввода 2048 и длиной вывода 128. ЗАМЕДЛЕНИЕ РАЗВИТИЯ GPU – За последние четыре года плотность вычислений (TFLOPS/мм^2) улучшилась всего на ~15%. – Новые GPU (NVIDIA B200, AMD MI300X, Intel Gaudi 3, AWS Trainium2) удваивают свою производительность за счет использования двух чипов на одной карте. – Из-за замедления закона Мура единственный способ улучшить производительность – это специализация. ЭКОНОМИЧЕСКИЕ ПРЕИМУЩЕСТВА – Стоимость обучения ИИ-моделей сегодня составляет более $1 млрд, а их использование – более $10 млрд. – Специализированные чипы (ASIC) в 10-100 раз быстрее GPU. – С ростом стоимости обучения моделей с $1 млрд до $100 млрд риск тестирования новых архитектур резко возрастает. – Специализация на трансформерах предпочтительнее, чем тестирование новых архитектур. НЕИЗБЕЖНОСТЬ СПЕЦИАЛИЗАЦИИ НА ТРАНСФОРМЕРАХ – Трансформеры выиграли "аппаратную лотерею" благодаря огромным инвестициям в оптимизацию их работы. – Стартапы используют специализированные библиотеки ПО для трансформеров, такие как TRT-LLM и vLLM. – С выходом на рынок Sohu и других ASIC наступит точка невозврата. У новых архитектур не будет шансов, если они не смогут работать быстрее на GPU, чем трансформеры на Sohu. – Если это произойдет, будет создан ASIC и для новой архитектуры. Подробнее о работе Sohu можно узнать в посте на сайте Etched. Вот так и получается, что прогресс ускоряется в геометрической прогрессии. Ограничения, вызванные дорогими видеокартами только что уменьшились на ДВА ПОРЯЛКА. А теперь представьте, как такие чипи и модели, которые на них работают, ускорят технический прогресс во всех сферах. В интересные времена живём. @iintellect

Только что анонсировали новый ASIC для больших языковых моделей: он умеет генерировать 500 000 токенов в секунду! Эта штука может писать по одному тому "Войны и Мира" каждую секунду. Локально и без доступа к интернету. Это в десятки раз быстрее, чем кластер из 8 специализированных карт NVIDIA H100. Подходит для любых приложений на основе трансформеров: Llama, Stable Diffusion, Sora, Claude, GPT и так далее. САМЫЙ БЫСТРЫЙ ЧИП ИСКУССТВЕННОГО ИНТЕЛЛЕКТА – Sohu – самый быстрый чип ИИ на планете. – Обрабатывает более 500 000 токенов в секунду с использованием модели Llama 70B. – Позволяет создавать продукты, невозможные на GPU. – Один сервер 8xSohu заменяет 160 H100. СПЕЦИАЛИЗИРОВАННЫЙ ЧИП ДЛЯ ТРАНСФОРМЕРНЫХ МОДЕЛЕЙ – Sohu – первый специализированный чип (ASIC) для трансформерных моделей. – Благодаря специализации, чип обеспечивает значительно большую производительность. ПОПУЛЯРНОСТЬ ТРАНСФОРМЕРНЫХ МОДЕЛЕЙ – Сегодня все крупные продукты ИИ (ChatGPT, Claude, Gemini, Sora) работают на трансформерах. – В ближайшие годы все крупные модели ИИ будут работать на специализированных чипах. НЕИЗБЕЖНОСТЬ СПЕЦИАЛИЗИРОВАННЫХ ЧИПОВ – Специализированные чипы обеспечивают значительно лучшую производительность по сравнению с универсальными решениями.

Когда-то биткоин фармили на видеокартах. Теперь его добыча немыслима без специализированных чипов (ASIC). Та же участь ждёт видеокарты в ИИ.

Внимательно смотрим на акции Nvidia. Акции ведущего поставщика видеокарт и чипов для ИИ падали на 18% за два дня, сейчас падение 11%. @iintellect #ии #чипы #llm

Только что анонсировали новый ASIC для больших языковых моделей: он умеет генерировать 500 000 токенов в секунду! Эта штука может писать по одному тому "Войны и Мира" каждую секунду. Локально и без доступа к интернету. Это в десятки раз быстрее, чем кластер из 8 специализированных карт NVIDIA H100. Подходит для любых приложений на основе трансформеров: Llama, Stable Diffusion, Sora, Claude, GPT и так далее. САМЫЙ БЫСТРЫЙ ЧИП ИСКУССТВЕННОГО ИНТЕЛЛЕКТА – Sohu – самый быстрый чип ИИ на планете. – Обрабатывает более 500 000 токенов в секунду с использованием модели Llama 70B. – Позволяет создавать продукты, невозможные на GPU. – Один сервер 8xSohu заменяет 160 H100. СПЕЦИАЛИЗИРОВАННЫЙ ЧИП ДЛЯ ТРАНСФОРМЕРНЫХ МОДЕЛЕЙ – Sohu – первый специализированный чип (ASIC) для трансформерных моделей. – Благодаря специализации, чип обеспечивает значительно большую производительность. ПОПУЛЯРНОСТЬ ТРАНСФОРМЕРНЫХ МОДЕЛЕЙ – Сегодня все крупные продукты ИИ (ChatGPT, Claude, Gemini, Sora) работают на трансформерах. – В ближайшие годы все крупные модели ИИ будут работать на специализированных чипах. НЕИЗБЕЖНОСТЬ СПЕЦИАЛИЗИРОВАННЫХ ЧИПОВ – Специализированные чипы обеспечивают значительно лучшую производительность по сравнению с универсальными решениями.

Когда-то биткоин фармили на видеокартах. Теперь его добыча немыслима без специализированных чипов (ASIC). Та же участь ждёт видеокарты в ИИ.

Внимательно смотрим на акции Nvidia. Акции ведущего поставщика видеокарт и чипов для ИИ падали на 18% за два дня, сейчас падение 11%. @iintellect #ии #чипы #llm

Эврика! Я понял, почему мы пишем промт, а не промпт. Экспро́мт (от лат. exprom(p)tus — готовый). Публичное выступление, речь, длинный тост без подготовки. Я чуял, что так правильно.

НОВАЯ КОМПАНИЯ ИЛЬИ СУЦКЕВЕРА – SSI – Соучредитель OpenAI, Илья Суцкевер, основывает новую компанию под названием Safe Superintelligence (SSI). – Основная цель компании – создание безопасной и мощной системы искусственного интеллекта. – Суцкевер подчеркивает, что первая продукция компании будет безопасный сверхразум, и компания не будет заниматься ничем другим до достижения этой цели. – Безопасность определяется как безопасность на уровне ядерной безопасности, а не в контексте «доверия и безопасности». РОЛЬ И ИННОВАЦИИ LLM В SSI – Существующие модели больших языковых моделей (LLM), которые доминируют в области ИИ, сыграют важную роль в Safe Superintelligence. – Цель компании – создать систему, которая будет значительно мощнее текущих LLM, которые просто ведут беседу. – Планируется разработка более универсальной и мощной системы ИИ, способной на гораздо большее. АВТОНОМНОЕ РАЗВИТИЕ ТЕХНОЛОГИЙ – Суцкевер говорит о создании огромного дата-центра, который будет автономно развивать технологии. – Основное внимание уделяется безопасности такой системы. ПЕРСПЕКТИВЫ РАЗВИТИЯ ASI – В то время как мир ожидает достижения уровня общего искусственного интеллекта (AGI), Суцкевер планирует перейти сразу к созданию сверхразумного искусственного интеллекта (ASI). – Он считает, что достижение сверхразума находится в пределах досягаемости. @iintellect

NVIDIA - крупнейшая публичная корпорация в США. Microsoft на втором месте по капитализации. Вот так ИИ меняет инвест-ландшафт. @iintellect

Наткнулся на интересное исследование, с момента выхода ChatGPT, фриланс заказы: – на написание кода и текста упали на 21% – SMM услуги упали на 13% – Заказы на графический дизайн и 3D-дизайн упали на 17% Анализировали 2 миллиона фриланс-постов из 61 стран, с июля 2021 года по июль 2023 И это только начало – мы с вами немного в АИ пузыре живем следя за ним столько лет, но массовое внедрение LLM еще впереди: как только ChatGPT попадет в iOS, эти цифры станут еще больше, так как многие начнут разбираться как это работает Где-то в Твиттере видел мысль: в будущем, самые компетентные люди – приятные в общении, с сильными софт скилами. Мне кажется это разумная мысль, если условный GPT6 будет с запроса писать что угодно, то люди будут конкурировать между собой просто на уровне ценностей, привычек и того насколько они приятные в работе, а не профессиональных навыков. Мы двигаемся во вселенную где Доктор Хаус как персонаж невозможен, так как если знания у на всех будут одинаковые, то тот человек, кто хочет учиться и при этом приятный, всегда будет более выигрышным в найме, чем гений-индивидуум с так себе характером Пора инвестировать в юмор и стендапы, их последними заменят – шутки от АИ кто-то же должен будет валидировать перед публикацией 🌚

Новая функция Midjourney - по сути, файн-тьюнинг модели под ваши предпочтения. МОДЕЛЬНАЯ ПЕРСОНАЛИЗАЦИЯ: l – Каждый раз, когда вы пишете запрос, остаётся много непроизнесенного. Наши алгоритмы обычно заполняют эти пробелы своими "предпочтениями", которые по сути являются совокупностью предпочтений нашего сообщества. – Но, конечно, все люди разные! Модельная персонализация учится тому, что вам нравится, чтобы заполнять эти пробелы в соответствии с вашими вкусами. ТРЕБОВАНИЯ К МОДЕЛЬНОЙ ПЕРСОНАЛИЗАЦИИ – В настоящее время модельная персонализация учится на голосах в ранжировании пар и на изображениях, которые вам нравятся на странице "исследовать". – Вам нужно иметь около 200 парных рейтингов/лайков, чтобы функция начала работать. – Вы можете увидеть, сколько у вас рейтингов на указанной странице или набрав ``/info``. КАК ИСПОЛЬЗОВАТЬ МОДЕЛЬНУЮ ПЕРСОНАЛИЗАЦИЮ – Просто добавьте ``--p`` к своему запросу или включите персонализацию для всех запросов в разделе ``/settings`` или в настройках запроса на сайте. – Когда вы включаете персонализацию, к вашим запросам добавляется "код", который вы можете поделиться, чтобы поделиться эффектом персонализации, применяемым к этому изображению. – Вы можете управлять силой эффекта персонализации, используя ``--s 100`` (0 выключено, 1000 максимум, по умолчанию 100). ВАЖНОЕ ЗАМЕЧАНИЕ – Персонализация сейчас нестабильна, она будет меняться по мере того, как вы будете делать больше парных оценок (незначительно), и мы можем вносить обновления в алгоритмы в течение следующих нескольких недель. Так что просто считайте это "весёлой функцией, постоянно находящейся в изменении". Это совершенно новый рубеж в синтезе изображений. @iintellect

🍏Apple + ChatGPT = Siri 2.0 Хоть мой коллега, Евгений и ненавидит Apple всей душой, я их люблю. И поэтому был очень счастлив узнать, что Apple заключили партнерство с OpenAI. Вот так одним простым ходом при наличии денег и влияния яблочники могут стать из аутсайдеров лидерами гонки ИИ Источник @iintellect

Смог скачать и запустить Gemini на Андроиде! Инструкция здесь; https://4pda.to/forum/index.php?showtopic=1084129&view=findpost&p=128517280 Дистрибутив (APK) найдете там же в первом сообщении ветки. @iintellect