Глеб Кудрявцев про AI

Программисты тоже умеют в маркетинг, так-то

kimi меня немножко пугает

Вы прикиньте, я таки написал с Kimi K3 инференсилку PaddleOCR-VL в браузере. С нуля! Поймут не только лишь все, но это как свою операционную систему написать, что ли. Альтернативного инференса нейросетей в мире в принципе очень мало, никто такой херней не заморчивается, это удел крупных лаб. Ну или недельку с кими 😁 Релиз пока еще только готовлю, нужно это прилично упаковать, провести тесты производительности и все такое. Но сам факт очень прикольный. Цель сделать не только запуск в браузере, но еще и сравнимо с нативом по скорости. Вот тогда буду доволен. Не знаю, получится ли достичь, но попробую. PS Жгутся лимиты на такие развлечения люто, так что если вы хотите меня поддержать донатом — буду очень даже благодарен 😎 erc20 0x0c52dd759F50448680f15a885314aE6DCA7E4cc2 solana 6BgiPmUydCqz8XGFCncTN3k4meT33E5ZCBL6f8erMmf1 tron TKrTz42W3cW5shEi8K912bScMRuPsTMc8s

Помимо всего прочего, в 5.6 sol что-то поменяли в механизме компакта. Случай только что: — написал задачу в треде — запустился компакт — агент отрапортовал заново о завершенных задачах, полностью забив на новую То есть буквально компакт обнулил ему свежую инструкцию. Не знаю чего там наворотили, но работает иначе чем на 5.5. и нифига не нормально 😡

Kimi значительно лучше делает структуру лэндингов чем опенай. Единственное — пока не смог добиться устойчиво хорошей работы с картинками. Но смысловая часть и верстка гораздо сильнее.

Короче, скажу следующее — sol в кодексе неюзабелен. По крайней мере то, что я могу сказать про max ризонинг. Да, иногда гениально фиксит баги. И он сделал мой жесткий бенчмарк, сумев продвинуть кодовую базу с мертвой точки. Но он тратит просто чудовищное количество токенов на тривиальщину. По сути я просто не могу поручить ему задачу, не сыграв в русскую рулетку «потратим ли мы на попытку написать простейший функционал недельный лимит за день или нет?» Тысяч баксов в месяц на такие развлечения у меня нет, поэтому я принял решение откатиться на 5.5 xhigh, а для сложных вещей взять за основу kimi. Мне очень сильно кажется, что это будет в ближайшее время моя основная модель.

Докладываюсь, kimi k3 реально крутая модель. Но жрет лимиты как sol. 100 баксов в неделю остро не хватило, зарядил 200 😭

Если вам интересно просто читать новости про ИИ — это не сюда Я каждый день пишу код, собираю агентов и пайплайны и разворачиваю модели. Щупаю технологии руками, пробую их на реальных задачах, и пишу о своем опыте. Кто я Меня зовут Глеб Кудрявцев. Больше 15 лет делаю IT-продукты. Семь лет был CPO в Skyeng и Skyeng Kids, потом — CPO в Joompay. Уйдя из корпораций, запустил CareerFactory (в пике более 5 000 клиентов, делали проекты по найму для Яндекса, Авито, Tilda, DaData, и многих других). Только для Авито в 2024 году мы наняли больше сотни продактов. Что строю сейчас — Свою AI-лабораторию: продукты, исследования, курсы и B2B. — SotaOCR — сервис распознавания документов. — NeuralDeep — AI-инфраструктура и прикладные продукты на собственном инференсе — Системы по анализу изображений и строительных чертежей. В B2B мы решаем задачи бизнеса с помощью ИИ: вытаскиваем данные из документов и чертежей, анализируем видео с камер и звонки, прикручиваем синтез речи, внедряем AI-кодинг и поднимаем локальные модели. А ещё я учу тому, чем пользуюсь сам: от вайбкодинга до сборки рабочих AI-пайплайнов и продуктового маркетинга. С чего начать — Почему агентские пайплайны сложны даже для тех, кто их строит — Почему AI-разработка — это инженерия, а не волшебная кнопка — Как AI-пайплайн нашёл ошибку в строительной документации — Как и зачем я запустил SotaOCR — Почему в этом канале не будет нейрослопа Мои продукты, обучение и B2B-услуги живут здесь — glebkudr.com. В общем, если вам нужен не хайп вокруг ИИ, а реальный опыт человека, который каждый день варится в этом и собирает продукты своими руками — подписывайтесь. Иногда здесь используется сложная лексика, но я именно так и разговариваю 🙂 Здесь бывает сложно, зато честно и по делу.

Очень частый вопрос про датацентр — зачем это нужно в мире, где есть антропик и опенай? Вопрос более чем валидный. Хочу дать на него ответ. Антропик и Опенай делают универсальные модели дорого. Для прогеров и R&D эти цены посильны (но и то на грани), а для операционки — туши свет. Бизнесы не вывозят платить такие косты и хотят брать специализированные модели под задачи. — Но можно же юзать оупенроутер! Да, можно. Но опенроутер дает голый инференс. То есть ноль сервиса. Бизнесу нужно звонки от клиентов разбирать, а ему дают апи и говорят, что вот это решает его задачу. Но правда в том, что товарищу на том конце провода даже непонятно слово апи 🙂 Это вы все тут умные и в вайбкодингах, 95% народа на земле про это ничего не знает. Поэтому идем дальше: нужно давать сервисы, а не просто токены. То есть конечному клиенту нужен продукт, решающий его задачу. — Ну вот, нахера вы делаете датацентр, делайте продукты! А вот тут мякотка. В продуктах нет moat - то есть, несмотря на то, что клиенту нужен продукт, навайбкодить продукт сейчас быстро. Это мир совершенной конкуренции. А маржа будет делаться на инференсе без которого продукт просто не работает. — И что же в итоге? Очень просто. Мы делаем готовые продукты для бизнеса, и даем их дешево или почти бесплатно. А зарабатываем на токенах для того, чтобы эти продукты работали. И покрываем конкретные специализированные ниши, в которые просто неэффективно лезть с дорогущим железом. Хетцнер в мире AI инференса. И вот в чем именно отличие от опенай и от того, чтобы просто набить железом очередной датацентр. Интересно — пишите, собираем раунд, чеки от $50к.

Kimi снова расчехили продажу аккаунтов, налетайте. По рефке бонус мне и вам. Нужно в течение 3х часов от перехода зарегаться, скачать их аппку и авторизоваться. Тогда мне и вам дадут лотерейный билетик на халявную подписку. Себе взял план за $99, гоняю модель K3 как ревьюера к солу, о результатах доложусь.

Я сейчас пишу порт PaddleOCR под WebGPU Это значит, что если все сработает, то достаточно мощной машине OCR движок можно будет запускать в браузере. И я при этом не использую transformers.js, реализация полностью с нуля. Задача абсолютно отбитая, но мне кажется вполне реалистичная. Расскажу, что получится. В связи с этим чувствую в воздухе вайбы того, что очень скоро люди будут писать себе под задачи то, о чем раньше даже думать боялись. Не просто трекер задач, а, например, свои операционные системы (полноценные). Свои аналоги средств виртуализации. Короче, то, что раньше считалось серьезным сложным слоем, в который лучше не лезть. Ощущение, что старшие модельки топовых вендоров уже добрались до того уровня, когда они это смогут делать.

Порвали личку, спасибо за реакцию, отвечу всем как смогу 👌

Вообще, как вы видите сейчас, нефть будущего — это вовсе не софт, а железки. Покрайней мере, пока мы не вошли в сингулярность, когда ИИ начнет штамповать их себе самостоятельно. Всем бизнесам нужен инференс, но есть проблема: когда компании переводят процессы на LLM, они просто охреневают от счетов за API OpenAI или Claude. Рынок ломается о стоимость вычислений. Которые можно сильно сократить, если оптимизировать косты на железо и работать со специализированными небольшими моделями, четко подобранными под задачу. К чему это я? Мы с @neuraldeep хотим построить свой AI-датацентр в Европе. Мы даем бизнесу тот же результат, но в 90–100 раз дешевле крупных провайдеров. Продуктово это не просто классический хостинг, а хаб, где мы монетизируем одну железяку трижды: продаем голые токены, сдаем GPU в аренду и продаем бандлы подписок на AI-продукты (чат, RAG, OCR, транскрибация и т.д.). Самое важное: хаб уже работает в проде и генерит кэш. Без копейки платного маркетинга откручено 21.9 млрд токенов, за 2 месяца, собрано более 1000 платящих юзеров, а операционная маржинальность инференса 90%. Сейчас мы поднимаем Seed-раунд на $5M (за 25% доли, оценка $20M post-money), чтобы кратно отмасштабировать флот серверов на весь мир. Почему мы порвем этот рынок: 1) Идеальная локация. Я живу в хостинговой столице мира — Финляндии. Тут самая дешевая электроэнергия в ЕС и сосредоточены мощности Google, Microsoft, Hetzner. В самой Финке нет амазона Амазона (мы платим за доставку из Германии), зато есть его датацентры. 2) Налоги. Местная система может отбирать 60% с зарплаты, но зато максимально благосклонно относится к реинвестированию хоть в трактора хоть в видеокарты. Будем эффективно списывать затраты на железо. 3) Умный CAPEX. Мы не сжигаем капитал на флагманские стойки с B300 под жидкостным охлаждением за бешеные миллионы. Наша ниша позволяет использовать просьюмерские RTX PRO 6000 — это дает нам на 58% больше токенов на каждый вложенный доллар. 4) Валера (@neuraldeep) — абсолютно гениальный технарь с лояльной аудиторией в 15k AI-разработчиков, который готов это отскелить на любой масштаб. В отличие от венчура, где 90% хипстерских стартапов проедают деньги и закрываются, у нас большая часть раунда пойдет напрямую в закупку GPU. Это хард-ассет бизнес. Риски даунсайда минимальны: даже если всё пойдет по одному месту, GPU сохраняют свою ликвидность и их можно продать любому другому датацентру, которым сейчас не хватает свободных мощностей. Вы инвестируете в ликвидное железо с окупаемостью 10-15 месяцев, а не в воздух. Рынок GPU-инфраструктуры сейчас горячий как никогда, и окно возможностей открыто именно сейчас. Так что если вы инвестор и вам интересно вложиться в понятную AI-инфраструктуру с подтвержденной экономикой — велкам в личку. Пришлю наш питч-дек, финмодель под NDA и отвечу на любые вопросы.

Вообще, как вы видите сейчас, нефть будущего — это вовсе не софт, а железки. Покрайней мере, пока мы не вошли в сингулярность, когда ИИ начнет штамповать их себе самостоятельно. Всем бизнесам нужен инференс, но есть проблема: когда компании переводят процессы на LLM, они просто охреневают от счетов за API OpenAI или Claude. Рынок ломается о стоимость вычислений. Которые можно сильно сократить, если оптимизировать косты на железо и работать со специализированными небольшими моделями, четко подобранными под задачу. К чему это я? Мы с @neuraldeep хотим построить свой AI-датацентр в Европе. Мы даем бизнесу тот же результат, но в 90–100 раз дешевле крупных провайдеров. Продуктово это не просто классический хостинг, а хаб, где мы монетизируем одну железяку трижды: продаем голые токены, сдаем GPU в аренду и продаем бандлы подписок на AI-продукты (чат, RAG, OCR, транскрибация и т.д.). Самое важное: хаб уже работает в проде и генерит кэш. Без копейки платного маркетинга откручено 21.9 млрд токенов, за 2 месяца, собрано более 1000 платящих юзеров, а операционная маржинальность инференса 90%. Сейчас мы поднимаем Seed-раунд на $5M (за 25% доли, оценка $20M post-money), чтобы кратно отмасштабировать флот серверов на весь мир. Почему мы порвем этот рынок: 1) Идеальная локация. Я живу в хостинговой столице мира — Финляндии. Тут самая дешевая электроэнергия в ЕС и сосредоточены мощности Google, Microsoft, Hetzner. В самой Финке нет амазона Амазона (мы платим за доставку из Германии), зато есть его датацентры. 2) Налоги. Местная система может отбирать 60% с зарплаты, но зато максимально благосклонно относится к реинвестированию хоть в трактора хоть в видеокарты. Будем эффективно списывать затраты на железо. 3) Умный CAPEX. Мы не сжигаем капитал на флагманские стойки с B300 под жидкостным охлаждением за бешеные миллионы. Наша ниша позволяет использовать просьюмерские RTX PRO 6000 — это дает нам на 58% больше токенов на каждый вложенный доллар. 4) Валера (@neuraldeep) — абсолютно гениальный технарь с лояльной аудиторией в 15k AI-разработчиков, который готов это отскелить на любой масштаб. В отличие от венчура, где 90% хипстерских стартапов проедают деньги и закрываются, у нас большая часть раунда пойдет напрямую в закупку GPU. Это хард-ассет бизнес. Риски даунсайда минимальны: даже если всё пойдет по одному месту, GPU сохраняют свою ликвидность и их можно продать любому другому датацентру, которым сейчас не хватает свободных мощностей. Вы инвестируете в ликвидное железо с окупаемостью 10-15 месяцев, а не в воздух. Рынок GPU-инфраструктуры сейчас горячий как никогда, и окно возможностей открыто именно сейчас. Так что если вы инвестор и вам интересно вложиться в понятную AI-инфраструктуру с подтвержденной экономикой — велкам в личку. Пришлю наш питч-дек, финмодель под NDA и отвечу на любые вопросы.

Если вы горите с того насколько 5.6 работает медленно, и при этом выжирает лимиты — держите лайфхак. Откатился на 5.5. xhigh и все летает 😁 Алтман что-то разочаровывает своими подкрутками, за два дня улетело два ресета. И это на тарифе за 200 баксов. Такое ощущение что лимиты опустили раз в пять. Жду когда кими восстановят продажи.

Ну вот, только поехал траву потрогать и на тебе. Хотел взять на неделе как сожгу лимиты в гпт 😬

Попробовал новую голосовую модель от Опенай. Впечатления двоякие. 1) На низком пинге она вклинивается фразами в твои рассуждения и сбивает с мысли. БЕСИТ. 2) Говорит с английским акцентом. Причем немножко карикатурным, как в фильме Брат-2. Тоже бесит. Но за рулем поболтать удобно — для этого пожалуй формат идеален.

бухой админ патчит базу на проде чет как-то не так себе я представлял максимально-эффективную работу 😁

Устал от агентов. Помогает выпить пива или кофе, тогда язык развязывается и готов им втирать дичь. Можно утром кофе, а вечером пива. А еще открытие года прям — агенты гораздо лучше делают, если 10 минут нести им голосом ахинею, вместо того чтобы закинуть сто страниц четкого ТЗ. Не знаю как это работает, просто факт. Но долго в таком режиме конечно не протянуть. Надо что-то с этим делать 😁 А у вас какие лайфхаки?

Помните я говорил, что у меня есть задача которая уже очень долго крутится в goal режиме? Фишка в том что там равномерные сабтаски. Нужно аккуратно сделать и провалидировать в коде около тысячи игровых предметов, каждый из которх описан в тексте вместе со всеми свойствами. Так вот, ГПТ 5.5 extra-high сделала за 2 дня примерно 30% объема работы. 5 дней работы с sol 5.6 max дали всего 15% сверху этого. То есть она стала как минимум в 5 раз медленнее. И по ощущениям, это вовсе не глубина думания, а тупо скорость инференса. Опенай не справляется с нагрузкой и ставит запросы в очередь, в которой не происходит генерации, а моделька тупо ждет. Как вариант — думаю временно с этой задачей перейти на 5.5, благо качества ее там хватало. Но переключаться постоянно будет конечно очень неудобно. А маркетингово, чувствую, нас готовят к выходу быстрого инференса на церебрас, с подпиской баксов за 500, а то и за 1000. Ведь слезть с этой иглы уже нереально 🌚