Галера Морева

Про локальные ИИ модели Мне кажется, сейчас в запуске локальных моделей нет особого смысла, если у вас нет прямого и понятного ответа на вопрос "зачем?". Пытаться запускать модели локально — это дорого. Не "ну я там докуплю видеокарту", а скорее от 100к рублей на железо просто для того, чтобы запустить какую-нибудь простую модель. И результат все равно, скорее всего, будет кратно хуже, чем у любой нормальной облачной модели по подписке. Почему же тогда я занимаюсь этими расточительными страданиями? Для начала мне это просто интересно. Но есть и нормальные причины в моем случае: Во-первых, мне за это платят напрямую. Рекламодатели платят за мои ролики на YouTube. Во-вторых, мне за это платят косвенно. После роликов про локальные модели ко мне приходят люди на платные консультации, чтобы я рассказал им, как бессмысленно запускать локальные модели. То есть сейчас я говорю вам это бесплатно :) В-третьих, нам в Wormsoft за это тоже платят косвенно. Люди смотрят материалы, приходят в наш облачный сервис ai.wormsoft.ru и покупают подписку на облачные модели. Также есть отдельная категория заказчиков, которым нужен ИИ, но они по политике безопасности не могут пользоваться облачными сервисами. Вот там локальные модели действительно нужны. И там мы уже становимся теми самыми героями в плащах. А что касается обычных разработчиков и энтузиастов. Если вы спрашиваете себя "нужна ли мне локальная модель на своем железе?", то я процитирую кота из второго "Бумера": "Не нужна тебе такая машина локальная модель". Только деньги потратите и нервы.

Minimax M3. Короткий ролик Сегодня вышла модель Minimax M3 и я уже успел с ней поработать на разных задачах. Решил снять короткий ролик обзор в контексте вайбкодерских задач. Ссылки на видео: 📹 YouTube | VK | Rutube | Dzen 📹

RTX 4090 с 48gb VRAM Купил себе перепаянную RTX 4090, в которой имеется 48гб видеопамяти. Покупка вышла совсем не бюджетная: 330 тысяч рублей. Полгода назад отдавать такую сумму за видеокарту для меня было чем-то про слабоумие и расточительность. Сейчас же это осмысленная покупка инструмента для работы и создания контента. Видеокарта невероятно хороша: запускаю на ней нейросеть Qwen 3.6 в 8-битном кванте и работаю, почти не замечая, что работаю с локальной моделью. Снял короткий ролик-обзор, где много говорю и делюсь впечатлениям от этой видеокарты. Ссылки на видео: 📹 YouTube | VK | Rutube | Dzen 📹

Ролик про запуск Qwen 3.6 на разных видеокартах В ролике очень мало рассказываю про интеллектуальные способности этой модели. Есть щепотка вайбкодинга, но скорее для проверки работоспособности модели. Весь ролик про то как можно её запустить локально, а как можно запустить на арендованных видеокартах: V100, 3090, 4090, h100, h100nvl и в как отдельно запускать на сетапе из двух видеокарт. Будет полезно тем, кто, как и я, стремится в local-first мир ИИ. Поделился именно базой по запуску модель в разных конфигурациях Ссылки на видео: 📹 YouTube | VK | Rutube | Dzen 📹

Самый важный мой доклад Я выступаю с 2019-го года. За плечами десятки выступлений. Выступал на техническую тему, про управление командами разработки, работу с блокчейном и ИИ-агентов. Но сегодня выступал на самую важную для меня тему — безопасность детей в интернете и оффлайне. Увы, но нехорошие люди активно находятся в поиске любой возможности нагадить нам и сделать за счет нас лучше себе. Дети были 9-10 лет. Рассказал им про все известные мне способы развода детей в онлайн-играх, мессенджерах и просто на улице. Дети — прекрасная аудитория и ребята очень активно участвовали, делились своими историями и мыслями на этот счет. Поговорили про ответственность и какие проблемы можно получить из-за лишней халатности или доверчивости — от потери денег до реальных сроков и оторванных конечностей (если поднять что-то заминированное). Планирую с этой темой выступать дальше и делиться этими знаниями с детьми. Ведь важнее детей, без преувеличения, у нас ничего нет и не будет.

Скилл подбора модели Навык подбора модели под задачу постепенно начинает ощущаться как отдельный скилл Я регулярно пробую новые модели и уже дошел до режима, когда могу 1–2 дня вообще на новой модели работать и не страдать. Разумеется, для не срочных задач. Параллельно в браузерном чате купил несколько китайских подписок: Kimi, Minimax, GLM и OpenAI. Просто чтобы руками понять, где у кого реальные сильные и слабые стороны. Разнообразие реально помогает. Лучше начинаешь понимать не только "какая модель умнее", но и "в какую задачу ее вообще нельзя пускать". Модель можно подобрать не по абстрактной мощности и бенчмарку, а по конкретной работе. Например: Minimax в десятки раз дешевле ChatGPT. И если нужно закрыть 10 простых задач, разница по деньгам уже очень заметна, а по качеству почти нет. Плюс я всегда могу по-мелочам доделать сам. Да, он заметно тупее. Но для части задач это вообще не важно — там важно быть просто умнее меня, что очень просто. Знать где модель может все только испортить — отдельная ценность. Например, minimax не стоит пускать в рефакторинг, Kimi — в визуальные вещи, ChatGPT — туда, где важно сильно экономить :) В итоге получается довольно удобный подход: не искать одну "лучшую" модель на все случаи жизни, а понимать, где какая работает хорошо, а где лучше не надо. В целом я смогу даже с minimax 2.7 отлично жить, хоть она и самая туповатая из облачных гигантов и много раз оставляла после себя чувство раздражения.

Hermes Agent. Установка, настройка и базовая оркестрация В этом ролике разбираемся с Hermes Agent — self-hosted AI-агентом, который обещает жить на вашем сервере, работать через Telegram и сам создавать/улучшать свои skills. Я не стал снимать ролик сразу на хайпе, а взял паузу, поставил Hermes, погонял его на сервере и посмотрел, насколько красиво звучащие обещания совпадают с реальностью. В ролике: — что такое Hermes Agent простыми словами; — чем он похож и не похож на OpenClaw; — как работает идея tools и skills; — почему агент может раздувать контекст; — как поставить Hermes на VPS; — как подключить Telegram; — что происходит с памятью, инструментами и автоскиллами; — какие есть нюансы, лаги и спорные моменты; — стоит ли вообще смотреть в сторону Hermes сейчас. Ссылки на видео: 📹 VK | YouTube | Rutube | Dzen 📹

Брать модели у исходных поставщиков В последнее время я много смотрю на разные модели для нашего ИИ-провайдера: перебираю все опенсорные модели через разных поставщиков и агрегаторов. И постепенно прихожу к простой мысли: если есть возможность, лучше брать инференс напрямую у разработчика этой модели. Только так можно сформировать надежное мнение о самой модели. Иногда это дороже. Местами сложнее получить доступ. Но когда я беру у создателя, я точно получаю максимум, который ему доступен и точно ту модель, которая его не опозорит. Например, я пробовал Minimax 2.7 через Ollama и был почти уверен, что это просто плохая модель. Она меня реально бесила: выдавала ерунду, с ней было невозможно кодить, и ощущение было такое, будто это не модель-хедлайнер, а небольшая модель прошлого года. Я уже почти записал ее в список "никогда больше" и даже начал свое мнение рассказывать разным людям. Но в рамках моего "тура по моделям" я решил все же дать её еще один шанс. Решил попробовать ее напрямую в тестах. Зарегался как китаец на их Token Plan, начал работать. Внезапно оказалось, что она вообще не хуже Kimi K2.6, которая пока мой китайский эталон. А по количеству и качеству рассуждений местами даже лучше. В итоге вывод простой: брать от разработчика и только тогда формировать мнение. Кстати говоря, мы (ai.wormsoft.ru) тоже посредник и лучше к нам не ходите, а идите напрямую к разработчикам. Кто его знает чего мне в голову взбредет когда видеокарты начнут заканчиваться:)

Знать китайский как привилегия С декабря прошлого года я учу китайский и постепенно все больше подключаю китайские сервисы и нейросети в свои проекты, в том числе в наш AI-провайдер. И чем дальше, тем сильнее понимаю: мой китайский пока очень далек даже от 1% того уровня, который мне реально нужен. Но даже этих базовых знаний уже иногда хватает, чтобы заметить маленькую, но важную деталь в сервисе и иногда без переводчика немного ориентироваться в личном кабинете. С английским было бы, конечно, намного спокойнее. И вообще есть ощущение, что в Китае целый мир, который в некоторых вещах реально может сильно поднять и уровень жизни, и эффективность работы. Отдельно забавный момент: некоторые сервисы вполне себе активно режут доступ, если видят, что ты пытаешься жить через Google Translate. Особенно если это внутренние китайские сервисы, которые продаются для местных через их авторизацию по номеру телефона и стоят заметно дешевле, чем для внешнего рынка. В очередной раз понимаю, что папа был прав. Лет 15 назад он говорил мне, что китайский стоит учить, и что люди, которые его знают, получат заметное преимущество перед теми, кто не знает. Жаль, понял это только спустя 15 лет. Но сейчас активно догоняю.

День Победы Страшно представить через что прошли наши деды и бабушки, приближая Великую Победу и вытаскивая страну обратно в жизнь. Спасибо им за это. За то, что у нас вообще была возможность долго жить сыто и спокойно, не просыпаясь от звука войны. Часто вспоминаю свою прабабушку, которая по повестке оставила мирную жизнь и поехала в блокадный Ленинград. Мне невероятно повезло, что она тогда выжила (иначе не было бы меня) и до моих 18 лет она была в моей жизни. Она часто повторяла одну фразу: "Только бы не было войны". И ради того, чтобы у нас так долго ее не было, люди вроде нее оставляли там, в далеком прошлом, здоровье и часто свои жизни. С Днем Победы. Помним. Спасибо!

Прелести вайбкодинга: мелкие решения под свои потребности Есть куча софта, который транскрибирует звук с микрофона и сразу вставляет текст в текущее поле ввода. Захотел себе такое внедрить уже, т.к. с ИИ-агентами переписываться голосом — прям самое то, но далеко не каждый сервис с ИИ поддерживает голосовой ввод. Я сначала посмотрел в сторону готовых решений (whispr flow и тд), но быстро понял, что не хочу зависеть от чужих сервисов и их ограничений. Хотелось, чтобы вся эта цепочка опиралась на наш ИИ-провайдер (ai.wormsoft.ru). В итоге вчера навайбкодил за один день собрал себе нативное приложение под ПК: оно слушает определенные горячие клавиши, по нажатию начинает запись, гонит аудио в наш провайдер и возвращает текст обратно. Делал это параллельно с другими задачами: периодически возвращался в окно, писал, что именно нужно добавить/поправить, и снова уходил работать дальше. И вот за это я вайбкодинг люблю: появляются силы закрывать маленькие, точные боли собственными инструментами, вместо того чтобы неделями "собираться" начать кодить то, что имеет узкие кейсы для использования. Цена вопроса — постепенно дорожающие токены LLM-инференса. Но когда задача решается за день и реально экономит время — оно того стоит.

Искусство долго ждать и быстро бежать Чем крупнее клиент, тем дольше от него придется ждать описание задачи, ТЗ и... доступы. Причем доступы обычно выдаются по формуле "чем крупнее клиент, тем больше месяцев получать доступы". Особенно у гос-заказчиков: чтобы получить доступ, надо пройти десятки кругов ада. Потом тебе выдают не доступ, а "рисунок доступа": зайти на сервер можно, а сделать на нем невозможно ничего:) И вот в какой-то момент (максимально неожиданно) нормальный доступ все-таки "выдается", наверх уходит рапорт "доступ команде бракоделов Моревых выдан", и сразу звучит команда "вперед". Дальше начинается магия. Сроки уже физически не выполняются из‑за задержек, но спрашивать будут с нас — "почему опоздали и нас всех дружно подвели?". В итоге команда должна сидеть готовой к резкому старту все время, пока ждет доступы: от пары часов до пары месяцев. Быть вечно заведенной машиной, стоящей на холостых, потому что времени на прогрев потом не будет. Этот прикол каждый раз меня веселит... до тех пор, пока нам не выдадут доступ и не скажут "вперед!". Да — мы сейчас ждем доступы по очень крупному проекту. Да — ждем уже больше месяца. И да — на миграцию осталось меньше недели. И да — в оставшихся днях 3 выходных, но выдающих доступ это не сильно интересует. И главное — мы успеем. Всегда успевали.

Телеграм-канал нашего техлида У нашего техлида есть свой телеграм канал: https://t.me/s2s_channel Хотел бы я сказать, что за рекламу этого канала мне заплатил его владелец, но пока этому человеку, 2 раза в месяц, уже давно платим мы с братом. Он крутой техлид, круто шарит в ии и его внедрении в работу. Год назад ещё открылся талант в бизнес-аналитике. Используем его как можем и пытаемся выжать из него все соки. Также он – второй человек из нашей компании Wormsoft, который решил двигать себя в паблике. Мы с братом уверены, что он просто хочет от нас уйти на работу получше и решил выступать и вести свой канал. Не подписывайтесь на него, чтобы отдалить этот момент. Нам без него будет очень туго. Да и посты у него раз в полгода. Да и техлид он так себе — не забирайте.

DeepSeek V4 против домашки 4 класса Сегодня проходился со старшим по ВПР по английскому (4 класс) и внезапно понял, что я сам местами уже подзабыл правила. Типа предлогов in/at/ out в разных предложениях и с разными существительными. Решил проверить в деле DeepSeek V4. По теории — прям круто. Объясняет спокойно, можно задавать уточняющие вопросы, он нормально раскрывает тему. Плюс отлично генерит тестовые задания, чтобы закрепить материал. Но это все, если честно, давно умеют и локальные модели. "Вау" эффекта тут не случилось. А дальше было разочарование. Там, где gemma-26b-a4b на моей RTX 3090 решила конкретное задание без ошибок, "лучший новый современный" DeepSeek V4 налажал так, что я даже сначала подумал, что это я что-то не так сформулировал. Я сфотографировал задание и попросил решить целиком. В каждом тесте было 3 варианта ответа — а он в 9 вопросах выбирал варианты 4–6 (которых просто не существует). Для моего основного бенчмарка "домашка 4 класса" — это прям мощный показатель несостоятельности. И да, после такого немного страшно применять его в программировании и других бизнесовых задачах.

Когда не справился с хайпом. OpenClaw и его нестабильность. У OpenClaw быстро начала набираться большая пользовательская база и вырос спрос на настройку. Я и сам уже за вознаграждение настроил несколько агентов для желающих. Но вместе с хайпом у продуктов (точнее у владельцев) иногда приходит самоуверенность. И похоже, OpenClaw сейчас ровно в этой фазе. Туда активно добавляют новый функционал, меняют принципы безопасности и механику штатных вещей. Токен для дашборда теперь получить заметно сложнее, а дать права на спокойную работу на сервере местами превращается в квест. Туда же и потребление ресурсов. На сервере в 2-3 раза мощнее опенкло работает в 2-3 раза медленнее его собрата от марта этого года. Я просто с нуля сегодня запустил на новом сервере для ролика и столкнулся с дикими тормозами и потреблением. Лично у меня все меньше и меньше желания продолжать его использовать — и по ощущениям я не один такой. То, что стартануло так круто, на глазах становится неуклюжим и тормозным. Жаль, но мало продуктов нормально переживает наплыв людей и параллельное желание владельцев "вместить вообще все". Я сам несколько раз, как подрядчик, участвовал в разработке продуктов, где владелец пытался сделать "швейцарский нож". Итог обычно простой: плохо работающий швейцарский нож никому не нужен, когда рядом отдельно есть нормальные ножницы, нож, отвертка — и каждый делает свое хорошо.

ИИ ради ИИ — удовольствие дорогое После последних роликов про ИИ у меня пошел рост: и Telegram, и YouTube. Вместе с этим пошли обращения: "сделайте нам ИИ-агента для бизнеса" — автоматизация внутренних процессов, общение с клиентами и вот это все. И дальше почти всегда один и тот же сценарий: час переговоров, раскладываем задачу по полочкам, считаем, прикидываем риски — и в итоге я прихожу к выводу, что смысла в этом для клиента не будет. На волне хайпа хочется "поставить себе что-то с ИИ". Но "поставить" — это самая дешевая часть. Потом начинаются токены, поддержка, контроль качества, обновления, промпты, интеграции, безопасность, ответственность за ошибки. И в 9 случаях из 10 я в итоге отговариваю человека становиться нашим клиентом. Вообще это моя стабильная работа последние 8 лет: — 2018–2020: отговаривал писать самописную CRM, когда проще и дешевле нормально адаптировать вендорную. — 2020–2024: отговаривал "добавить крипту/блокчейн", потому что было модно "токенизировать" вообще все. — 2024–…: отговариваю внедрять ИИ. И в механике "продажа через отговаривание" есть один большой плюс. Те, кто остаются после такого разговора, обычно реально понимают, что хотят, зачем им это и как будут мерить результат. А те, кто хочет внедрить хайп ради хайпа — почти всегда остаются недовольными. Деньги потратились, а результата ноль. Одного хайпа недостаточно, чтобы разработка имела смысл для заказчика. Как же прекрасно, что сейчас нам не надо бегать за каждым клиентом и "прогать ему хоть что-то" и можно спокойно отказываться от подобных хайпожорных тем.

Wormsoft. Делаем все долго, дорого и плохо. Давно не рекламировал свой бизнес. Моя компания Wormsoft занимается разработкой ПО любого уровня сложности. Недавно вышел GPT Image 2. Работа компании приостановилась ради важной задачи — нагенерить емкое изображение, содержащее в себе максимум пасхалок и локальных особенностей нашей компании. Получилось круче чем я ожидал. Некоторые ребусы от ребят разгадывал далеко не с первого раза. Абсолютно каждая деталь на изображении имеет смысл и прямое отношение к жизни нашей команды. Умели бы они также писать код, как делать такие картинки, я бы уже в деньгах купался...

Ролик про Gemma 4 в OpenClaw Снял детальный ролик про работу свежей модели от гугла в связке с openclaw. В этом ролике я подробно тестирую GEMMA 4 в реальных задачах: от простых сценариев до OpenClaw, настройки окружения, работы с файлами, HTML-отчетов, cron, скиллов и небольших приложений. Проверяем, что реально умеют версии E2B / E4B / 26B-A3B / 31B, где проходит граница полезности, и можно ли этим пользоваться не “в теории”, а в нормальном рабочем процессе. Посмотреть можно на любой удобной для вас площадке: 📹 YouTube | VK | RuTube | Dzen 📹

Не упираться в одну модель У нас в компании в 90% случаев у 90% разработчиков используется gpt-5.3-codex. Он реально очень хорош. И, казалось бы, бери кодекс и живи счастливо. Но это не моя парадигма — я почти всегда стараюсь иметь альтернативы даже самым удобным инструментам. Поэтому сейчас я сознательно по 30–40 минут в день программирую с новой моделью. Собираю в голове карту: minimax, gemini, glm, qwen, kimi… уже целый зоопарк. Цель простая: формируется рабочая картина на сценарий "что делать, если GPT прилег". ChatGPT вряд ли умрет разом, но цены подкрутить — легко и уже движения в эту сторону у всех провайдеров. И мозгу полезно быть готовым переключиться, а не тратить потом неделю на перестройку промптов и ожиданий. Плюс модели реально ведут себя как разные люди. Codex может легко решить ту задачу, на которой GLM начнет буксовать. А иногда наоборот: GLM 5.1 с полслова понимает то, на чем кодекс уходит в бесконечный цикл генерации говнокода и извинений. В жизни важно уметь вести диалог с людьми разного типа. Так и с нейросетями навык общения с разными моделями лишним не будет никогда. Короче: не застаивайтесь. Пробуйте разные модели и инструменты — хотя бы понемногу, но регулярно. Claude-фанаты, знаю, сейчас скажут, что "клода стоит один раз попробовать" — и дальше уже не хочется ничего другого. Но такого рода инструметов я боюсь еще больше и обхожу за километр:)

Курс на ИТ-замещение Про импортозамещение мы уже привыкли говорить. В последнее время все чаще замечаю другое: "ИТ-замещение". Когда компании отказываются от облачных продуктов в пользу внутренней разработки. Мы как раз живем на таких задачах: пилим внутренние продукты автоматизации. Раньше нужно было конкурировать с Битриксами и прочими SaaS-ами и доказывать, чем наше лучше готового облачного (если честно — почти ничем, кроме того, что на этом заработаем мы, а это весомый плюс). Тогда аргументы были только: полная кастомизация и техническая независимость. Сейчас причин стало больше: — вендор может просто передумать работать с нашим рынком; — софт может начать блокироваться из‑за РКН; — и еще появился вайбкодинг: небольшая команда внутри компании теперь может быстро собрать себе маленькую автоматизацию и проверить гипотезу без "штата программистов на год". Я бизнесом занимаюсь 8 лет, и очень любопытно наблюдать (и участвовать) в сменах парадигмы рынка каждые 3-5 лет.