ru
Feedback

Не попадитесь на канал ботавода! Telemetrio находит и помечает такие каналы 👉 Хотите видеть метку — оформите подписку

Киса | Deploy la Deploy

Киса | Deploy la Deploy

Открыть в Telegram

Был канал по деплоям, потом по ретро и дегенству в крипте. Теперь это AI храм, в общем ничего нового, упарываемся. Автор: @Notkisa Гитхаб автора: https://github.com/howdeploy

Больше
9 114
Подписчики
+1024 часа
+1117 дней
+63130 дней
Архив постов

Напоминаю про халяву выше. Тыкни на конкурс, вдруг повезет. А пока опросник.

Го вместе подлижемся к халяве Ведь Фантом раздает подписки Да, это первый шоп подписок, который помог мне купить в стиме (ура
Го вместе подлижемся к халяве Ведь Фантом раздает подписки
Да, это первый шоп подписок, который помог мне купить в стиме (ура, реклама) много новых крутых игр.
Но если так подумать, без вашего участия и вовлечения, очевидно, этого бы не случилось. Я в целом всегда стараюсь финансово вкладываться в контент, оформляя кучу бесполезных подписок, чтобы просто знать лично, что там есть и рассказать вам. В фантом шопе я вот взял на год манус подписку и руки не дошли поведать о самом древнем личном агенте. А еще фигму буду брать, хочу изучить детально их MCP в текущих реалиях. Поэтому, когда ко мне снова пришел Фантом — мы думали. "О, мы умеем думать!". Вот так мы воскликнули у нас в головах. Думали о том, чтобы всем вам сделать какой-то подарок. Чтобы вас не смущали цены или еще что-то. Просто прийти и забрать бесплатно. А еще, между нами мальчиками, когда я составлял гайд на jailbreak промптинг, я учился на промптах фантома. Я буквально купил его подписку, изучил его самописные промпты и научился делать свои. И вот наша история замыкается. Я отнес $125 (какое число красивое) Фантому сверху, чтобы он выделил вам сочные подписки бесплатно. И разумеется, вам нужно выполнить простое условие. 1. Подписаться на его канал 2. Зайти вот на пост по ссылке 3. Нажать там кнопочку
- гпт го - гпт плюс - гпт х5 - И великий ужасный грок хеви Того 3 победителя и 1 бонусное место.

Бывшие коллеги, почему-то, не поздравили. Эх, жаль. Зато все ближе публикация поста, где я вам подсвечу возможность халявно забрать подписки. Оплатил из своего кармана <3 Чтобы каждый мог уйти с ненавистной работы и сделать свою жизнь лучше. Кстати. Поднажмите с бустами пожалуйста. С 8 до 10 уровня и будут кастомные обои. Правда нужно свыше 98 голосов. Но если хотя бы 98 набрать, смогу поменять дефолтные обои на новые. Пока что вернули емодзи 🤔 Это символ моего канала. Да, не маскот 🤝, а именно 🤔.

А поддержать меня в мой праздник можно.. Въебав жестко бустов на этот канал, чтобы было больше емодзи, свой стиль оформления
А поддержать меня в мой праздник можно.. Въебав жестко бустов на этот канал, чтобы было больше емодзи, свой стиль оформления и может быть отключение рекламы, если вы ультанете на 50 уровень (что невозможно?) https://t.me/boost/deployladeploy https://t.me/boost/deployladeploy https://t.me/boost/deployladeploy
А вечером я планирую опубликовать конкурс на бесплатные подписки по топовым иишкам. Думайте.

Ровно год назад я ушел с работы Идеально замыкая серию постов про гэмблинг гипотезами, который начался с обзора bodycam. Так
Ровно год назад я ушел с работы
Идеально замыкая серию постов про гэмблинг гипотезами, который начался с обзора bodycam.
Так вышло, что большая часть моей аудитории не знает, что же за web3 компания где я работал. Ну стоит упоминание на личном сайте и стоит. И в этом посте поименно я упоминать не буду. Я знаю, что читают, но до них все равно это не дойдет. А вам достаточно абстрактного примера. Единственное, что я добавлю. Есть вещь о которой я сожалею, что ушел на "добром вайбе", публично замяв какой либо конфликт, якобы его и не было. Я сам себя поставил в положение, где мне неудобно объективно критиковать публично. Ибо это бы выглядело словно я мщу, ибо обиделся! И если сделать публичный пост по фактам — пидорас напал в спину. Так я себя ощущал, хотя порой позволял себе такие высказывания. Между строк или отрыто(?) над тем, что там за пиздец происходит, глумился. Но это идеальный пример гэмблинга гипотезами. Уже чуть более года назад я начал испытывать чудовищные симптомы выгорания и кажется, что даже депрессии. У меня была постоянно мигрень, я всегда хотел спать. Я спал, просыпался, садился за задачу, не мог ее закрыть, засыпал. Просыпался, заливался виски, садился поиграть в ПК, сидел до 5 утра, падал спать. Вставал на работу. Моя способность написать 8 длинных постов в день, создать попутно статью на 6-8 тысяч слов. Навык работать, закрывать все задачи в срок и попутно вести свой канал + билдить свою NFT коллекцию.. Это все было проебано в угаре выгорания. Я не был способен ни на что. И ключевым ударом по мне, как мне кажется. Стал момент, где все происходящее я стал воспринимать школой. Я создал новое направление контента -> его хвалят и говорят, что все круто -> оно собирает множество позитивных отзывов в комментах и команде -> метрики держат уровень, падений нет. Проходит 1-2 недели и нужно все переделать. Ну внести правки, поменять: дизайн, направление. И так было 5 раз, я пять раз переделывал контент план. То есть "взрослые люди", которые не понимают сами как жить, навязывают мне правила игры. Да за свои деньги, платя мне. Но это ниже моего достоинства. Почему напомнило школу? Ну ровно поэтому, куча взрослых на созвонах объясняют мне как правильно делать контент, сами нихуя его не делав или делая говно. И вот я сыграл за Британца, сбежав в море от лучших женщин и выпивки в мире. Оказавшись в свободном плавании первым делом я решил реализовать ту стратегию контента, что делал в медиа, но она была отвергнута. Затем, также в рамках этой стратегии я сделал радикальное. Я отказался от crypto и полностью ударился в AI, ибо это мне виделось в разы интереснее. Как для меня, так и для читателей. Я знал, что такой контент в веб3 заходит на ура. Часть аудитории я потеряю, но апсайд с учетом веб2 сильно лучше. И бум! Именно это сработало. И не сказать, что я нарулил перебором этот метод, я просто точечно ударил в наиболее вероятное и продолжим делать. Мне понадобилось 4 месяца, чтобы к моменту как мои деньги кончатся — я смог заработать с фриланса, канала. Рост случился безумно быстро и внезапно. И я не побежал бить в эту точку, я не начал перебирать новые форматы постов. Я забил хуй и пошел дальше заниматься своими делами. 1950 -> 7800 подписчиков За год работы. Если что, свои 1950 я набирал 3 года до этого. Для понимания, как смена ниши позволила моему таланту раскрыться. Повезло ли мне? Конечно. Стало ли это везение возможным за счет многолетней упорной работы несмотря ни на что? Конечно. И хочется дать вам простую мораль. Если вы видите СЕО, который гэмблит теории в стартапе, что уж таковой 8 лет, бегите нахуй. Эта яма не стоит никаких ваших талантов ни за какие деньги. И забавно от того, как часть людей побывавших там, тепло отзываясь, пытается "по рынку" продвигать свои услуги, искренне оценивая себя достаточно высоко. Хотя единственный их вклад — продолжать этот кринж и метрики ниже минимальной планки. Возможно, что быть нарциссом лучше, чем просто самоуверенным долбаебом.
ЖИВИ И ТРАХАЙ

Нетворкинг
В комментариях под ГС пишите о себе, расскажите чего хотите. Не стесняйтесь и не переживайте.
Ищите людей для беседы, членов команды, тиммейтов в игры. Вообще не важно, главное расширяйте свой список контактов. Если увидите интересного кадра/персонажа, расскажите о нем своим друзьям. Может кому-то нужна работа, а кто-то продает гараж. Нетворкайте, блядь, и вот вам таймкоды: 00:56 — Что такое нетворкинг 03:58 — Работа через личные связи 06:39 — Выбор амбициозного окружения 10:41 — Искренность в общении 11:41 — Где искать знакомства 14:53 — Развитие речи и харизмы 16:37 — Практика и конкретные вопросы То есть внутри моего чатика вы могли уже 1000 раз познакомиться с ребятами, которые: крупные инфлы, работают в крупных компаниях, ведут свой бизнес, зарабатывают вайбкодом. Но вы просто постеснялись это сделать. Поэтому, быстро оставил комментарий! В свободной форме, кто ты по жизни.

Маленькое дополнение, сразу к этому посту и тому, что выйдет завтра. Постик в памятную дату хочу сделать. Имейте ввиду, что когда работаете с такими людьми и вообще влетаете в команды: работает принцип "инициатива ебет инициатора". Ставьте четкие границы и делайте работу четко от забора и забора. Выбивайте себе максимум свободного времени и минимум задач на как можно большую сумму. Время, бабки и опыт направляйте в личные проекты, семью, друзей и хобби. Но никак не в проекты таких СЕО мечтателей. Вы просто выбросите их на помойку. Найти проекты и должности в том же AI в СНГ и мире — возможно, спрос вообще растет на спецов. У меня вокруг тут и там ищут продуктов на AI продукты. Тут и там внедряют нейросети в еще большем объеме и с большей глубиной в бизнесе. Поэтому, важно держать такую памятку в голове. Как не прогореть вместе с нанимателем.

Гэмблинг гипотезами Очень давно, я с товарищем Reza с канала анналы кирби, пришел к этому тезису. Этот пост родился с наших о
Гэмблинг гипотезами
Очень давно, я с товарищем Reza с канала анналы кирби, пришел к этому тезису. Этот пост родился с наших общих мыслей.
Но вот руки его расписать, пояснить, никак не доходили. Каждый раз пост откладывался. Откуда это пошло? Конкретно с Reza тезис возник когда я подтянул его к себе на проект, где работаю парт-тайм, а наш СЕО озвучивает гениальные идеи. За пару месяцев мы уже примерно раскурили сколько реально можно делать денег, что может масштабировать прибыль, а что вообще не влияет. Но наш СЕО руководствуется тезисом "даже если это доказывает статистика, я не хочу в это верить", следовательно у него свои критерии роста. Который мы вводим на 3-4 дня, если они сразу не повышают прибыль, мы вводим другие. И это мне сразу же напомнило другой стартап, где я отработал полтора года и столкнулся ровно с такой же историей. Если что-то 40 дней работало криво, но сделало рекордные продажи — мы это меняем. Ну если поменять криво, то станет еще больше прибыли? Спойлер, ни разу не повысило прибыль. Что значит гэмблить гипотезами? Допустим, что мы начали делать свой B2B AI SaaS, мы его сделали и рассказали об этом в твиттер. Но никто не пошел покупать. Можно сразу вывести гипотезы, что нам нужно поменять в наших действиях, чтобы проект начал приносить деньги. - Нужен закуп рекламы - Нужно поменять стиль ведения X - Нужно больше твитов - Нужно меньше твитов - Нужны статьи - Нужны реплаи И тут очень-очень много переменных, многие будут ходить прям пачками. Но смысл в том, что в медиа рост это история на года вперед. Ты можешь годами что-то делать и лишь 1 пост или видео дадут бешеный взрыв. А стоп, лишь что-то одно даст результат?! Вот здесь человек и перестает терпеливо ждать, находить удачные стратегии дающие "положительную дельту", вместо этого он пытается поймать то действие, что даст рост сейчас. В медиа это постоянная смена КП и дизайна, пока посты не начнут заходить. На практике это отпугивает читателей, ведь канал превращается в публичную дурку с биполяркой. В привлечении трафика и его монетизации это превращается в наслоение решений, где хуй пойми какое именно влияет на прибыль. Факторы складываются и статистику собрать невозможно. А в личных делах и ремесле это превращается в "здесь перегрето, тут не получилось, попробую другое". Несмотря на то, что нужно реально пробовать новое, но нужно и в старом побыть. Реальный гэмблинг, а не билдерство. Вместо того, чтобы выбрать свой путь, пожить им 1-2 месяца и сделать какие-то выводы, исправить в нем ошибки. Сразу после пары недель без изменений — бежим все менять. Причем именно бежим, ведь 2 недели это слишком много! И вот такой стартап вайб люди могут сохранять годами в уже рабочем бизнесе(?) из-за чего тянут его и всех на дно. Я имею ввиду, что видел больше 1 CEO, кто не мог оставить проект как есть, брать с него деньги и вкладываться в другой. Вместо этого он цеплялся туда зубами, пытался максимально выжать с этого все, найти решение, что сделает это историей мечты, киношный путь успеха. А в итоге все летело в пизду, ведь вместо стабильного бизнеса, у нас парад смены стратегий, решений и подходов. Ведь любые крупные структуры живущие и доминирующие десятки лет, они супер неповоротливые, все там зажато бюрократией и десятком слоев менеджмента. А стартапы наоборот, очень мобильные и компактные, быстрые, резвые как понос. И некоторые люди на всю жизнь фиксируют себя в этом. Я не говорю, что одно плохо, а другое хорошо. Я скорее к тому, что люди фиксируют рабочие стратегии и не пытаются найти то, что даст еще больше прибыли. Бизнес и так про риск, зачем брать на себя еще. А другим вечно мало, они бесконечно перебирают версии как сделать иначе, как переработать. И у каждого своя фикс-идея, одному надо 100 сотрудников и все заработает, другому новый формат контента, а третьему дайте AGI и реалистичное общение и точно продажи вырастут.
Поэтому, если ты хочешь свое дело и делать $$$, 150 раз подумай а не пытаешься ли ты гэмблить гипотезы. А Reza я попрошу уже наконец сесть делать посты, заебал. Такой талант пропадает.

Боди.. Бонга кам или как ее там bodycum Сегодня я познал тлен, фрустрацию и удовольствие от продажи мне ПТСР, вот посему спеш
Боди.. Бонга кам или как ее там bodycum
Сегодня я познал тлен, фрустрацию и удовольствие от продажи мне ПТСР, вот посему спешу поделиться.
Третьего дня, в моем инфополе появилась игра под названием Bodycam. Супер реалистичный шутер от первого лица. Я был уверен, что именно про эту игру слышал 2 года назад или 4 года назад. А она вышла в релиз? Оказалось мимо. Вообще. Три года назад на ютубе хайпанул трейлер/тизер игры Unrecord, это было событие подобно бомбе. Потому что графика была буквально как в жизни. Ну то есть прикали у тебя выходит ноунейм штука, которая первая в мире смогла достичь буквально реализма. Отличная реклама движка Unreal Engine 5, что вышел в 2022 году и стал причиной одинаково бледных ААА игр без души и красоты. А тут прям вау. В 2024 году два брата француза полностью скопировали концепцию и визуальный стиль. Это был релиз Bodycam, который уже успел умереть на 400-800 онлайна. Пока не случилось 2 сентября 2026 года. При старте в ~17к онлайна, которые за 2 года превращались в 500 человечков. Игра умудрилась за этот месяц достичь онлайна в почти сорок тысяч челиков. Быть может от релиза карты в стиле СВО, может от добавления туда дронов — современное лицо войны. А может в совокупности факторов. Потому что, они переработали: графику, звук, анимации. И я про каждый из этих аспектов, пожалуй, могу по 5-10 минут рассказывать и брызгать слюнями. Я столкнулся с гениальностью и скиллом. Вот эта графика как в жизни, в чем ее секрет? Так же, как при создании AI фоток. Ты оставляешь дефекты, шероховатости, засветы. Все то, что заставляет мозг достраивать картинку. Главное это упор в свет. Как он отражается, как проходит сквозь решетки окон. Ну и добавляем кучу мелких деталей: тут штукатурка отвалилась, здесь одно граффити, а тут другое. Получаем 90% времени в динамике и даже статике картинку, которая заставляет воспринимать события вокруг как запись боевых действий. При том сюда входит рассеивание звука, он отражается от стен, скрип досок проходит по этажам. Звук скинутого магазина и стоны недобитого бойца. Все это здесь есть. А самое безумное, что в игре созданы десятки прессетов анимаций на несколько состояний стресса персонажа и они так миксуются, что по идее не могут быть одинаковыми. Я имею ввиду, что когда вы бежите под выстрелами у вас потеет оптика и дрожат руки. А магазин может не впасть в пазы. Вы нервничаете. Когда вы неподвижны и вам ничего не угрожает — все ваши движения отточены до идеала. Но стоит выпустить обойму с калаша, как руки начинают симуляцию алкаша. Совокупно это создает ситуацию, где вы на шару стреляете в темноту, лишь бы из этой темноты уже не стреляли в вас. Или когда вы слышите топот, но не можете до конца понять где он и просто сидите на очке. Ибо лучше перебздеть, чем расслабиться и подпустить врага наверх по лестнице. Сейчас команда проекта до 30 человек Но всю основную разработки вели двое, причем одному было 17 лет, а второму 20. В нашу эпоху AI, которые работают с движками и 3D + открытостью знаний, ну выглядит не так волшебно. В общем-то, я думаю, каждый может попробовать поиграться с восприятием мозга и выдать что-то невероятное. Или брейнтормить идеи и реализациями MVP по кругу. А еще с DLSS 5, который уже энтузиасты переносят в разные игры, потенциально можно будет достичь прямо 100% реализма. Так и победим, вся порно индустрия на DLSS 5 и шутер от первого лица, лол. Лично я, получив за 4.9 часов столько впечатлений, что не мог не сделать пост об этой игре в основной канал. Ну и разумеется, я планирую еще. Как и играть, ибо такое погружение задает совсем другой вайбик от каждой катки и хочется снова и снова изучать карты, тренировать реакцию и собирать модули на оружие. Так и вообще сделать серию постов про билдинг, творчество и перебор креативных идей. Мне есть чо сказать. Хотя осознаю, что для весомого числа людей это игра на 1 вечерок, как и пост не для всех.
Но все же, рекомендую попробовать Bodycam, всего 1200 рубликов в нашем регионе за столь узнаваемые локации, как Russian Building и окопы [не штурм].

ПОЛНЫЙ ВКАТ В НЕЙРОСЕТИ ПО ФИЛОСОФИИ КИСЫ В данном видео покажу чем пользуюсь, как сношу всю цензуру, как даю указания агента
+1
ПОЛНЫЙ ВКАТ В НЕЙРОСЕТИ ПО ФИЛОСОФИИ КИСЫ
В данном видео покажу чем пользуюсь, как сношу всю цензуру, как даю указания агентам и так далее.
В данном screencast + монтажике на обновленном Remotion, я расскажу вам о всех своих разработках. Видео-материал подготовлен для всех слоев населения разом. - Методы общения с AI чтобы делать 1500 долларов в месяц - Как я сейчас стал пользоваться агентами - Как купить подписку в обход санкций - Что я сам себе сделал в стэк И каких регалий aka достижений я смог добиться, какой вклад внес в мировой и масштабный вайбкод. На этом тоже будет акцент в ролике. Я очень давно не выпускал видео на Ютуб, поэтому, прошу вас жестко поддержать релиз видео и перед рабочими буднями забалдеть в просмотре. Без лишних слов, просто посмотрите видео. И обязательно воткни лайк, напиши комментарий и отправь друзьям, которые занимаются иишками. Пусть забалдеют.

Мои 500+ подписчиков с ютуба Он ведет ютуб? Правда? Он вспомнил логин и пароль от аккаунта?
Мои 500+ подписчиков с ютуба Он ведет ютуб? Правда? Он вспомнил логин и пароль от аккаунта?

Кое кто монтирует новое видео на ютуб. Тема ролика: как вкатиться в иишки, чем пользуюсь, как пользуюсь, куда 2 раза нажать чтобы все скачалось.

Для тех кто в танке, поясняю почему я бычара по локальным моделям

К постам сверху Многие скипнули, ибо много букаф и сложные технологии. Но я все упростил, а успех этой хуйни зависит от вас.
К постам сверху
Многие скипнули, ибо много букаф и сложные технологии. Но я все упростил, а успех этой хуйни зависит от вас.
Но чтобы было честно: я даю возможность запускать нейронку полноценного агента без цензуры на домашнем железе (даже не игровом) в 5-15 токенов в сек. То есть по 1-2 минуте на ответ по вашей ллм вики, 18+, анализу изображения и видео + ваших файлов. Или на более серьезном железе поднять работающий Deepseek v4, даже не урезанный прям в мясо. Но вы поддержите мою публикацию в твиттере. А ссылку на гитхаб найдете в посте выше. https://x.com/copenzafan/status/2098424796606349493 ЧатГПТ закрывают подписки за 200 как кими, ибо нет железа больше. А вы все еще не собираетесь разбираться в текущем стеке локальных моделей. Которые смогли "ускорить" в 4 раза и сделать сильно доступнее. Смотрите, когда будет мета на локалки, опять проебете и будете позже всех вникать.

Мб мне запустить локальные модели (часть 2) Я поясню вам как устроен мой фреймворк и какие цифры можно выжать, а они по разме
Мб мне запустить локальные модели (часть 2)
Я поясню вам как устроен мой фреймворк и какие цифры можно выжать, а они по размеру, как мой средне-европейский хуй.
Читать строго начинать с части 1, никакого скипать. Онли кушать много букаф! Значится, весь фреймворк базируется сразу на скилле и документации для агента, где отдельно разобрано агенту понимание как эти модели воркают. Но смысл тут в том, что нейронка подключается и сразу знает, что вам скачать, как и где параметры поменять, чего вы получите на выходе на ваше железо. Технически, я написал инструментарий и принципы, как модели под себя подгонять. А также добавил источники какие и откуда брать. А техническая база чужая: методы llama.ccp, apex и FreeToken. Хотя в текущей реализации лично у меня это просто чужие apex модельки. Для меня лично самый гемовый инструмент, ноушилл темка. Ну и на уже своих реальных тестах собрал исчерпывающую статистику, что в мое железо можно засунуть.
ЧТО ПО НАГРУЗКЕ RTX 4060 8 ГБ + Ryzen 5 5600 + 32 ГБ RAM - Qwen3.6-35B-A3B APEX-I-Compact в 32к контекста, 20 токенов в секунду - Gemma 4 26B-A4B Heretic APEX-I-Balanced в 32к контекста, 10 токенов в секунду В пике CPU грузился до 46-70% GPU до 70-100% При том, что расчет был в потреблении не на полную. Видео памяти не сжирало под модельку больше 5гб из 8гб. Оперативки около половины. Агент может работать пока вы слушаете музыку, сидите в ТГ и серчите веб.
Из коробки реализованы от меня: - Работает под llama-ui, модель его откроет в браузере. Этого UI более чем достаточно. Вариант юзать по умолчанию - Навык вокруг openshell + Pi: соберет podman контейнер, изолирует от системы и даст вам строить личный харнесс - Может поменять настройки Hermes, сделать модельку доступной там В MVP версии весь упор сделан на LLM и метод именно от APEX, главным образом махинации с llama.cpp, а уже потом отдельный докрут самой модели.
Adaptive Precision for EXpert Models вот как это расшифровывается. Взял основу отсюда, шикарный вайбкод проект. APEX дополнительно экономит память, распределяя точность хранения весов. Он сильнее сжимает экспертов в середине сети, оставляя больше точности чувствительным крайним слоям и общим блокам.
Внутри лежат также методы прогона моделей, но придется брать большой запас памяти на диске, 80-100гб на создание модельки в 16-20гб. Но как бы на HF уже полно моделей, агент скачивает готовую, переставляет параметры запуска: объем контекста, распределение нагрузки. Ну и вуаля, вы юзаете на локалке хорошую ллмку. То есть агент делает нейронку под ваше железо и подключает в удобный вам интерфейс, врубая в фоне. Железо и мои результаты по моделям выше. Как пользоваться? 1. Дать иишке ссылку 2. Попросить поставить X нейронку 3. Согласовать на сколько нагружать ваш ПК 4. Готово Если есть желание, можно отдельно дать ссылку на модельку и попросить сделать из нее сжатую модельку. Либо найдет нужную, либо на вашем железе сделает. Мой вердикт: Это буквально локальные агенты, вайбкод едва ли сделают, могут затупить с отправкой/чтением файла. У них не 100% tools use, но в остальном оно работает. С картинок изображение читает, с ллм вики работает, прогрев для гоев написать сможет. Чет потыкать в системе может.

Мб мне запустить локальные модели (часть 1) Никто об этом не просил, но лайкал в 20к старсов проекты с MoE моделями, значит п
Мб мне запустить локальные модели (часть 1)
Никто об этом не просил, но лайкал в 20к старсов проекты с MoE моделями, значит подсознательно прям просили.
Поэтому, я психанул и написал свой фреймворк для агентов, чтобы они адаптировали любые локальные модели под вас. https://github.com/howdeploy/LocalForgeLLM/ И теперь я буллишь по локальным нейронкам. Ибо с весны этого года, данная история стала сильно юзабельнее и рентабельнее, а главное дешевле. Но. Но. Чтобы тебе кастрюлю не спаривать с пенсилом, поясню сейчас на пальцах. Предыстория. Калибри епта Мне мой другалек тонфлиппер aka соланафлиппер, скидывает мне иногда в личку проекты. Вот недавно он прислал Colibri, который работает как FreeToken. Но фритокен вроде как посолиднее будет и интереснее. И дальше мы погрузимся в чудеса инженерии. То есть уже созданная апка, которая запускает тяжелые огромные модели под ваше слабое железо. Работает все на магии упомянутого в хуке MoE. А что это?
MoE-модели (Mixture of Experts) — это архитектура нейросетей, в которой вместо одной большой и монолитной структуры используется множество меньших подсетей под названием эксперты + система маршрутизации между ними.
Простыми словами модель ту мы целиком качаем, но железо напрягается лишь на части этой модели, в зависимости от задачи. И тут проблема в том, что на выходе иишка мне советует ставить 7B модели, а 26-31B модели через эти оптимизаторы у меня будут не юзабельны. То есть, мне продают инструмент, что даст запустить на моей 4060 мощные модели, но толку в этом никакого. Рационально не бьется. Однако, есть еще один известный вам метод. Который и в моем контенте ни раз упоминался. В гайдах, да и просто если погуглить. Llama или Ollama.
llama.cpp — это легковесный движок с открытым исходным кодом на языках C и C++, предназначенный для локального запуска больших языковых моделей (LLM) на домашнем или условно-домашнем железе.
И тут начинается интересное, потому что в настройках llama.cpp можно подогнать модельку строго под железо, доведя до абсолютно вылизанного состояния то, как будет работать MoE модель у вас. А еще существуют методы предварительного сжатия вроде APEX. Ну и напомню, если кто забыл, ранее я рассказывал про виды квантований. Вернее вкинул, что их много и они разные. И дальше мы про это подробно поговорим, ибо именно MoE APEX модельки я считаю революцией, гемой и скрытой альфой. У этой штуки еще меньше обсуждений в сети и старсов на гитхабе, но творит она прям лютые вещи. Скоро узнаете, что там именно получается. Так-с, а че такое фреймворк?
Framework — готовая программная платформа и набор правил, которые задают архитектуру будущего приложения и берут на себя рутинные задачи.
Я уже выпускал подобное ради интереса, когда сделал фреймворк абуза халявных токенов на любую нейронку. А теперь я сделал базис, который позволяет агенту ужать модель под ваше железо. И как можно было понять, существует немалое количество реализаций — как бы нам модели сжать, оптимиировать aka ускорить и не потерять в качестве. Но запихнуть в микроволновку вместо серверного оборудования за много бабок. Значит эти реализации можно выпотрашить, прогнать по ним вайбкодом личные сборки моделей, подогнать на тестах и сделать это рабочим инструментом. Ссылка на мой фреймворк. А дальше будет пост часть 2, где я расскажу как это работает и куда тыкать.

Обожаю бэнчмарки Вышел Deepseek v4.1 flash и конечно же он во всем всех совокупляет. Прошлую версию, конкурентов. Все стало в
Обожаю бэнчмарки Вышел Deepseek v4.1 flash и конечно же он во всем всех совокупляет. Прошлую версию, конкурентов. Все стало в разы лучше, почти по всем тестам все растет. Теперь смогу писать прон-фанфики про хакеров сладкоежек на 15% эффективнее.

Это должно стать достоянием культуры. Короткометражка "Токены мои горят".