Иван Черняков. Всё ещё инженер.
前往频道在 Telegram
Строю продукты с AI и разбираюсь, где без программиста всё ещё никуда. Агентская разработка, эксперименты и решения из моих проектов. Ютуб 60К - https://www.youtube.com/@icherniakov Бусти - https://boosty.to/icher Реклама - @vlad_0045
显示更多2 733
订阅者
+324 小时
+227 天
+26530 天
帖子存档
Секретные ингредиенты для плавного воспроизведения видео 🎬
28 ноября на конференции VK JT Видео инженеры VK расскажут, как помогают видеоплееру подстраиваться под скорость интернета и выбирать оптимальное качество видео. Алексей Шпагин представит подход с использованием Oracle ABR, который позволяет оценивать эффективность алгоритмов адаптивного выбора качества.
Павел Муханов поделится опытом исследования сетевых условий, сбора данных с помощью собственного мобильного приложения и формирования датасета для дальнейшего обучения нейросетевых ABR-моделей.
Также в программе — кейсы Иви и КИОН по оптимизации видеотрафика, доклад Yandex Infrastructure о развитии видеокодеков и исследование видеохостингов, онлайн-кинотеатров и видеоконференций от приглашённого эксперта Дмитрия Ватолина, ведущего научного сотрудника Института ИИ МГУ.
Участников ждёт 2 потока докладов, живая запись подкаста с экспертами индустрии и нетворкинг.
Конференция пройдёт офлайн, записи выступлений появятся после мероприятия.
Регистрация
20 11月, 07:02
Мама мыла раму раму раму раму…
Это не опечатка. Так выглядит работа "компромиссной" модели, когда она зацикливается: одно слово по кругу до самого конца контекста. Если модель куплена на агрегаторе - за этот цикл ты еще и платишь.
Компромиссной моделью я называю ту, которую ты используешь пытаясь выполнить задачи, которые в легкую решаются на бОльшей модели. Компромисс тут в удобстве, сохранности чувствительных данных или цене. А еще если тебе Клод заблочили, то компромиссной модель может быть GLM))
У маленьких или сильно квантованных моделей две болезни. Первая: зацикливание. Вторая, обратная: модель бросает ответ на полуслове и просто молчит. Просто обрезок текста, который легко принять за полный ответ.
Cтолкнулся с этим, когда спускался на меньшие модели по количеству параметров в BankCheckup. Модель пыталась распознать владельца банковской выписки и некоторые данные по паспорту и отдавала одно и то же слово по кругу. Причем то есть проблема, то ее нет.
Как я это вылечил в лоб? Одной строчкой в промпте. Попросил в конце ответа добавлять [DONE]. И дальше детерминированный скрипт проверяет: если есть маркер - все ок, нет - АЛЯРМ_АЛЯРМ: записывает этот случай для аналитики и перезапускает еще раз. Обычно на второй все ок, но в любом случае нужно ставить максимальное число ретраев.
То есть сдаваться и говорить: "ну, эта модель слишком маленькая и мне не подходит (хнык!)" - не нужно!
Совет простой: поставь маркер окончания сразу, до первого бага, если работаешь с мелкими моделями. "У меня на моих задачах всё хорошо" - не аргумент. Лучше быть готовым к смене мелких моделей как к смене батареек, на работу прибора не влияет.
<- Предыдущий пост саги по BankCheckup
19 11月, 04:14
ЗЕМЛЯ ПЛОСКАЯ!!!
Я живу в историческом центре Петербурга и 15 лет мучаюсь со скоростью и качеством интернета. Это проблема не только конкретно взятого дома, я жил в 5-ти квартирах в этом районе. Да, прикипел)
Провайдеры всегда говорили, что не планируют улучшать оборудование, мол старый фонд, плотность населения низкая, нет жалоб и нет выгоды.
Давеча мне звонит Дом.ру(работает на мощностях Ростелекома тут) и сообщает, что произошло обновление оборудования в моем доме. Без заявок, без звонков, просто сами. И теперь мне доступны не псевдо 100 мбит (никогда не было стабильных), а целых 800!!! Я поначалу обрадовался и жду техника на днях на прокидку нового кабеля в квартиру.
Но подивитесь, до чего довели мое сознание блокировки:
1) Даня Ленц пишет, что выделяют 2 млрд+ на блокировки
2) серваки зарубежом отлетают за несколько дней, а иногда и не достучаться сразу после покупки
3) мне меняют оборудование, хотя никому это было не нужно 15 лет
А точно ли новое оборудование - это забота о пользователе и возможность нажить с меня на 450 рублей больше обычного?)
Такие вот теории заговора лезут в голову.
Тащ майор, я ж даже не для потребления экстремистского контента стараюсь, ни в коем случае, шел бы он в пекло! Мне для работы нннннада.
18 11月, 03:15
Поболтал на Мы обречены. Выложили.
Сделал там для парней сюрприз. Обсудили обреченность. Научную фантастику. Пороки. Человеческие навыки вне агентов и тд.
Сверимся с чек-листом:
[x] Побывать в Иваново
[x] Пить до глубокой ночи/утра с Филом
[x] Хамам и бассейн в отеле перед съемкой
[x] Побывать в драматическом театре города Иваново
[x] Попробовать знаменитые Ивановские щщи
[x] Хорошо провести время, улыбаться
[x] Так и не узнать склоняется ли Иваново в Иванове на самом деле
Смотреть тут
17 11月, 09:02
Максимальный репост! Отстоим право пользоваться Клодом, товарищи!!
14 11月, 06:44
Клиентские сервисы восстановил.
Решение на изоленте и как из того мема про доминошку внизу.
Все запросы с серверов в РФ идут на мой домашний комп, на котором еще не упал туннель и через него дальше))
Заплатка пока держит. Занимаюсь решением на постоянку.
Чувствуете себе немного Эскобарами?
13 11月, 06:19
*#?!ть !!!
Вчера сначала начал барахлить ВПН. Потом просто отказался переподключаться. Потом посыпались алерты, что хелсчеки на моих сервисах не работают, потом отвалился функционал.
И знаете в чем дело? С моих серверов в РФ перестал доходить сигнал до серверов в Европе. То есть он выходит успешно, но теряется. Видимо, на уровне ТСПУ. Причем и TCP, и UDP мимо. Тунель амнезия не устанавливается.
НО прикол!
Те тунели, что уже подняты около месяца продолжают работать, просто новые не подключаются.
Я подумал, мб дело в моем провайдере европейского сервера? Зарегал другой для теста - та же картина.
Сейчас ssh без впн не проходит на сервера в Нидерландах.
У вас там как с этим? Советуйте кто что и как работает.
13 11月, 03:50
Я автор функции и не смог объяснить, как она работает
Встречался с партнёром по BankCheckup. Да, прям не созвон-колл-мит-вкс-фу, а в физическом мире, вау. Обсуждали маркеры подозрительных операций при анализе банковской выписки. Партнёр спрашивает: «А почему система занесла вот это в подозрительные?»
Я было открыл рот говорить, а вот ЧТО говорить - не завезли. Функции около двух месяцев, написал её код, разумеется, не я, а агент. Странно, помню, как её тестировал. Помню промпты даже. А как она устроена и почему выдаёт именно такой результат, не знаю. Пришлось спрашивать у Клода.
Когда код писали руками, мы знали каждый винтик. Это как со стихотворением: прочитаешь раз-другой - помнишь кусками, читаешь месяц подряд - знаешь целиком. С агентом месяц подряд читать код одной фичи - ну не смешно.
Переживаю ли? Нет. Это эволюция, просто констатирую факт. Функция сделана в 20 раз быстрее и вообще СДЕЛАНА, а не гниет в списке на развитие. Такую сделку считаю прекрасной. Тем более баланс скорости/погружения вы контролируете сами.
Моя гипотеза, как жить без знания, как оно все в кишках под капотом (с): нормальная документация проекта. Человеческим языком, как можно короче, потому что все устали от длинных спецификаций, которые выдают агенты. Сверху две-три строки, а дальше можно проваливаться вглубь за подробностями. И хороший умный поиск поверх. Писать её должен агент, ведь у меня нет времени делать это руками. Начал делать такую для проекта.
Еще раз: человеческим языком, а не помойка-конфлюенс, где на каждой странице через слово ссылка на глосарий или пункт 4.3.3.a.б в такой -то статье.
Можно разрабатывать медленнее и глубже погружаться. Возможно. Но кому это надо?
<- Предыдущий пост саги о BankCheckup
12 11月, 04:38
Совершенно новое и никогда никем не воспроизведенное шоу. Не какое - нить заимствование. Свежая идея абсолютно. Tremendous! Никто и никогда подобного телеграмм канала не делал. Никогда. Никто. Никакого плагиата.
Валяем дурака и говорим серьезно в лайфе тут
Тизер:
11 11月, 07:58
$50 против $10 за миллион токенов и качество одно и то же! Так зачем же платить больше? ДОСЯ!
Нюанс: поменять модель одной строчкой в конфиге не выйдет. Поясню на своей задаче с анализом сканов банковских выписок. Агент составляет паспорт выписки: структурированное описание того, что вообще находится в скане. Сначала его делала Astra - фронтир-модель OpenAI, 10 баксов за входные и 50 за выходные токены за миллион.
Когда задача новая, я всегда начинаю с самой сильной модели. Из пушки по воробьям: проверить, что задача вообще решаемая, а не нырять сразу в удешевление.
Убедился. Пошёл спускать цену. SOL 6.1 - тоже модель OpenAI, $2 и $10 за миллион, кэшированные входные - $0.1 против $1 у Astra. Качество паспортов такое же, местами лучше. Скорость ниииииииже - 53 против 82 токенов в секунду. Для паспортов хватает. НО! Это такие синтетические тесты - токены и секунды. На самом деле в агентском режиме Сол еще и выбирает другой путь.Так что одни и те же паспорта могут готовиться в 3 раза дольше на нем.
Если время ждать есть, почему просто не перейти на Сол заменой названия модели в конфиге? Модель, когда становится "меньше", становится менее самостоятельной. Та же схема тулингов, тот же агентский режим, но результаты вызовов она интерпретирует иначе: где-то теряет часть транзакций, где-то колонку неправильно определяет. Лечится это не моделью, а обвязкой: меняешь последовательность вызовов, делаешь так, что один тулинг работает на результате другого как на опорной точке. Просто перебирать модели не выйдет - так не работает. Там идёт череда экспериментов и тестов. Именно поэтому не нужно сразу пытаться экономить, мб оно вам вообще в итоге не нужно будет!
Сейчас иду ниже по цене и хочется отвязаться т американских партнеров. Экспериментирую с Qwen 125B. Обвязку пока не дожал, но постепенно спускаюсь по параметрам вниз - хочу понять, где у меня реально пол. Веры в текущие 27B модели нет, но они же умнеют, а я несусь им на встречу) А локальная модель ещё и снимает головную боль с анонимизацией данных.
Итак, две мысли:
1) сначала передовой моделью прощупываем
2) потом не списываем дешёвую модель после первого прогона. Если теряет данные и тупит - повод заглянуть в обвязку и детерминированную часть.
<- Предыдущий пост саги о BankCheckup
10 11月, 01:58
ШОК!! ИИ-АГЕНТ ВОРВАЛСЯ КО МНЕ ДОМОЙ И ТЕПЕРЬ ЗНАЕТ, ГДЕ Я МОЮСЬ!
Мне нужно сделать некоторый ремонт в ванной комнате. Объяснять, что делать хочется наглядно и без лишнего выезда человека - сразу понять что к чему, прицениться и уже думать над вариантом реализации. А также свизуализировать эти варианты.
Чет думал-думал и вспомнил слово такое диковинное - фотограмметрия. Я ей занимался, когда учился клинапу в видеопроизводстве.
Клинап - это удаление лишних объектов из кадра. Тросы страхующие на актере. Или нужно сделать, что костюм ходит сам собой - нужно голову и кисти актера из кадра затереть, чтобы осталась только одежда.
А фотограмметрия - это когда ты отфоткал предмет со всех сторон и в специальных прогах собираешь 3д модель, и текстура на ней настоящая получается автоматом натянута. Там суть в том, что на фотках ищутся общие точки и постепенно вырисовыввается положение фоток в пространстве общем. Потом дело техники и вуаля.
Безотлагательно бегу отфоткивать ванную комнату по правилам, которые помню из ручного труда. Потом сую все это в агента и пишу почти тоже самое, что вам. Только по дороге накручиваю фич и делаю всякое, чтобы размеры сошлись в модели с реальными.
Вуаля, результат на видео. Приятно удивлять людей из другой сферы! Через пару лет такое будет просто базой скорее всего. Давайте опережать врем по приколу вместе.
Нейронка может просчитать и предложить варианты по вашим хотелкам. Вот так кухню собрались покупать или диван - бахните себе в квартиру это, присмотритесь.
P.S. Сегодня снимал новый ролик и бахнул скан студии Лидаром. Хочу поэкспериментировать с кадром и схемой света "на бумаге". Расскажу о приключениях позже. Там уже все гораздо сложнее.
09 11月, 01:33
Сегодня Клод решил добавить немного ле франсе в наше общение.
Это интересная шиза, лучше чем иероглифы!
(на скрине название чата, которое он сам себе дал)
05 11月, 04:05
+1
Снова вышла локальная модель, которая всех уделала.
Мне об этом написали в личку. В личку мне пишут часто, и всегда что-то дельное: посоветуют технологию, зададут вопрос, который заставит задуматься, а иногда просто - «ролик кайф, спасибо!». Не знаю, почему последнее пишут в личку, а не в общий чат, но приятно. Не стесняйтесь, в общем)
Когда советуют технологии - супер: я тестирую и возвращаюсь с постом. Этот - как раз такой.
Несколько человек подсветили выход моделей Unlimited OCR 2 и похожей от Xiaomi. Производители заявляют, что все бенчи пали, а они альфа доминанты. Я их проверил. Не подошли: на моём корпусе выписок - около 30% верных распознаваний, где моя моделька выдаёт 86%.
Кстати, кто недавно подключился: гоняю всё это не ради спорта, а делаю анализ банковских выписок для сервиса BankCheckup.
Тут две причины:
1) Китайцы в основном затачивают модели на свой язык и английский. Даже если стоит шильдик multilingual - это ничего не значит.
2) Я вопрос с OCR решил дообучением модельки, которая и так была хороша в русском. С конкретно распознаванием - проблем нет.
Сложности остаются только в контроле геометрии таблиц выписок - а это 143487203948723 вариаций их форм. Упомянутые модели тоже заявляют поддержку, но на корпусе геометрия едет. Не ваншотнуто.
Это не последняя серия: китайский сериал «Китайцы всех уделали» продлён на следующий сезон.
<- Предыдущий пост саги о BankCheckup
04 11月, 06:05
Посыпался SSD, что в итоге?
Линукс начал фризиться намертво, в логах ошибки чтения секторов. Бэд-блоки.
Но как же быть без нейросетей? Особенно в вопросе, в котором не разбираюсь: восстановление данных, как аккуратно убедиться в диагнозе не стерев все. Да и передо мной загрузочник линукса или биос. Да, он уже и не биос вовсе, а UEFI или что-то там, но камон. Решение простое:
АКТИВИРОВАТЬ РЕЖИМ MEATBAG PROXY
Сел с телефоном. Включил приложение Deepseek и давай ему фоткать монитор, что происходит, какие конфиги запуска есть, что выводится в терминал в boot, бла-бла. Нормально меня провел по всем жиагностическим шагам, перезагрузкам, загрузкам в винду и запуску оттуда тулов. Хорошо, что с телефоном не остаёшься совсем без рук: даже, когда в туалет разучимся ходить без агента - все получится!!!
Если серьезнее, то со стороны это выглядело так, будто рядом стоит опытный человек и говорит: «Так не делай, а вот так делай». А я делаю и получается. Ещё один случай из жизни, когда с нейронками можно сделать то, в чем особо не шаришь. Вайбкодеры крадут работу у нас - программистов, а теперь мы можем украсть работу у сервисов и админов))
Поехал в магазин и купил новый диск (смешно, что это вовсе и не диск). И уже по приезде домой обнаружилось, что у меня два слота под m2 - счастье-то какое. Вставляю новый SSD, поднял минимальную Убунту и запустил Claude. Сказал ему: на старом диске битые секторы (не попадись!), но там есть всё, что нам нужно. Воскреси. Бери и постепенно переноси, раскладывай, чтобы на новом диске работало вот прям точь-в-точь.
Он взял и сделал. Всё переехало, всё работает. По сути, склонировал компьютер. Идём дальше.
А глючный диск, похоже, ещё послужит: сходит с ума только в отдельных секторах, а так рабочий. Данные с него вытянулись без проблем - ломается только при загрузке с него. Пусть будет временной файлопомойкой для экспериментов.
Так как задача была не "сделать лучше", а "вернуть как было", то я вообще не глядя и не сомневаясь отдал агенту целиком и полностью. Чего и вам советую.
02 11月, 09:20
Помню как-то пришло письмо от поддержки хостинга, что на моем VPS на SSD используется своп, а это запрещено! Мол срочно уберите такую нагрузку на наш диск!
Своп, это попытка расширить объем оперативной памяти за счет жесткого диска. Нагрузка на диск возрастает из-за большего количества циклов перезаписи.
Я подумал, что взял квартиру в аренду, а мне приходит арендодатель и говорит вот так краном не пользоваться.
Надо - так надо. Убрал своп.
И тут у меня отказал мой SSD в домашней линукс станции, где все эксперименты и в целом разработка крутится. Парам пам пам!
А я там своп использовал, вот и вспомнил то письмо от поддержки)
Сейчас работаю над тем, чтобы достать данные.
А помните, я не хотел покупать новый диск?)
31 10月, 03:37
Импульс Т1: возвращаемся с главным ИТ-событием осени ⚡️
19 ноября в Москве состоится одна из самых значимых ИТ-конференций года — Импульс Т1. Это масштабная площадка для обмена практическим опытом и формирования актуальных инженерных навыков.
Мероприятие объединит более 2000 участников ИТ-отрасли: программистов, архитекторов, инженеров, лидеров технологического рынка — всех, кто создает цифровое будущее.
Вас ждет:
🔹5 направлений деловой программы; 🔹130+ спикеров со всей страны; 🔹70+ активностей от практиков индустрии.Главная особенность года — «практические тренажеры», когда каждый участник формирует свой маршрут и сразу отрабатывает теорию на практике: 🔘Код-ретрит — развитие навыков парного программирования, разработка через тестирование и фокус на качестве кода в реальных условиях; 🔘Ресурсные игры — командная работа с ограничениями ресурсов и времени, практика решений конфликтов и ретроспективы; 🔘Зона арх-каты — стресс-тест архитектуры на прочность, поиск слабых мест и интерактивная карта решений; 🔘Стенд доступности — практическое погружение в цифровую доступность и опыт взаимодействия людей с ОВЗ с ИТ-сервисами. Зачем участвовать?
✔️ Получить реальные инструменты для ежедневной работы. ✔️ Показать экспертизу на деле и обменяться опытом с ведущими инженерами. ✔️ Быть в курсе ключевых трендов и опережать индустрию. ✔️ Стать частью сообщества технологических лидеров отрасли.📆 Дата: 19 ноября 2026 года. 📍 Где встречаемся: г. Москва, ул. Волочаевская, д. 48, стр. 1, Дворец культуры завода «Серп и молот» (LOFT#8). Получите доступ к опыту лидеров отрасли и новым ИТ-решениям, регистрируйтесь по ссылке. О рекламодателе
29 10月, 12:05
