Бессонный кодер

🎥 Длинный кадр: зачем он нужен и как работает в играх и кино? Длинный план, или непрерывный кадр — это когда камера движется без монтажных склеек. В кино такой приём создаёт ощущение, что ты не наблюдаешь, а живёшь внутри сцены. 🧠 Как он работает? Погружение. Без склеек мозг перестаёт замечать «монтаж» и начинает воспринимать происходящее как реальность. Напряжение. Нет перерывов. Сцена становится непрерывным потоком, в котором ты либо с героями, либо вне сцены. Контроль внимания. Автор сам ведёт камеру, сам показывает, на что ты должен смотреть — как в театре, но без кулис. 🎮 Самое интересное - этот приём работает не хуже даже в условиях игр! Пролог The Last of Us — один из сильнейших примеров. Не смотря на то что игрок управляет камерой, она всегда идёт за персонажем. А важные моменты выделяются так, что игрок несознательно поворачивает взгляд на них. Ты не просто понимаешь, что что-то случилось. Ты чувствуешь, как рушится мир. 🎬 Невероятно крутое исполнение этой техники есть в фильме "1917", оно делает этот приём основой всего повествования. Ощущение присутствия, тревожность, вовлечённость — всё завязано на том, что камера не мигает. 📌 Визуально — это сложно. Технически — это вызов. Но если сделать хорошо, длинный план превращается в эмоциональный мост между игроком и персонажем. #gamedevblog

Нет ничего стабильнее чем приколы с моим компом. Помните ту проблему? Последнее время я стал опять ловить её... Но в этот раз я чётко ловил её когда у меня училась нейронка и параллельно я пытался открыть видео на ютубе. И тут у меня сложилось 2+2, я открыл OCCT и запустил Power Test. И обнаружил то чего я и ожидал. У меня была просадка напряжения по 12V и 3.3V линиям. Блок Питания has been imposter. Купил сегодня новый, поставил в комп и запустил тест. Просадок нет, комп не отрубается и я могу хоть под Power Test открыть майн и видео на ютубе. Принимаются ставки через сколько времени у меня опять что-то случится.

Ты – начинающий специалист IT-направления и ждёшь идеального момента, чтобы начать карьеру? Спойлер: идеального момента не будет! А вот 5 апреля на «Найти IT» в Санкт-Петербурге будет 25+ топ-работодателей России, готовых взять тебя на стажировку без опыта https://vk.cc/cKeApf Что будет на форуме? 🔹 Вакансии в IT от Сбера, VK, Ozon, Альфа-Банка и других крутых компаний 🔹 Мастер-классы и Q&A сессии с HR-ами 🔹 Призы, мерч и крутые бонусы за друзей (например, вкусный хотдог или сертификат озон на 1000₽) 📍 Где? Санкт-Петербург, DAA EXPO 🗓  Когда? 5 апреля 12:00-17:00 (прийти можно в любое время, активности будут на протяжении всего мероприятия) 💻 Для кого подходит мероприятие? Студенты и недавние выпускники вузовских IT-направлений Участие полностью бесплатное, успей зарегистрироваться по ссылке – https://vk.cc/cKeApf?erid=2W5zFFxjou2

Что же... Раз уж у канала стоит метка "Авторский канал", то я опять воспользуюсь правом поговорить о... важном :D Как немногие могли заметить, последние 24 часа я пропал из сети, статус онлайна обновлялся дай бог раз в 4 часа, но на сообщения особо не отвечал. Бустеры всё знали, теперь время раскрыть тайну и другим. Всё просто, я на сутки гонял на поиск в соседней области, а как оказалось, со связью там вообще беды. Ну и я, после того как довольно долго не мог нормально посетить лесные поиски и помогал только на городских, с радостью искал в лесу, а болото которое я проходил в своих болотоходах, м-м-м... Короче да, выбрался из города и отдыхал от него. Ну и я не мог не поделиться с вами некоторыми фотографиями и видосиками с этого приключения. (больше в комментариях)

А вот и последний пост из серии про проверку стикеров.

1:11 Files in queue: 1808521 Buffer: 4768/5000 (95.3%) | Workers: 32 Я: Кеш ещё греется Я: 10 файлов в секунду пока в пике Я: 12 файлов в секунду пик Я: Немного поменял настройки буфферизатора, разогнались, уже 1к в буфферe Я: Download speed 28.32 files/sec Я: СКОРОСТЬ ЗАГРУЗКИ ФАЙЛОВ ВДВОЕ ВЫШЕ СКОРОСТИ РАБОТЫ ВСЕХ ВОРКЕРОВ Я: ОН ПЕРЕПОЛНИЛСЯ Модератор: АХХАХАХВХАХВХА

Мы достигли предела совершенства контроллера, он работал с файлами так быстро и эффективно, что успевал попутно отдохнуть и собрать буффер.

1:47 Files in queue: 1775747 Buffer: 4779/5000 (95.5%) | Workers: 32

5:03 Files in queue: 1597441 Buffer: 4850/5000 (97%) | Workers: 36

И наконец... 4 марта, 5:35:40 - мы разобрали 2 миллиона, всего 1 день, 9 часов и 33 минуты. Получается мы в среднем обрабатывали 16,5 файлов в секунду. (по факту в пиках куда быстрее). Ну а так как постик получился короче, то я подкрепил вам видео того как шла эта обработка от лица контроллера

Помните эту историю? Ждали продолжение? А вот и оно. Как я ускорил обработку файлов во много раз Я окончательно понял: настало время менять подход. Пора писать отдельный сервер, который будет работать с нашим текущим протоколом, но использовать все мощности. Чтобы понять, что изменилось, давайте рассмотрим старый алгоритм: 1️⃣ Воркер подключается к серверу по WebSocket и авторизуется под своим токеном. (Это защищает файлы от кражи и позволяет учитывать бонусы модераторов.) 2️⃣ После успешной авторизации воркер запрашивает задачу. Если задач нет, он ждёт 1 минуту и повторяет запрос. Если задача есть, сервер загружает файл из Telegram и отдаёт его воркеру. 3️⃣ Воркер обрабатывает файл, классифицирует его по таблице NSFW и отправляет результат на сервер. Контроллер проверяет данные и начисляет бонусы. Где была проблема? Задачи скачивались в момент запроса воркера. А воркеров много! Для каждого приходилось делать запрос к базе и загружать файл с Telegram. Итог: CPU и Load Average в сотку, а обработка одного файла занимала 30-40 секунд. Как я решил проблему? 🔥 Батчинг работы с БД – вместо тысячи мелких запросов теперь запрашиваю большой пул задач, которые потом раздаются воркерам. 🔥 Предварительная загрузка – заранее подкачиваю файлы в балансирующий буфер, чтобы воркеры не ждали. 🔥 Отдельный сервер – вынес контроллер загрузки на отдельную машину, разгрузив БД и основной сервер. 🔥 Параллельная загрузка – Telegram иногда «тупит» и держит запрос по 5-20 секунд, поэтому теперь одновременно отправляется 25 запросов. Результаты оптимизации:

23:03 Files in queue: 1 922 795 Buffer: 500/1000 (50.0%) | Workers: 10 Я: Написал реле, щас постестим Я: Попробуй поменять адрес сервера у воркеров на [REDACTED] Я: Не сказать что буффер там успевает накачиваться, но хоть пытается Я: Уже 500(прим. автора - имеется в виду количество файлов) в кеше

23:18 Files in queue: 1 907 795 Buffer: 401/1000 (40.1%) | Workers: 27 Модератор: 1к за 2 минут (прим. автора - модератор имеет в виду что его воркеры обработали 1к файлов за 2 минуты) Я: ***** Я: БУФФЕР СТАЛ РАСТИ

Тут координатор нашёл баланс и начал накапливать файлы для отдачи воркерам, позволяя выдавать им задачи за минимальный срок.

23:22 Files in queue: 1903795 Buffer: 908/1000 (90.8%) | Workers: 27 Я: Щас как понимаю основная статья ожидания, сетевые расходы? Модератор: Уже нет, ты отдаёшь и принимаешь стикеры в среднем за 0.3 секунд Модератор: Поздравляю Илья, ты смог оптимизировать это настолько что теперь мой процессор забит на 100 процентов) Я: ***** ТЫ ТАМ РАЗОГНАЛСЯ Модератор: СКОЛЬКО Модератор: Я подрубил вторую видюху, пришлось немного переписать твой код, сейчас смотрю насколько поможет Я: Я увидел 38 воркеров онлайн Щас 31

Тут мы перешли в наблюдение, будет ли оно дальше жить и на что нам надеятся.

23:43 Files in queue: 1887243

00:18 Files in queue: 1854381

Верно очередь шла вниз, но мне хотелось быстрее, поэтому я начал эксперименты.

00:30 Files in queue: 1 843 115 Я: @(тег модератора) ты механизм переподключения не убирал? Модератор: Нет, А что Я: ага, хочу чуть обновить реле инфографикой Я: в момент рестартнется скоро Модератор: Окей

Но обновил я его не только инфографикой, но и другим балансом настроек скачивания, что по моей теории должно было ускорить работу...

POV: Работа дома или в офисе, но удобно и комфортно Модернизируйте своё рабочее пространство при помощи столов с регулировкой высоты Ergostol, внедрив в него концепт работы сидя и стоя - ваше тело скажет вам спасибо! Преимущества регулируемых столов: ✳️ Легко регулируются по высоте — работайте сидя или стоя ✳️ Помогают поддерживать правильную осанку и снижают нагрузку на позвоночник ✳️ Подойдут как для дома, так и для офиса ✳️ Универсальный внешний вид, который впишется в любой интерьер В Ergostol вы найдёте: ✔️ Надежные механизмы, которые прослужат долгие годы ✔️ Выбор моделей, цветов и вариантов исполнения ✔️ Быструю доставку, сборку и индивидуальный подход ✔️ Гарантию на все столы и рамы 3 года И самое приятное, для подписчиков канала действует специальный бонус: -10% на регулируемые столы, подстолья и аксессуары для эргономики рабочего пространства по промокоду ERGO10 до 31 марта 🙌 Ваше идеальное рабочее место на расстоянии пары кликов! Наш ТГ: Ergostol #реклама О рекламодателе

Кто там говорил, что все айтишники — неспортивные и с кучей болячек? Ладно, частично они правы: профессиональных заболеваний хватает, а размер моей медицинской карты внушает уважение. 😅 Но вот с отсутствием спорта я категорически не согласен! Уже несколько лет активно занимаюсь городским велоспортом: общаюсь с ЦОДД, запрашиваю обновление инфраструктуры и, конечно, катаюсь! Даже не знаю, сколько тысяч километров намотал за прошлые годы. И вот, 15 марта в Москве стартует вело-самокатный сезон, и я просто не мог не отметить это поездкой на 70 километров! (3 часа катался на велосипеде и… не сделал ни одной фотки самого велосипеда. Классика! 😆)

500 готово, ещё 3000 на подходе! Решили мы немного доработать алгоритм предварительного обнаружения опасных стикеров. На какой основе? Довольно часто встречаются целые сборники NSFW-материалов, которые именуются в формате (?<name>.+)_?\d{1,3}. Если мы обнаружили один стикер из такой «коллекции», почему бы не найти сразу все остальные? Это позволит системе заранее обработать их и при отправке выдавать ответ за считаные миллисекунды. Алгоритм написан, запущен, и... Стражник за день изучил более 3000 стикер-паков по лолофд, а я молчу ещё за другие фд. Причём большинство из них имели названия Lololowka\d{1,3} и Lololoshka\d{1,3}. Искали запрещённые материалы, а нашли тысячи паков по ФД. И вроде бы хорошо, но как владельцу канала @LoloSticker… больно. Мораль басни Алгоритм может быть мощным, но всегда нужно учитывать легитимную полезную нагрузку. И её может быть очень много. 😆

Закрой пробелы в знаниях и двигайся вперёд ⁉️ Ты видишь перспективные вакансии, но чувствуешь, что чего-то не хватает? ⁉️ Знания есть, но для следующего шага этого недостаточно? Не откладывай развитие — действуй уже сейчас: ✔️ Определи направление: инженер, разработчик или DevOps ✔️ Собери комплект курсов, чтобы закрыть пробелы в знаниях ✔️ Получи доступ со скидкой 40% и прокачай свои навыки Слёрм поможет найти недостающий фрагмент. Сделай шаг к новым возможностям! 🔗 Переходи по ссылке и начинай менять свою карьеру.

Давайте немного поговорим об ИИ-технологиях и их использовании. Уже сейчас мы часто видим их как хорошее… так и не очень хорошее применение в самых разных индустриях. Аватарка этого канала сделана Кандинским, Беловежская пуща… да банальный ChatGPT! Поэтому я решил рассказать вам, как я использую ИИ-технологии в своей рутине. 1) Моя третья рука Я уже давно использую в IDE «вторых пилотов». Раньше пользовался GitHub Copilot, но в итоге ушёл к Codeium. Он помогает мне с монотонными задачами и шаблонами. Например, если нужно написать метод async function sleep(ms) {, он за миллисекунды допишет его реализацию. Как говорится, если задача занимает больше двух секунд и её можно автоматизировать — автоматизируй! 😆 Но чаще всего я использую помощника для генерации JSDoc/Javadoc-комментариев — быстро и красиво. 2) Виртуальный фронт Это мелкие задачи, но что насчёт сложных? И с такими мне уже активно помогает ИИ. Я уже давно говорю что дизайнер из меня так себе, поэтому я занимаюсь беком. А если нужно сделать фронт — подключаю виртуального фронта. В процессе того как я поясняю ему задачу, у меня остаётся кучки разных макетов, добавил вам парочку :D 3) Дядя ChatGPT ChatGPT невероятно плотно засел в мой быт. Чего мы только не делали: Чинили отображение эскизов после удаления K-Lite Pack Правили читаемость моих постов Думали, какой индекс ускорит обновление в БД Разбирались, как отличать っ от つ и ー от 一 Выбирали, какую книгу купить Генерировали десяток кринжовых ответов для Витали Короче, друг и напарник! А как вы используете ИИ в своей жизни и работе?

Каждый год говорят, что Python устарел. Но на деле: 🔹 Google, YouTube, Netflix используют Python в своих сервисах 🔹 Разработчики в Data Science и AI активно применяют Python 🔹 Кибербезопасность – многие инструменты для пентеста создаются именно на Python Если вы интересуетесь разработкой или хотите освоить новый язык программирования, обратите внимание на бесплатный мини-курс по Python от Skillbox. Он поможет разобраться в базовых навыках и научит применять их на практике. Подробности и регистрация:https://epic.st/WZ1_3r?erid=2Vtzqvs2wSW Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

Несколько источников Чтобы докопаться до истины, надо читать разные источники информации. В обучении также: читаешь крутые каналы, чтобы получать актуальную и полезную инфу. В копилку проверенных добавьте DevFM — канал от разработчиков и для разработчиков. Ребята пишут о том, с чем сами сталкиваются каждый день при разработке, проектировании систем и управлении командами. Читайте: → Зачем вообще нужен Docker. Бонусом поделились полезными гайдам по Docker, Compose, Kubernetes. И как контейнеры защитить → Как я использую папки в Телеграм для минимизации прерываний → Как ускорить принятие решений в команде → Как проводить багскрам → Что интересного в отчёте Developer Ecosystem Report 2024 от JetBrains Ещё у них есть подкаст про роли в ИТ-проекте Подписывайтесь на канал DevFM и повышайте свою цену на рынке.

А этой ночью как поспали? А мы за эту ночь провели большую операцию по переезду! Но обо всём по порядку. У ST давно есть сервер, на котором работают наши внутренние системы (которые мы упоминали здесь), бот, о котором немногие знают, сайт со сборками и многое другое. Но настало время становиться больше, круче, быстрее! Мы купили новый сервер и запланировали на сегодня невероятную операцию — полный переезд за одну ночь. Как это было: 1) Сначала мы подготовили списки того, что где лежит, что нужно переносить (а заодно и обновлять). Когда списки были готовы, оставалось лишь дождаться подходящего момента — когда Рома, сценаристы, кодеры и вообще вся команда будут отдыхать и не так сильно заметят процесс переезда. 2) Время настало, переезд начался и... встал. SSH-соединения разрывались через пару минут после установки, появлялись странные ошибки. Начали разбираться, и оказалось, что проблема была в загруженности моей сети из-за глобального процесса, о котором я рассказывал чуть выше. Мы упёрлись в блокирующую задачу, пришлось ждать, пока завершится обработка. Благо она уже была на финальной стадии и через пару часов успешно закончилась. 3) Сжатие, копирование, разжатие — самая скучная и долгая часть процесса. СИЛЬНО сжатые архивы с данными переносились (как я потом узнал, суммарный вес сжатых архивов был 50 ГБ, со степенью сжатия от 50% до 84%). Конечно, я таскал по сети и большие объёмы, но здесь мы были дополнительно ограничены важностью максимальной сохранности. 4) Ну и напоследок — установка некоторых зависимостей и развёртывание. Устанавливаешь Docker и смотришь ещё 20 минут, как пулятся контейнеры :D Вот так: кто-то сладко спал этой ночью, а кто-то таскал по сети стратегические планы ST по захвату... Не тот сценарий.

Как поспали? Надеюсь, хорошо! А вот наша команда и серверы с компами ХРЕНАЧИЛИ всю ночь! А ещё я наконец начал окунаться в невероятно интересный мир highload-распределённых вычислений, но обо всём по порядку. Вы уже не раз слышали о нашей системе контентной модерации медиа в Стражнике, и в этот раз мы опять о ней. 😏

20:02 Files in queue: 7
Я: @(тег модератора), допилил механизм ротации файлов, отправил на первичный проход, щас будет мясо. 

Вечером 02.03 я написал небольшое обновление, которое позволяло делать ротацию файлов в очереди на ручную модерацию. Не поняли? Сейчас поясню. Хотя большинство файлов (а в некоторых категориях — меньшинство) проверяются нейросетью, рано или поздно они проходят ручную модерацию: кто-то из нашей команды смотрит на результат работы модели и либо подтверждает её вердикт, либо нет. Если нейросеть ошиблась, на основе таких случаев мы дообучаем её, снижая процент ошибок. Суть обновления была в том, чтобы отправлять на повторную проверку файлы, которые были проверены только моделью, причём сильно старыми её версиями. Это позволяло находить ошибки, которые раньше были незаметны.

20:29 Files in queue: 0
Я: Их там чёт так много, что он встал, обновляя...  

20:33 Files in queue: 0
Я: Оно встало на seq scan, начал строить индексы.  
Модератор: У тебя всё встало, я не могу отдать работу.  
Я: Ага, индекс строится.  
Модератор: А там настолько много?  
Я: Похоже, на 10 минут.  

НО! Кое-что пошло не так. Система зависла и перестала отвечать. Тогда мы ещё не знали почему. Вместо того чтобы отправить на перепроверку 10–20 тысяч файлов, из-за опечатки в коде отправились... 2 МИЛЛИОНА ФАЙЛОВ. Откатить было уже поздно.

20:37 Files in queue: 1 926 629
Имперский Стражник: 1926629 files moved (уведомление о завершении ротации)  
Модератор: Куда...? Сколько...? СКОЛЬКО?!

В этот момент мой коллега уже понял, что произошло. А я ещё нет — копался в терминале, пытаясь разобраться, почему операция на 10 тысячах файлов вызвала такое зависание.

20:53 Files in queue: 1 925 896
Я: ***** Я CLEAR-ы ***** на второй круг
Модератор: АХАХХАХАХВХАХАХАХАХАХАХАХАХА
Модератор: Кстати, ты мне стикеры по полминуты отдаёшь.  
Я: Ну да, там вместе с этим ещё внутренние проверки + БД чистит мусор, там щас дон ******

Я был очень удивлён ошибкой и начал мониторить работу Стражника, нагрузку на сервер, CPU. Включил свою видеокарту в процесс и запустил на ней дополнительные воркеры. Но была маленькая проблема: наш основной сервер, отвечающий за API, базу данных и координацию распределённых вычислений... был при смерти.

21:10 Files in queue: 1 924 994

21:22 Files in queue: 1 923 877

21:30 Files in queue: 1 922 260

22:08 Files in queue: 1 918 838

Работа шла, но скорости хватало только для обычной загруженности, а у нас в очереди 2 миллиона файлов. И не забываем, что пользователи продолжают подкидывать новые. Тут я осознал: надо что-то делать.

22:38 Files in queue: 1 915 550
Модератор: Когда там закончится твой затуп сервера?  
Я: Уже отошёл, но мы упёрлись в скорость отдачи файлов сервером.  
Модератор: Ты же в курсе, что с такой скоростью (1 стикер в секунду) мы это будем делать 23 дня?
Я: Думаю, стартануть реле загрузки, которое частично разгрузит и ускорит процесс.  
Я: Только его надо написать. D:

Тут я упёрся в лимит размера сообщения в телеге, а если вам было интересно что было дальше, ставьте реакции и пишите комментарии ;3