MLE шатает Produnction

Любой зум созвон для разраба это же просто фоновый подкаст

Проф деформация 👨‍🦳 Не знаю, как у вас, но у меня случилась какая-то профессиональная деформация. Если я начинаю новое дело в жизни (проект), то начинается проработка требований, уточнее деталей, формирования вижена и т.д. 🤯 Ходить далеко не надо. Мой организм требует более здорового тела, потому был сформирован проект "занятия в спортзале". Опытным путем в рамках MVP было показано, что без человека, который шарит в этой теме, проект можно заруинить на первых этапах разработки 😿. Тут начались этапы собеседования и после нескольких кандидатов я нанял себя тренера. Хотя судя по тренировкам, кто там еще кого нанял, надо подумать 😀. Спустя 7 лет проживания в Питере я наконец-то решил поехать на рыбалку. Я вырос в далеком регионе, где всё моё лето вертелось вокруг нескольких занятий: походы, рыбалка и футбол. Тут я опять сформировал проект "Поездка на рыбалку". Сроки были сжатые, а по теме имелись только старые детские воспоминания 🥴. Тем не менее составили и утвердили бюджет, выбрали целевое местоположение и объект ловли. Но как и обычно, сроки погорели, бюджет вышел из пределов, но результат себя оправдал. Целая одна маленькая рыбка была поймана примерно за 10 часов рыбалки! И то ли я какой-то не такой, либо вот оно началось... 🫣 P.S. Рыбку загружу в комментарии.

Мемасики из телеграма В общем-то сегодня буквально за час скачал около 100к мемов из телеграм каналов ☕️. Ничего не отвалилось, всё отработало в штатном порядке (хотя я залогинился под левой учеткой на случай бана ☺️). Делюсь с вами поделием, которое придумали мы с ChatGPT. Я практически ничего не менял, весь этот код по моим хотелкам написал сервис. Теперь надо раскочегарить свою gpu-печку и собрать необходимую метаинформацию о картинках. В целом, хочу сразу попробовать написать в стиле сервиса, в который можно присылать запросы и мемчик будет препроцесситься и добавляться в базу 🤨. Попробую на днях нарисоваться диаграмку того, как будет устроен сервис. А потом поревьювим её вместе, так сказать, некий ML System Design 🤔.

Токены Решил я немного развлечься значит и сделать маленький pet-проект: поисковичок по мемам 🤨. Пока только картинки, но думаю, что при должном усилии можно будет и видео мемасики прикрутить. Так вот одной из задач является раздобыть мемасиков для моей базы данных, а так уж повелось, что я смотрю мемасики в телеграме 🤔. А потому я захотел просто сгрузить пару сотен тысяч мемасов из каналов телеграма. Недолго думая, пошел в ChatGPT, спросил чего и как, да и код дивный мне выдало сие чудо 😍. Кстати, рабочий —задачу свою выполняет. Есть одно НО: мне нужно сделать кредиты для своего телеграм-приложения и почему-то это оказалось сложной задачей. Как я не пытался заполнить форму, так я свои кредиты и не получил 👨‍🦳. Подумал я что все, вот и пет-проекту конец, а кто писал его — тот молодец. Но не тут-то было. Зашел я на github, ввёл поисковый запрос и нашел буквально на первых страницах рабочие кредиты 🤯. И это дико, но круто (для меня)! Я пока до сих пор не понимаю, почему люди оставляют рабочие кредиты в своих репозиториях. Ну это же жесть. И не то, чтобы это разовая какая-то история. Практически всегда, если речь идет о популярном сервисе, который выдаёт токены разработчикам, находятся те, которые запушат их в публичный доступ. Ну и получается если кому-то очень надо (а мне вот очень надо было), то обязательно их найдут и воспользуются 😂. Надеюсь, когда-нибудь вендоры таких ресурсов, как github, сделают какую-нибудь защиту от такого рода ошибок. Тем временем у меня к вам просьба: покидайте мне в комментарии ссылки на открытые каналы, в которых есть смешные мемасики. Очень надо 😍!

Разделяемая память Между делом приношу вам чтиво про непростое, немного даже сложное 👨‍🦳 — разделяемую память между процессами в C++ и как в ней живётся STL. Если у вас многопроцессная среда (тот же браузер) и вам нужно каким-то образом передавать данные между процессами (вкладками) — как вариант использовать разделяемую память 🤔. Но это уже не то же самое, что разделяемая память между потоками. Ведь в рамках одного процесса все лежит в одном виртуальном адресном пространстве. Тут всё сложнее, единого пространства нет 🥴. Потому нет примитивов синхронизации готовых, а они как бы нужны. Аллокаторы писать свои нужно, ну и прочие радости жизни. Рекомендую в качестве общего развития, надеюсь на работе не понадобится: https://habr.com/ru/articles/515242/ Лично мне помогают такие статьи выходить за рамки своего ML пузыря, где 100500 тулов уже сделаны (хоть 90% очень плохо 😩), и хочется понимать, как оно устроено на самом деле. Ставьте огонечки 🔥, если вам нравится, когда я приношу чего-нибудь почитать.

Люди выбирают не первых и лучших, а своих Недавно читал книгу «Всё закончится, а ты нет» и встретил там фразу «Люди выбирают не первых и лучших, а своих». Мне кажется, если в это глубоко вдуматься, понять и принять, то отпадут некоторые страдания от собственной неидеальности. В чем проблема? У тимлидов много разных направлений: проекты, люди, техника. По каждому направлению всегда море задач. Всё успеть, да ещё и хорошо – просто нереально. Начинаешь чем-то жертвовать: где-то задачу не сделал совсем, где-то что-то забыл, где-то уголок срезал, чтобы впихнуть невпихуемое, и уже чувствуешь, что по многим фронтам как будто бы плохо всё. В бытовой жизни примерно та же история. Где-то ты на рутинные вещи подзабил, где-то семье мало времени уделил, где-то коришь себя за то, что не успеваешь заниматься хобби или ленишься ходить в театр, например. И вот получается, что общее настроение такое, что и там, и тут что-то постоянно недотягиваешь и вообще «кому я, нафиг, такой нужен?» В чем суть ключевой фразы? На мой взгляд, какими бы «недостаточно хорошими» мы себя ни ощущали, нас же кто-то выбирает. На работу взяли, фидбэк о работе дают не самый ужасный, с позором взашей не увольняют, а у кого-то есть партнер, который также совершил сознательный выбор. Почему так? А потому, что выбирают не самого идеального, а своего. Одна команда принимает тимлида, который душевную атмосферу внутри создает, другая – того, что держит заказчиков и техдолг в ежовых рукавицах, третья – только супер лютого технаря, который может научить величайшим сложнейшим премудростям. В романтических отношениях похожая история. Зачастую выбирают не самого богатого/высоко/красивого, а того, с кем будет персонально комфортно, уютно, безопасно. Вспомните сами каких-нибудь мастеров/тренеров/репетитиров, чьими услугами вы пользуетесь регулярно. Там же не лучшие из лучших, только топовые небожители. Там те, кто делает «достаточно хорошо» и при этом вам персонально подходит. «Ваш» человек, одним словом. Что это значит? Это значит, что необязательно себя корить за неидеальность во всех аспектах жизни и работы. Если вы делаете «достаточно хорошо», то обязательно для вас найдется местечко, где вы будете «своим». И там вам будет хорошо. А даже если и «недостаточно хорошо» делаете, то по-любому тоже что-то подвернется, только с более низким качеством, так сказать. Итог Хочется пожелать вам и себе перестать гнобить себя за малейшие неидеальности и посоветовать хорошо подумать, что/кого вы чувствуете «своим» и где бы вас так воспринимали. Порефлексировать и стремиться туда, где будет комфортно и не будет осуждения за малейшие огрехи.

VLM Наверное каждый слышал про то, что у Яндекса есть своя GPT-like модель — YandexGPT. Так вот мы хотим идти дальше — делать нашу технологию мультимодальной🤨. И коли уж я пишу этот пост, значит мы хотим развивать визуальную модальность🤔. Направление на хайпе и почти все, кто занимается генеративками сейчас — стараются обучать свои модели также работать с картинками. Ну потому что большой пласт задач лежит в визуальной плоскости😂. При всём богатстве естественного языка, мы изредка пытаемся у LLMок спрашивать что-то, описывая каждую деталь. Более того, кажется часть задач вообще сложно описать, например пояснить за мемчик. Это весьма челенджевое направление, в котором есть много чего поделать. От копания данных, до внедрения в продакшн😍. В общем, мы ищем ML-разработчиков (да-да, не одного) в нашу классную команду технологий компьютерного зрения, а именно в проект, связанный с VLM. Любой продукт Яндекса, который так или иначе, явно или не явно использует картинки😳 — пользуется технологиями, которые создаются и развиваются в нашей команде. Подробнее про вакансию, связанную с VLM, можете прочитать здесь: тык. Приходите ко мне в личку, пообщаться за вакансию, за команду, про задачи или вообще область😇. Ну или просто за жизнь. Мне интересно познакомиться с вами даже если сейчас вы ничего не ищете!

Нейро ☕️ Пока пишу только релизы Яндекса (потому что работы чот очень много), но я очень горд ребятами из нашей команды, которые сделали этот запуск. Теперь генеративные ответы есть и в поиске. 🤨 Можно искать как по текстовым запросам, так картинка+текст. Пользуйтесь и приходите с фидбеком! Попробовать можно уже сейчас на главной Яндекса — нужно просто переключить тумблер!

YaART 😍 Ребята из нашей команды опубликовали наружу статью про то, как делают технологию генерации изображений 🤨. Очень здорово, что у ребят всё сложилось! Классное ощущение у меня внутри, когда это делают люди, к которым можно ногами дойти и спросить, чо как! Я думаю, что кто-нибудь сделает разбор статьи, а я просто поделюсь ссылками: — Страница проекта (кстати, выглядит очень стилёво); — Статья на arxiv; — Статья на Хабре. Поздравляю ребят!