mlshitcheatsheet

Случайно победили на хакатоне на Кипре🏅 Со старыми товарищами устроили небольшой реюнион, как в выпуске "Друзей", где вам всем уже под тридцать и вы грустные сидите на диване. Мы решили собраться все вместе за одним столиком в рамках Кипрского хакатона от AdTech. Получилось неплохо: я потыкался в автоматическую нарезку коротких видеороликов и их умное кадрирование, ребята рядом полностью разнесли фронтенд и бэкенд части, а наша новая участница провела нам UX / UI прямо в будку. Наша презентация ( она агрессивная, будьте осторожны ).

Неожиданный бэкап телеграмма и всех отправленных мемов 👮‍♂️ Да, пол миллиона сообщений это не такая уж big data, но ведь важен не размер, а как с ней обращаешься, верно? Недавно испытал кризис самоидентификации который успешно потушил необдуманными покупками образовательных курсов. Курс по модной, молодежной базе данных Clickhouse закрыл вот этим проектом. И да, это работает near-real time, поэтому, парни, если еще не присылали свои фотокарточки в личку - время поднапрячься. P.S. Без шуток, неожиданно пользуюсь получившимся поиском по своим приложениям в телеграмме довольно таки часто, приятно удивлен, делюсь с вами.

Обмазался телеметрией, чтобы был стимул приходить на тренировки чаще 🛵 📊 С проверенными комрадами решили инкрустировать инерциальные датчики во все сферы своей жизни, ну чтобы было. В качестве побочного квеста - избавил себя от необходимости смотреть видео с GoPro, где еду по прямой 50 минут и прыгаю один раз за круг, теперь это делают за меня. Один раз уже заигрывал с темой детекции хайлайтов из мотоциклетных видео вот тут, но сейчас делаем по-взрослому. А если у вас особенно томный вечер, можете посмотреть видео про двухколесную аналитику нашего докладного клуба, которое запустило цепную реакцию.

Неприятно сохранил все ваши заходы в телеграмм и сделал выводы ✅🚀 *spoiler: статус все-таки лучше скрыть Если задуматься как много информации мы оставляем в сети и как конкретно ее можно использовать то моментами можно испугаться. Ради интереса посмотрел на активность товарищей по телеграмму, используя Telethon и эмулируя клиент самого приложения. Получил интересные активности со стороны серверов телеграмма с провоцирующими названиями:

### "онлайн" и "был онлайн"
UpdateUserStatus.UserStatusOffline ( "онлайн" )
UserStatusOffline.UserStatusOnline ( "был онлайн")
### "пользователь печатает" 
### в каналах, группах, личных чатах 
UpdateChatUserTyping 
UpdateChannelUserTyping
UpdateUserTyping

Почему и как я могу узнать ( с некоторой долей вероятности ) что-то из этих пунктов: - Во сколько вы встаете 💤 - Когда вам лучше напихать побольше задачек в бэклог 🖥 - Насколько вы сосредоточены на тренировке 🤺 разобрал в видео. P.S. Если вы из Xsolla и узнали стилек, черканите в личку, обмозгуем чего куда

Вокалично и автоматично ( почти ) разметил видео вам в ютубе 🎥 Большинство таймкодов которые вы встретите на просторах этого видеохостинга - сделаны вручную. Даже сама формулировка сверху - уже призыв к действию. Пришлось автоматизировать вопрос полагаясь на эвристики которые явно не работают на всех категориях контента. Если коротко: Раскладываем на кадры, смотрим их похожесть, вычисляем куски с яркой сменой кадров ( большая разница между эмбеддингами ), дальше транскрибируем речь и суем в вашу любимую llm Пример получившихся таймкодов: ( насколько они правдивы можно проверить вот тут )

00:00 Проблемы с учетом памяти в Python
02:10 Измерение памяти и потребления ресурсов
04:15 Сложность работы с числами
14:10 Проблемы и особенности работы с массивами в Python
23:25 Преимущества и использование библиотеки NumPy
26:25 Эффективный поиск в больших данных
30:15 Работа с разреженными матрицами
32:55 Развитие вероятностных структур данных

Спарсил вебкам ( снова ), но в этот раз по взрослому 🫣 Честно говоря, первый раз оказавшись на stripchat.global, я сразу же посмотрел глубже и увидел большое количество данных, увесистый вебсокет и расположенную к reverse engineering апишку прямо на главной странице ( провоцирует ). Два года назад я уже коллекционировал похожие данные, со скрипом заводя кластер селениума и урвав всего пару часов от стримов. В этот раз количество эвентов уже перевалило за что-то анализируемое на коленке за ~4 полноценных дня парсинга. Много идей и гипотез еще не появились на дашборде, но уже есть чем поделиться, заглядывайте посмотреть и даже поучавствовать! Дашборд -> https://lookerstudio.google.com/reporting/b46baf2a-bca4-4a2f-9002-540e44cdb153

Объяснял как работают диффузионные модели на примере нюдсов товарища и канал забанили 📹 С недавних пор мы каждое воскресенье собираемся и показываем друг другу презентации в плотном кругу разумистов. Темы могут быть самыми разными, от обзора модных молодежных технологий до личных достижений в супружеских отношениях с женщинами ( опционально ). Очень фривольный формат дает нам легитимный повод встретиться и рассказать друг другу что-то интересное. Какие-то осмысленные кусочки я вырезаю и складываю на уютный ютюб канал Мы очень ждем гостей и я буду очень рад если кто-то из вас придет к нам на гостевую с абсолютно любой темой! Пишите в комментарии или в личные сообщение, если что-то наболело и хочется поделиться - посочувствуем, может что-то посоветуем, удивимся и смонтируем вам маленький ролик вашего доклада чтобы могли поделиться с мамой!

Автоматизировал ( ну почти ) оценочку гардероба люксовых женщин 👗💸 🧖‍♀️ Посмотрел ролик от ФБК с разбором гардероба Екатерины Мизулиной и крепко призадумался, неужели все это делалось ручками экспертов фэшн индустрии? Лично я с трудом пойму что на женщине не просто штаны, но фешенебельные кюлоты, поэтому сразу решил - такую задачку надо отдать компуктеру. Пришлось для начала спарсить весь женский отдел ЦУМа, познакомиться c Segment Anything от фейсбука и повестись на последние веяния технологий дообучив гугловский Vision Transformer. В итоге, что получилось: 1. Моделька которая очень хорошо классифицирует категории одежды ( метрики сам вот тут посмотришь если такой умный, да ). 2. Поиск конкретной ссылочки на одежду работает пока не так хорошо, но нужная ссылка и ценник появляется в top-10 выдачи стабильно (ладно, не очень, но докручу ). Даже с таким результатом, можно уже оценивать кто из твоих львиц в подписках инстаграмма недавно цокал каблучками в холле ЦУМа и сможешь ли ты потянуть ее ценник в месяц хотя бы гипотетически. Если хочется еще чуть деталек: * Презентация — шизофазийная, так сказать для своих * Github — подскажите если я там какой-нибудь пароль или токен забыл по братски

Усложнил себя чтение книг, но только это меня и спасло 📖 Всю жизнь искренне хотел уметь получать знания из технической литературы. Но каждый раз закрывая очередной томик O’Reilly и откладывая его в сторону, я понимал, что через два дня те знания которые я не применю на практике - исчезнут бесследно. Особенно обидно это работало с книгами по архитектуре, распределенным системам и всему такому красивому. Единственным решением для меня оказалось создание anki-карточек. По сути это комбинации вопросов - ответов по прочитанному материалу, которые будет просить тебя приложение согласно настроенному интервалу. Можно сказать это отчаянная попытка поправить твою кривую забывания с помощью интервального повторения того, что ты запомнил. И понятное дело, я не удержался и делегировал их создание в llm попробовав еще и модный, молодежный фреймворк langchain ( очень советую, если у вас есть приложения с языковыми модельками под капотом ). Ссылка на репозиторий, и отдельно, на имплементацию генератора карточек.

Как встроить монитор в монитор или вполне интересное применение генеративок 🎨 Пока я жду новую белую рубашку ( с выпускного уже не по размеру ) чтобы пройти требования к внешнему виду для работы с предыдущего поста пришлось покрутить недавний тренд. Семейство препроцессоров которые можно прикрутить к этим вашим генеративным сетям неумолимо растет и позволяет делать интересные вещи. Как минимум - вставить аниме девочек теперь и в QR коды, чтобы привлечь внимание к вашим уютным микробложикам про бьюти-рутину или успешному бизнесу по продажу вкусного льда. Пока что сам процесс создания очень трудоемкий и требует терпения, удачи и легкой руки, но уверен, уже скоро будем видеть красивые ссылочки на каждом шагу.