AI.Insaf

Сегодня выступил с лекцией на Летней школе МФТИ (альма-матер как-никак) на тему "Мониторинг корпоративных рисков в условиях неопределенности". Обсудили важность интерпретации моделей, концепцию bias и variance, а также методы blending'a. Но получился своеобразный кармический откат за свои пропуски лекций в универе – большая часть школьников выбрала делать домашку вместо докладов. Надеюсь, что кто таки остался вынес что-то полезное 🫡

Менторство - личный опыт За последние три года я успел поработать с двумя менторами, и, как я понял в целом это редкая история, когда в компаниях дают такую возможность. Первый ментор очень помог собраться по софтам на этапе, когда я только стал продактом в команде. Все через личные советы, курсы, книги, буквально провел за ручку по базе, и добавил уверенности. Большая часть легла в подборку выше по софтам несколькими постами ранее. Приятно удивило, что многие вопросы удалось быстро решить. Главное — чётко сформулировать для себя, что именно ты хочешь проработать. Особенно подкупило то, что ментор сам был DSм - быстро нашли общий язык. Затем у меня был сертифицированный ментор, который очень быстро помог разобрать все проблемные кейсы и научил находить решения на большую часть проблемных историй. Но в какой-то момент стало сложно формулировать запросы на решение новых проблем — даже карта желаний и целей не помогала найти проблемы, как будто разрешилось. Такое тоже бывает. В любом случае, это был суперклассный опыт, так как такой внешний взгляд позволяет получить объективные доводы о том, что делать дальше. Очень рекомендую PS Кто работает с ментором – называют менти 😏

Книги "Выживает самый дружелюбный" и "Лучшее в нас: Почему насилия в мире стало меньше" (довольно объемная книга, на чтение которой потребуется около 40 часов) развивают схожие тезисы о преимуществах дружелюбия. Первая книга, рассматривая альтруизм обезьян бонобо, которые в экспериментах демонстрирует способность делиться с незнакомцами половиной предложенных фруктов (в отличие например от шимпанзе), и этим объясняет эволюционный успех человека через способность к сотрудничеству. Вторая же книга обращается к историческим данным и демонстрирует снижение уровня насилия на протяжении всей истории человечества. Но не все так однозначно, как хотелось бы. Первая книжка, не подкрепляя свои выводы общими тенденциями, уходит в частные кейсы, сталкивается с недостатком репрезентативности и сonfirmation bias, т.е. склонности обращать внимание на подтверждающие частные факты (aka cherry picking). Вторая книга, хотя и оперирует цифрами, не всегда учитывает значительно больший доверительный интервал исторических данных, обусловленный меньшим объемом доступной информации, что ограничивает точность ее выводов и за то книжка и получила большую часть критики. Так или иначе книжки рекомендую, учитываю они хорошо дополняют друг друга.

Когда я учился на физтехе (МФТИ), слайды приходилось делать только на парах по английскому языку. Тогда казалось, что получается неплохо. Но на первой работе дата-аналитиком в Delivery Club меня быстро приземлили, когда я делал первые слайды для руководства. А вот у кого уже с presentation skills должно быть отлично, собраны в нынче модных папках тут. Подписывайтесь на понравившихся авторов! Подписывайтесь, от себя бы рекомендовал канал Виктора Кантора (канал про образование и карьеру в сфере анализа данных, топ 30 форбс, был у меня преподавателем DS на кафедре) и Тани Савельевой (номинант топ 30 форбс, но канал очень интересный)

The Shape of Story - блог по презентации [1], [2] С созданием презентаций сталкивается, пожалуй, каждый. Со временем многие начинают делать их достаточно красиво. Для этого нужно не так много: единство стиля (шрифтов, палитры и т.д. текста), лаконичные выводы, только необходимая информация, а все лишнее можно убрать в приложение. Неплохой курс Бонни и Слайд (платный, есть еще книга и хорошие бесплатные шаблоны), бесплатный от Яндекса тут, но его не проходил. Но с контентом и подачей часто возникают проблемы. Наверняка вам приходилось сидеть на презентациях, где вы ждали не раскрытия мысли, а просто окончания. Чтобы избежать таких ситуаций, в статье выше предлагается строить рассказ через микроистории: сначала описать проблему, затем – сложности и неудачи, с которыми пришлось столкнуться при ее решении, и, наконец, представить итоговое решение. Важно также показать эффект от такого решения. Забавно, что в Сбере принято начинать с executive summary, то есть по сути, с того же самого, но в обратном порядке.

The Culture Code: The Secrets of Highly Successful Groups – очень интересная книга, активно пропагандирующая идею о том, что успех команды напрямую зависит от чувства безопасности внутри нее. Это очень созвучно с задачей фасилитатора (человека, обеспечивающего успешную групповую коммуникацию), суть которой заключается в том, что при обсуждении новой идеи члены команды должны сначала максимально генерировать идеи, а обсуждение реализуемости переносить на следующую фазу. Для развития чувства безопасности внутри команды необходимы общее чувство цели и взаимная уязвимость, то есть понимание, что тебя выслушают и поймут. Последнее я очень рекомендую использовать и с внешними контрагентами. Например, не стоит подчеркивать чужие промахи, а дать человеку возможность самостоятельно разобраться и найти решение. P.S. Как и многие софтовые книги, тезисы книги подкреплены скорее кейсами, чем цифрами, но это лучше, чем ничего

OK google) на чем же обучали gemini 🤔

Помимо хардов важно развивать софтовые навыки 1. Это практика в виде разнообразного общения, встреч, small talk-ов и т.д. Но важно не количество, а качество и разнообразие ситуаций, а значит и людей 2. Про ведение переговоров, возможность по-разному донести мысль, отстаивание позиции: • "Договориться можно обо всем! Как добиваться максимума в любых переговорах" • "Договориться о невозможном. Как найти выход из тупика и разрешать любые конфликты (не применяя силы)" и «Переговоры с монстрами»- новая, но очень хорошая книга, хотя, возможно, больше ориентированная на российский рынок, там есть интересные приемы, например когда оставляешь буфер для ослабления позиции. • "Найти выход. Как сохранить самообладание и выбраться из тупиковой ситуации" - книга от бывшего переговорщика, очень познавательная. 3. "Новые правила деловой переписки" - как писать письма, но книга расширяет само понятие коммуникации, налагая требования к форме подачи, и в первую очередь через уважение к собеседнику. Форматирование, обязательность выводов, понимание, чего ты ждешь своим ответом. Книга нужная на всех уровнях 4. Фасилитация. Управление встречей, как собирать и генерировать новые идеи. Цель амбициозная, но честно скажу, очень сложная в имплементации. Книга "Руководство фасилитатора". 5. Приемы для public talks: здесь только учиться на собственном опыте, учитывая обратную связь 6. Развитие лидерства. Вот это, наверное, то, что отличает сеньоров от не сеньоров. Здесь, наверное, нужно изучать все, что можно, и этого будет мало: • "Действуй как лидер, думай как лидер" - эдакий аналог "Rise", но более практичный. Книжку "Rise" имеет смысл тоже прочитать • "100 правил проектов NASA" - короткий список правил, емко и по делу • "Лидер без титула" - очень классная концепция, что лидер - это не тот, кого сделали таковым, а за счет иных вещей • "Идеальный руководитель: Почему им нельзя стать и что из этого следует" - про то, что руководитель должен обладать 4 противоречащими друг другу характеристиками, но умение их комбинировать очень развивает тебя • "5 пороков и 5 благодетелей команды" - интересные концепции, читать книгу не обязательно, можно просто кратко ознакомиться с концепциями • Изучить стили лидерства: "Шесть стилей эмоционального лидерства и когда их использовать" Например https://4brain.ru/blog/6-%D1%81%D1%82%D0%B8%D0%BB%D0%B5%D0%B9-%D1%8D%D0%BC%D0%BE%D1%86%D0%B8%D0%BE%D0%BD%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE-%D0%BB%D0%B8%D0%B4%D0%B5%D1%80%D1%81%D1%82%D0%B2%D0%B0/ • "10 types of power in leadership" – остается развивать все 7. Развитие креативности. "Как придумать идею, если вы не Огилви" - название говорящее, мне очень зашла, факультативно 8. Менторы, коучи и психологи - возможно самое непростое, но помогут проработать ограничивающие установки, выделить сильные стороны и тд. Очень рекомендую если есть такая возможность

Набросал книжки/курсы, которые помогут стать хорошим DS База 1. Классическое машинное обучение (табличные данные) • Изучить можно по книге "Python Machine Learning by Sebastian Raschka". Читать можно все, кроме 13-й главы, которая устарела • Специализация "Машинное обучение и анализ данных" от МФТИ и Яндекса • Внутри 6 курсов (база по ml первые три курса, очень хороший курс по статистике 4й, 5-6 практика можно пропускать) • Открытые решения / соревнования на Kaggle. Учат метрикам и валидации, и конечно строить звездолеты • Лекции с датафеста https://www.youtube.com/channel/UCeq6ZIlvC9SVsfhfKnSvM9w и особенно ml training https://www.youtube.com/playlist?list=PLTlO6nV_TaGD21r6xPHhV1k7QfVuug3BB (тк это база старые доклады могут быть даже полезнее) Практика/документация • Углубиться в бустинги (надо хорошо понимать как и когда их применять, тк это основа в табличных задачах) • Документация: https://catboost.ai/ https://xgboost.readthedocs.io/en https://lightgbm.readthedocs.io/en 2. Introducing MLOps (издательство O'Reilly) • 200 страниц о том, как управлять моделями машинного обучения, чтобы они хорошо работали ("DevOps" для моделей). 3. Хайповый system design книжка Designing Machine Learning Systems (O'Reilly) • О правильном построении моделей с точки зрения выбора метрик, поддерживаемости и масштабируемости 4. Развитие аналитических навыков – последнее в базе, но первое по важности • Книга «Девенпорт, аналитика как конкурентное преимущество» • Книга Data science for business • Разобраться с SQL и Pandas – для работы с данными 5. Курс по рекомендательным системам Recsys: https://m.youtube.com/watch?v=igwNb7dBlms (основное - 5 лекций, остальное - прикладные кейсы) 6. АБ-тестирование: • https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f (гайд от VK) • https://practicum.yandex.ru/statistics-basic/ (бесплатный курс от Яндекса) • Книга Trustworthy Online Controlled Experiments 7. NLP – путь тут длинный. Нужно разобраться в tf-idf -> Word2vec и fasttext -> lstm -> трансформеры -> berts -> gpt -> LLM (+lora). Помогут один из следующих курсов • Курс от ШАДа по NLP https://github.com/yandexdataschool/nlp_course • Хорошо зарекомендовавший https://lena-voita.github.io/nlp_course.html • База до трансформеров включительно от Abby, хоть и немного устаревший https://github.com/DanAnastasyev/DeepNLP-Course • Здесь и далее очень круто погружают различные публикации с обзорными статьями. Наприме A Comprehensive Overview of Large Language Models https://arxiv.org/pdf/2307.06435 8. CV. Deep Learning with PyTorch база по DL. Практическая книга по компьютерному зрению (как построить первые модели для классификации, сегментации). А дальше уже самостоятельно изучать темы. Важные блоки: • image classification • segmentation • GAN • object detection • instant segmentation • pose estimation • diffusion models • multimodal models • Vision Transformer • +обзорные статьи PS Если есть что добавить пишите в комментарии)

Киото Самый насыщенный старинными храмами город Японии. Многовековые храмы, которых нет в Токио. Именно Киото больше 1 тыс. лет был столицей Японии. Золотой храм - мечта лет 10 увидеть, после прочтения одноименного романа Юкио Мисима, история которого достойна отдельной большой статьи. Ворота Тории - атрибуты всех храмов. Здесь же Храм Фусими Инари - 711 г с множеством врат Нари ⛩ их тут тысячи, прогулка на пару часов. Личные небольшие ворота увез собой Осака Один из крупнейших городов Японии, знаменит замком и конечно же свой центральной улицей. Удалось там попробовать много местной уличной еды, на вид было средне, на вкус еще хуже. Все таки Японии это про суши и рамены. Отдельная радость увидеть Замок Осаки, который очень много показывает в новом сериале Сегун Нара Город который был столицей и с храмами, которые являются одними из самых больших и старых деревянных построек в мире. Но это все база, ехать сюда нужно за диснеевскими оленями

На новый год съездил в Японию и делюсь впечатлениями Поездка была немного спонтанной, удалось взять интересные билеты, которые с учетом повышенного спроса нового года стоили неплохо. Будет рванный рассказ про то что удалось увидеть и заметить. Токио Ожидал увидеть толпы людей как в метро так и на улице. Но так здесь нет явно выраженного центра - очень свободно, в метро в Москве намного больше людей. Больше всего удивили люди - все очень вежливые, в метро за оплату проезда контролер кланяется тебе, в магазине кассир за оплату - и так везде. Если поклониться в ответ - то они покланяться еще раз. Все это конечно часть культуры и возможно в жизни они другие. Все бесконечно мило Очень много людей регулирует потоки, даже для выезда из ТЦ может стоять человек и будет помогать выехать. Еда безумно вкусная, рамены в Москве намного проще. Из смотровых площадок в ясную погоду можно увидеть саму гору Фудзи Киото Самый насыщенный старинными храмами город Японии. Многовековые храмы, которых нет в Токио. Именно Киото больше 1 тыс. лет был столицей Японии. Золотой храм - мечта лет 10 увидеть, после прочтения одноименного романа Юкио Мисима, история которого достойна отдельной большой статьи. Ворота Тории - атрибуты всех храмов. Здесь же Храм Фусими Инари - 711 г с множеством врат Нари ⛩ их тут тысячи, прогулка на пару часов. Личные небольшие ворота увез собой Осака Один из крупнейших городов Японии, знаменит замком и конечно же свой центральной улицей. Удалось там попробовать много местной уличной еды, на вид было средне, на вкус еще хуже. Все таки Японии это про суши и рамены. Отдельная радость увидеть Замок Осаки, который очень много показывает в новом сериале Сегун Нара Город который был столицей и с храмами, которые являются одними из самых больших и старых деревянных построек в мире. Но это все база, ехать сюда нужно за диснеевскими оленями

К себе в команду ищу дата аналитика (junior/middle) и data scientist`a (middle+/senior) в EWS, Риски Сбера. Мы занимаемся мониторингом и предиктивным выявлением проблемности у действующих и новых корпоративных заемщиков банка с помощью ML моделей. Стэк python, sql Откликаться тут https://hh.ru/vacancy/101174799 (da), https://hh.ru/vacancy/98625388 (ds) #jobs

Несколько слов про свой pet project – tabgan, который продолжает жить с 2021г. Тогда я прочитал книжку по GAN и хотелось придумать где это можно применить. С учетом опыта в табличках – применил ее там. Суть либы в генерации новых табличных данных похожих к данным на входе, можно применить для анонимизации данных, для генерация данных для dev стендов, куда нельзя данные с прода. Уже более 500 ⭐️, 40 тысяч загрузок, 38 цитирования препринта. В апреле 2024 даже выиграл грант как один из лучших open source проектов от Яндекса (https://habr.com/ru/companies/yandex/news/818611/) Недавно выпустил новую версия (уже более 500 stars, 40 тысяч загрузок). Теперь там не только генерация с GAN, но и через LLM и Forest Diffusion. Тестировать pip install tabgan https://github.com/Diyago/Tabular-data-generation

Когда кажется уже каждый создал свой телеграмм канал, решил присоединиться 🤔 Всем привет 👋 Меня зовут Инсаф и я стрим лид DS в зеленом банке. Мой гитхаб https://github.com/Diyago, с лычкой лучший open sourсe проект от Яндекса 🛠 Канал, чтобы поделиться опытом в DS и менеджерской истории, и конечно мемы 😎 Взлетаем! 🚀