Machine learning Interview

🖥 Решение задач с помощью SQL является важным навыком для дата-саентиста по нескольким причинам: 1. Обработка данных: SQL позволяет эффективно извлекать, фильтровать и обрабатывать данные из баз данных. 2. SQL предоставляет возможность проводить аналитические запросы к данным, выявлять закономерности, тренды и паттерны, что помогает в принятии бизнес-решений. 3. Часто данные хранятся в различных базах данных или системах. Знание SQL помогает дата-саентисту объединять данные из разных источников для создания цельных наборов данных. 4. Написание оптимизированных SQL-запросов позволяет ускорить обработку данных и повысить производительность аналитических процессов. В целом, знание SQL позволяет дата-саентисту эффективно работать с данными, проводить анализ и извлекать ценные инсайты для бизнеса. Предлагаю немного попрактиковаться и порешать задачи на знание SQl. 🖇 Решение заданий из тренажера SQL Academy 🖇 Вводный Курс с задачами по работе с Базами данных 🖇В репозитории представлены проекты курса Аналитик данных 🖇Решение задач hackerrank по SQL 🖇100 ключевых Вопросов с собеседований @machinelearning_interview

⚡ Data Structures Reference ​​Если вы собираетесь на техническое собеседование, то не забудьте повторить структуры данных и алгоритмы. Здесь собраны все структуры данных с краткими определениями и красивой визуализацией. Помимо всего прочего, в гайде перечислены сильные и слабые стороны каждой структуры, трюки и связанные алгоритмы. Поэтому держите годную статью, для подготовки. 🔗 Гайд @machinelearning_interview

🌟 Введение в машинное обучение (классические методы машинного обучения) курс "Введение в машинное обучение" для студентов третьего курса ЭФ ЭМИТ РАНХиГС. В курсе расмотрены практические аспекты классических методов машинного обучения. ▪ Github @machinelearning_interview

ML-специалисты тут? Вас уже ждут в Тинькофф! Вместе с результативной командой вы будете: - Генерировать гипотезы и ставить на их основе эксперименты; - улучшать качество моделей и ускорять их работу в различных сценариях; - оформлять эксперименты в воспроизводимые пайплайны; - создавать масштабные ИТ-продукты. Откликайтесь на вакансию, а компания обеспечит комфортные условия для работы и возможность воплотить ваши идеи в больших ИТ-проектах вместе с командой единомышленников. АО «Тинькофф Банк», ИНН 7710140679

🔥 Решение тестового задания на стажировку в Контур Data Science В данном задании предлагается вам сделать модель, которая поможет отделу госзакупок извлекать нужный кусок текста из документа для того, чтобы сформировать анкету заявки. То, какой именно фрагмент текста нужно извлечь, зависит от пункта анкеты, соответствующего документу. Всего в каждом документе, с которыми вы будет работать, есть 1 из 2-х пунктов анкеты, по которым необходимо извлекать кусочки из текста: ▪обеспечение исполнения контракта ▪обеспечение гарантийных обязательств Соответственно, ваша модель, принимая на вход текст документа и наименование одного из двух пунктов, должна возвращать соответствующий кусочек текста из текста документа. Тестовое задание Для выполнения тестового задания требуется разработать модель, которая будет способна по паре текст документа и пункт анкеты извлекать из текста документа нужный фрагмент текста. Обучив модель, добавьте в файл test.json поле extracted_part в том же формате, что и в файле train.json. Новый файл назовите predictions.json Подсказка: изучив данные, вы можете заметить, что у части наблюдений отсутствует фрагмент текста к извлечению (пустая строка внутри поля extracted_part с answer_start и answer_end равными нулю). Это означает, что в тексте документа нет нужного фрагмента текста, соответствующего пункту анкеты. Учтите это в обучении вашей модели и при формировании файла с ответами. Тестовое задание Для выполнения тестового задания требуется разработать модель, которая будет способна по паре текст документа и пункт анкеты извлекать из текста документа нужный фрагмент текста. Обучив модель, добавьте в файл test.json поле extracted_part в том же формате, что и в файле train.json. Новый файл назовите predictions.json Подсказка: изучив данные, вы можете заметить, что у части наблюдений отсутствует фрагмент текста к извлечению (пустая строка внутри поля extracted_part с answer_start и answer_end равными нулю). Это означает, что в тексте документа нет нужного фрагмента текста, соответствующего пункту анкеты. Учтите это в обучении вашей модели и при формировании файла с ответами. ▪Dataset ▪Решение ▪Github @machinelearning_interview

Хотите углубить свои знания в Data Science? Освойте технологию многоруких бандитов в задаче рекомендаций Приходите на открытый практический урок от OTUS. Спикер Андрей Канашов — Senior Data Scientist. На вебинаре вы:  - узнаете про алгоритмы многоруких бандитов и как они применяются на практике для решения задачи рекомендательных систем;- изучите основные алгоритмы UCB и Tompson Sampling;- получите практический опыт применения многоруких бандитов для задачи рекомендации фильмов. Встречаемся 22 апреля в 19:00 мск в рамках курса «Рекомендательные системы». Все участники вебинара получат специальную цену на обучение и персональную консультацию от менеджеров OTUS!  Регистрируйтесь прямо сейчас, чтобы не пропустить урок: https://clck.ru/3A7fP3?erid=LjN8KUvNK

🌟 Universal-1 от AssemblyAI превзошел* Whisper от OpenAI ⏩Почти год Whisper от OpenAI удерживал лидерство среди открытых решений для распознавания речи, но теперь пальму первенства среди API сервисов перехватила новая модель Universal-1 от AssemblyAI. Обученная на более чем 12,5 миллионах часов многоязычных аудиоданных, Universal-1 превосходит предыдущего лидера - Whisper от OpenAI, а также другие коммерческие решения по ключевым параметрам. ⏩Universal-1 отличается высоким качеством распознавания речи, обеспечивая на 10% и более точные результаты на английском, испанском и немецком языках по сравнению с лучшими протестированными аналогами. При этом модель генерирует на 30% меньше некорректных вставок слов на обычной речи и на 90% - на фоновых шумах. *это зависит от конкретных задач, но в некоторых он реально лучше Whisper 📎 Подробнее @machinelearning_interview

⚡️ 4 Репозитория на Github для подготовки к 4 различным типам собеседований по разработке программного обеспечения: 1. Собеседования по системному дизайну: https://github.com/ashishps1/awesome-system-design-resources 2. Собеседования по низкоуровневому проектированию: https://github.com/ashishps1/awesome-low-level-design 3. Собеседования по программированию: https://github.com/ashishps1/awesome-leetcode-resources 4. Поведенческое собеседование: https://github.com/ashishps1/awesome-behavioral-interviews @machinelearning_interview

📌Держите 14 типичных вопросов с собеседования по ML — Как работает градиентный бустинг? — Почему бустинг градиентный? — Расскажи про свой опыт? — Что такое Uplift-моделирование? — Что за классы трансформируются в Uplift - моделировании? — Что будешь делать, когда маркетолог попросит сделать модель оттока? — Какие метрики знаешь для дисбаланса классов? — Как подобрать отсчеку при перехода с Presicion на Recall? — Как работает бустрап? — Как оценить доверительный интервал площади? — Как оценить метрику, если есть только модели и их оценки? — Какие бывают схемы кросс-валидации? — Как по другому называется точность оценки? — Какая система валидации нужна оценке финального качества модели? 📎 О том, где искать ответы на эти вопросы, можно почитать тут @machinelearning_interview

18 апреля, 18:00 MLечный путь 2024 Коллеги из @Selectel проводят свой ежегодный митап MLOps и ML-инженеров, на котором обсуждаю инфраструктуру для ML, разбирают сложности, тренды и инструменты построения production ML-систем. В этом году особое внимание будет уделено актуальному тренду — LLM. Будут доклады про тренды развития генеративного ИИ, перспективы Feast в качестве Feature store, оптимизацию моделей, обеспечение безопасности LLM и сокращение расходов на их инференс. На митапе выступят эксперты из Selectel, СберМаркета, Dstack, Axenix, MIL Team, Raft AI. Всех участников оффлайн-митапа в Санкт-Петербурге будет ждать неформальное общение со спикерами и экспертами, стенды с GPU-картами, розыгрыш мерча, знакомства и пицца после окончания докладов. Для тех, кто не сможет присоединиться оффлайн, коллеги подготовили онлайн-трансляцию. Выбирайте подходящий формат участия и регистрируйтесь на мероприятие: https://slc.tl/2a0kk Реклама ООО «Селектел» erid 2VtzqwGrk2B

🔥 Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению  Часть 2 🚀 Часть 1 ▪Вопросы и ответы на собеседования по машинному обучению для специалистов в области анализа данных ▪Вопросы и ответы на собеседования по глубокому обучению для специалистов в области обработки данных ▪Вопросы по статистике ▪Вопросы по теории вероятности ▪Репозиторий для линейки онлайн-курсов по статистике ▪Вопросы и ответы для специалистов по анализу данных на Python ▪Вопросы и ответы для собеседований по SQL и DB для специалистов по обработке данных Вопросы, основанные на резюме ▪Вопросы и ответы на собеседования по большим языковым моделям (ВПН) ▪Вопросы и ответы на собеседования по компьютерному зрению часть 1( ВПН) ▪Вопросы и ответы на собеседования по компьютерному зрению часть 2 (ВПН) ▪Вопросы и ответы на собеседования по компьютерному зрению часть 3 (ВПН) @machinelearning_interview

📌Алгоритм Monte Carlo Tree Search простыми словами Держите полезную статью, которая поможет разобраться в таком алгоритме ML, как Monte Carlo Tree Search. Некоторые факты из статьи: • MCTS использует дерево для представления игры и симуляции возможных ходов. Дерево строится динамически, добавляя новые состояния при выборе наиболее перспективных ходов. • MCTS сходится к minimax благодаря использованию оценочной функции и перспективного хода. • В MCTS учитывается перспективность хода, основанная на оценке и любопытстве. • MCTS и нейросети дополняют друг друга, создавая наборы данных для обучения и используя их в тандеме. 📎 Статья @machinelearning_interview

С чего же лучше начать практическое погружение в Machine Learning?   👉  Приглашаем 15 апреля в 18:00 мск на бесплатный вебинар «Случайный лес — мощная техника ансамблирования в ML» от Отус, где вы вместе с опытным экспертом:   ✅ познакомитесь с алгоритмом Random Forest; ✅ узнаете, как он устроен; ✅ освоите принципы обучения Random Forest; ✅ примените его на практике.   Спикером выступит: Мария Тихонова – PhD in Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ.   ➡️  Регистрация на вебинар: https://otus.pw/qdET/?erid=LjN8K85bc   Вебинар является бесплатной частью полноценного онлайн-курса «Специализация Machine Learning».   💪  Записывайтесь сейчас, а мы потом напомним. Участие бесплатно.

💻Мультирегиональная репликация Apache Kafka: кластерные топологии Неплохая статья о том, какую топологию может иметь кластер Apache Kafka при межрегиональной репликации по нескольким ЦОД и как это реализовать. Плюс описывается, чем брокеры-наблюдатели отличаются от подписчиков в Confluent Server и при чем здесь конфигурация подтверждений acks в приложении-продюсере. Для репликации в нескольких регионах кластер Kafka может иметь следующую топологию: ⏩растянутые кластеры (stretched clusters), когда один кластер Kafka устанавливается в нескольких ЦОД. При этом используется протокол синхронной репликации Kafka. ⏩связанные кластеры (connected clusters) с асинхронной репликацией в нескольких регионах. В этом случае может использоваться внешняя система для копирования данных из одного или нескольких кластеров в другой. Преимущество растянутого кластера в том, что он сохраняет смещения, а также обеспечивает быстрое аварийное восстановление и автоматическое переключение клиента при сбое без дополнительного кода. 📎 Статья @machinelearning_interview

🤖 Подкаст «Техно.Логично»: Роботизация в Газпромбанке Первый робот по имени Вера появился в Газпромбанке в 2018 году. Сегодня в компании трудятся уже около 300 цифровых помощников. Благодаря им сотрудники экономят время для по-настоящему важных и креативных задач, пока роботы разгребают рутину. Но все ли так гладко с технологией RPA? Есть ли у роботизации подводные камни и какие у нее перспективы? Поговорили об этом в новом выпуске «Техно.Логично» с заместителем начальника Департамента банковских процессов Алексеем Голубинцевым и начальником Центра RPA Департамента банковских процессов Елизаветой Поваляевой ✨ Ребята рассказали: 🔹Как устроена технология RPA 🔹Зачем учить робота разгадывать капчу 🔹Почему разработчики порой скептически относятся к RPA 🔹Справедливо ли считать роботизацию костылем Посмотреть и послушать: 🖤YouTube 📱Apple Podcasts 🎵Яндекс Музыка 🔍Google Podcasts 🍽 Бонус – конкурс в конце выпуска! Сколько человеко-часов экономят все роботы Газпромбанка за рабочий месяц? Напишите ваш ответ в комментариях на «Сфере» или в YouTube. Автор лучшего ответа получит приз – умную колонку с Алисой 🥹 Реклама, Банк ГПБ (АО), ИНН: 7744001497, erid:2VtzqwjfYcE

🦾 Google выпустили модель с новой архитектурой Griffin, которая превосходит transformers по своим характеристикам. Griffin превосходит базовые показатели transformers baseline в контролируемых тестах как по шкале MMLU для различных размеров параметров, так и по среднему баллу в различных тестах. Архитектура также обеспечивает преимущества в плане эффективности за счет более быстрого вывода и меньшего потребления памяти при выводе длинных контекстов. ▪Статья: arxiv.org/abs/2402.19427 ▪Версия 2B на hugging face: huggingface.co/google/recurrentgemma-2b @machinelearning_interview

📌 Яндекс открыл YandexART API и рассказал, как обучали модель Исследователь генеративных моделей из Yandex Research делится подробностями разработки и усовершенствования API YandexART v2, которая недавно стала доступна для тестирования компаниям в Foundation Models, сервисе платформы Yandex Cloud: как отбирали данные для обучения модели, какие подходы лежат в её основе, как добились качества работы нейросети по нужным критериям. Внутри также замеры на DrawBench. 🔗 https://habr.com/ru/companies/yandex/articles/805745/ @machinelearning_interview

🔥 Google мощно улучшила Gemini 1.5 Pro. Теперь нейронная сеть понимает аудио и работает быстрее. Она может легко трансформировать аудио в текст, создавать краткую выжимку из лекции, анализировать любимую песню. Есть множество возможностей применения. Тестируем новый функционал здесь. Нужно включить VPN.

📌Machine Learning with Python and Scikit-Learn – Full Course Держите сверхполезный видеокурс по основам Machine Learning, по Python в целом, и по Scikit-Learn. Отлично подойдёт, если вы только вливаетесь в это, да и если давно занимаетесь ML, не повредит освежить основы Enjoy) 📎 Курс YouTube [18 часов] @machinelearning_interview

Если вы интересуетесь ML, DL и RL, хотите развивать искусственный интеллект и работать на острие науки — не пропустите ивент от Tinkoff Lab Research   Tinkoff Lab — это исследовательская лаборатория для студентов.  Это классная возможность получить научный и продуктовый опыт, поскольку индустриальные проекты становятся частью экосистемы Тинькофф, а научные — основой для публикаций и докладов на конференциях. Лаборантов оформляем на работу в МФТИ, а лучших приглашаем в штат Тинькофф 🔥   На встрече Research 4 Kids выпускники Лаборатории расскажут о своих проектах и о том, как присоединиться к ним в этих исследованиях.   📍Мероприятия пройдут офлайн в Москве, Санкт-Петербурге, Казани, Минске, Астане, Новосибирске и Екатеринбурге. Все подробности и регистрация по ссылке erid:2VtzqvJdwdQ Реклама, АНО ДПО “Тинькофф Образование”, ИНН 7743270426