Machine learning Interview

Теория, лежащая в основе шардинга баз данных, кажется простой. Но как она реализуется в реальных базах данных? Рассмотрим это на примере MongoDB (одной из самых популярных баз данных NoSQL) Основы Для шардинга в MongoDB необходим кластер. Кластер - это группа взаимосвязанных серверов или узлов. Для горизонтального масштабирования можно просто увеличить количество серверов. Кластер состоит из трех частей: - Шард - Маршрутизатор Mongos - Маршрутизатор конфигурации Рассмотрим каждую часть: ✅ Шард Шард - это подмножество данных. Данные разделяются между группой шардов. Каждый шард развертывается как набор реплик. Это замечательная вещь... ...потому что вы получаете репликацию и автоматическое восстановление данных после отказа системы. Но никаких прямых запросов к шарду не поступает. ✅ Маршрутизатор Mongos Mongos Router играет ключевую роль в кластере Все запросы направляются на Mongos Router. Он выполняет две важнейшие задачи: - Маршрутизация запросов и балансировка нагрузки - Кэширование метаданных Маршрутизатор выступает в роли посредника для получения данных с реальных шардов. ✅ Серверы конфигурации Серверы конфигурации работают как отдельный набор реплик. Они хранят метаданные для кластера шардов MongoDB. Метаданные - это как индекс для вашего кластера. В них хранится такая информация, как: - Как организованы данные? - Какие компоненты присутствуют в кластере. Вот как выглядит весь процесс: - Код приложения запрашивает данные - Маршрутизатор Mongos получает запрос - Маршрутизатор проверяет сервер Config Server, чтобы найти, на каком шарде находятся данные - Запрос направляется на соответствующий шард - Данные возвращаются в приложение

❗️Как легко получить Spark кластер на 10 узлов? Современные облачные инфраструктуры позволяют сделать это всего за несколько шагов. ▶️ 9 ноября в 20:00 мск в рамках онлайн-курса MLOps от OTUS пройдёт открытый урок «Big Data в облаках». На открытом уроке: 🔹Рассмотрим как создать в Yandex Cloud Spark кластер. 🔹 Что лучше использовать в качестве хранилища: HDFS или S3. 🔹 Как можно экономить за счет динамического выделения ресурсов. ✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам. 👉 РЕГИСТРАЦИЯ https://otus.ru/lessons/ml-bigdata/?utm_source=telegram&utm_medium=cpm&utm_campaign=ml-bigdata&utm_content=lesson-09-11-2023&utm_term=machinelearning_interview#event-3489 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KMZ4J

🔥 Дайджест полезных материалов из мира Машинного обучения за неделю Почитать: — Как мы определили веса алгоритмов ранжирования крупнейших маркетплейсов на открытых данных — ИИ выходит на новый уровень: LLM обретают пространственно-временную картину мира — MLOps-инструменты, обзоры рынка и тренды потоковой обработки данных — От Style Transfer до диффузии: эволюция визуальных эффектов на смартфонах — Объясняем простым языком, что такое трансформеры — Машинное обучение помогает классическому моделированию квантовых систем — Борьба с несбалансированными данными — Как экспертиза в области мониторинга событий ИБ помогает создавать качественные продукты. Часть 3 — Предсказание остановок оборудования с использованием LSTM и Байесовского подхода — Как получить полезную информацию из своих категориальных признаков? — why learn web (javascript) ML(machine learning) 2024 — Getting Started with Machine Learning: A Beginner's Guide — La IA — The Hydra of Machine Learning: Understanding Multi-headed Attention — Interpreting Loan Predictions with TrustyAI: Part 1 — BakaLLM, part 7: XL struggles are done, for now — The Complete Guide to Time Series Models — How to Land a Job as an AI Engineer 🤖 — How to train an Iris dataset classifier with Tinygrad — Take your career to the next level: GitHub Universe create your own agenda Посмотреть: 🌐 Making Private Data Open and Enhancing Decision-Making through Digital Atlases (⏱ 28:27) Хорошего дня!

Как использовать машинное обучение для оптимизации производства? Узнайте на примере реальных кейсов на бесплатном онлайн-митапе «Лучше практики MLOps в бизнесе. Опыт FinTech и Security индустрий» от OTUS. После эфира вы сможете: 🔹 Найти и выстроить процессы, связанные с машинным обучением 🔹 Понять, как работать с эффективностью данных проектов 🔹 Избежать основных ошибок руководителя 🔹 Получить ответы на свои вопросы от опытного эксперта Встречаемся в следующий вторник, 31 октября в 19:00 мск. 💻Эфир будет в формате конференции и после каждого блока вы сможете задать любые вопросы спикеру Павлу Филонову – ex-Kaspersky, ex-Positive technologies Data Science Manager с опытом в IT 15 лет. 👉Регистрируйтесь бесплатно прямо сейчас и забирайте чек-лист «Список технологий, нужный для MLOps» в подарок: https://otus.pw/CehC/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K3h7L

📌 Расскажите про методы сбалансирования данных. Часть 1. Взвешивание классов (Class Weighting) Одним из первых методов, которые стоит рассмотреть, является взвешивание классов, или Class Weighting. Этот метод позволяет учесть дисбаланс между классами в процессе обучения модели. Он основан на идее того, что модель будет штрафовать более сильно за ошибки в классе-меньшинстве, поощряя более точное предсказание. Принцип работы взвешивания классов заключается в присвоении разных весов каждому классу в зависимости от его доли в данных. Это позволяет модели лучше справляться с классом-меньшинством. Пример 1: Взвешивание классов в библиотеке Scikit-learn (Python) from sklearn.ensemble import RandomForestClassifier from sklearn.utils.class_weight import compute_class_weight # Получение весов классов class_weights = compute_class_weight('balanced', classes=np.unique(y), y=y) # Создание модели с взвешиванием классов model = RandomForestClassifier(class_weight=dict(enumerate(class_weights))) В приведенном коде мы используем библиотеку Scikit-learn для вычисления весов классов с помощью compute_class_weight. Параметр 'balanced' автоматически вычисляет веса классов на основе их доли в данных. Затем мы передаем эти веса в нашу модель случайного леса, что позволяет учесть дисбаланс классов. Пример 2: Взвешивание классов в TensorFlow (Python) import tensorflow as tf # Создание модели model = tf.keras.Sequential([ # добавьте слои вашей модели ]) # Определение весов классов class_weights = { 0: 1.0, # Вес для класса 0 1: 10.0, # Вес для класса 1 (пример взвешивания, где класс-меньшинство получает более высокий вес) } # Компиляция модели с учетом весов классов model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'], class_weight=class_weights) В данном примере мы создаем нейронную сеть с использованием TensorFlow и задаем веса классов вручную с помощью словаря class_weights. Здесь класс-меньшинство (класс 1) получает более высокий вес (10.0), что отражает нашу попытку сбалансировать дисбаланс данных. Увеличение (Oversampling) и уменьшение (Undersampling) выборки Одним из основных способов борьбы с несбалансированными данными является увеличение (oversampling) и уменьшение (undersampling) выборки. Эти методы направлены на достижение баланса между классами путем изменения количества примеров в каждом классе. Увеличение выборки (Oversampling) Увеличение выборки заключается в добавлении дополнительных примеров класса-меньшинства, чтобы сделать его более представительным. Это можно сделать различными способами, например, путем дублирования существующих примеров, генерации синтетических данных или комбинирования этих методов. Пример 1: Увеличение выборки с использованием библиотеки imbalanced-learn (Python) from imblearn.over_sampling import RandomOverSampler # Создание экземпляра RandomOverSampler ros = RandomOverSampler() # Применение увеличения выборки к данным X_resampled, y_resampled = ros.fit_resample(X, y) В этом примере мы используем библиотеку imbalanced-learn для увеличения выборки с помощью RandomOverSampler. Этот метод случайным образом выбирает примеры из класса-меньшинства и дублирует их, пока не достигнется баланс. Уменьшение выборки (Undersampling) Уменьшение выборки заключается в уменьшении количества примеров в классе-большинстве, чтобы сделать его менее доминирующим. Это может быть полезным, если дублирование примеров класса-меньшинства нежелательно. Пример 2: Уменьшение выборки с использованием библиотеки imbalanced-learn (Python) from imblearn.under_sampling import RandomUnderSampler # Создание экземпляра RandomUnderSampler rus = RandomUnderSampler() # Применение уменьшения выборки к данным X_resampled, y_resampled = rus.fit_resample(X, y) Здесь мы используем библиотеку imbalanced-learn для уменьшения выборки с помощью RandomUnderSampler. Этот метод случайным образом удаляет примеры из класса-большинства до достижения баланса. @machinelearning_interview

Если вы работаете с кодом или данными, а хотите попробовать себя в чём-то новом, присмотритесь к профессии ML-инженера. В ней вы сможете применить наработанные знания и опыт, не придётся начинать всё «с нуля». Понять, будет ли вам интересно в этой сфере, можно на курсе Яндекс Практикума. В программе не будет основ, которые вам уже знакомы, только прикладные знания и практические задания. За 4 месяца: — вы поймёте, как переводить бизнес-задачу на язык машинного обучения, — научитесь строить продвинутые ML-модели, — создадите 3 сервиса в облаке для решения задач бизнеса. Начните бесплатную часть этого курса до 30 ноября и получите промокод со скидкой 20%. Пусть Чёрная Пятница станет поводом сделать карьерный рывок!

Для оценки способности обобщения нейронной сети на новых данных мы разбиваем датасет на три части. 1️⃣ обучающий набор данных для подгонки модели 2️⃣ валидационный набор данных для настройки модели 3️⃣ тестовый набор для оценки производительности окончательной модели. Простой сниппет кода с пояснение на PyTorch Lightning, чтобы сделать это без проблем ⚡ 📌 Подробнее @machinelearning_interview

Открыта регистрация на отборочный этап Всероссийского хакатона по биометрии с призовым фондом 1 000 000 рублей! ⠀ Тебе предстоит решить интересные задачи, чтобы победить в отборочном туре и принять участие в финале Всероссийского хакатона по биометрии, который пройдет уже 24-25 ноября в Москве.  Кейсы: • Создание дипфейков для тестирования • Обнаружение дипфейков • Некооперативный фронтальный алгоритм защиты от атак предъявления • Решения для использования новых биометрических модальностей на пользовательских устройствах ⠀ ⠀ 🗓 Даты отборочного этапа в ОНЛАЙН-ФОРМАТЕ:  3-5 ноября 2023 года    ❗️Даты финала:  24-25 ноября 2023 года  📍 Место: Москва ❗️ Формат: смешанный (отборочный этап в онлайн-формате, а финал на площадке в Москве) 👉 Регистрация на отборочный тур открыта до 29 октября 2023 года: https://tglink.io/a695c6866d5b Реклама. ООО "АКСЕЛЕРАТОР ВОЗМОЖНОСТЕЙ". ИНН 9704005146. erid: LjN8KYt6z

🔥 Большое обновление: Meta's Long Llama обошла GPT-3.5 в длинных контекстах и сравнялась с GPT-4 в обобщении. Основные моменты: ▸ Контекст: Поддерживает до 32 тыс. ▸ Производительность: Сравнивается с GPT-4 в суммировании, выигрывает у GPT-3.5 в длинных задачах. ▸ Эффективность: на 40% меньше вычислительных затрат при той же производительности. Технические характеристики: ▸ Позиционное кодирование: Внесены изменения для улучшения работы с длинными текстами. ▸ Дополнительное обучение: Использовано больше наборов данных, включая длинные тексты. Настройка инструкции: ▸ Задачи QA: Генерируются из длинных документов. ▸ Валидация: Llama 2 70B проверила пары QA. ▸ Тонкая настройка: Использовались синтетические данные и данные коротких инструкций. arxiv.org/abs/2309.16039

⚡В OTUS стартует набор в группу курса Reinforcement Learning. Отправьте заявку, для того чтобы получить доступ к открытым урокам и получите скидку на обучение. 31.10 в 20.00 (мск) приглашаем на welcome-вебинар «Основные алгоритмы в обучении с подкреплением» 📌На занятии вы: - познакомитесь с основными алгоритмами обучения с подкреплением; - узнаете, как применять нейросети для обучения агентов, как обучить агента в среде с дискретным и непрерывным набором действий; - изучите многообразие алгоритмов обучения с подкреплением и выбор наиболее подходящих из них. 👉Регистрация https://otus.pw/SJiV/ После прохождения курса студенты поймут сильные и слабые стороны основных алгоритмов RL и научатся применять их для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем. При оплате курса возможны разные способы оплаты и рассрочка платежа Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KbLVB

Простое объяснение механизма внимания трансформатора и его использование. часть 2 8. Он особенно полезен при работе с длинными последовательностями текстов, поскольку способен анализировать и понимать взаимосвязи между различными частями текста. Его лучше всего использовать, когда важны точность и контекст, например, в задачах языкового перевода или анализа настроений. 9. Он способен учитывать контекст слова или словосочетания, в том числе его связь с другими словами и словосочетаниями. 10. Это важно, поскольку смысл слова или фразы может зависеть от контекста, в котором оно употребляется. Еще одним преимуществом механизма внимания трансформеров является то, что он способен обучаться и адаптироваться к различным типам данных и задач. @machinelearning_interview

✅ Простое объяснение механизма внимания трансформеров и его использование. часть 1 1. Представьте, что у вас на полу куча игрушек, и вы хотите выбрать те, которые вам больше всего нравятся. Но игрушек так много, и вы не знаете, с чего начать! 2. А теперь представьте, что у вас есть специальный помощник, который может посмотреть на все игрушки сразу и сказать, какие из них самые важные. Это похоже на то, что делает механизм внимания трансформера! 3. Механизм внимания - это специальный инструмент, который помогает компьютеру выделять наиболее важные части из большого массива информации, например, из рассказа или фильма. Он рассматривает все сразу и решает, какие части наиболее интересны или важны. 4. Итак, как и ваш помощник с игрушками, он помогает компьютерам сосредоточиться на самых важных частях информации, чтобы лучше ее понять! 5. По сути это математический алгоритм, используемый в НЛП и других областях искусственного интеллекта. Он представляет собой разновидность модели машинного обучения, которая помогает компьютерам понять взаимосвязи между различными частями информации. 6. Если говорить проще, то механизм внимания трансформеров - это инструмент, позволяющий компьютерам анализировать и понимать большие объемы текстовых данных, разбивая их на более мелкие части и рассматривая, как эти части связаны друг с другом. 7. Это достигается за счет сложного процесса математических вычислений, позволяющих компьютеру определить, какие части текста наиболее важны и как они соотносятся друг с другом. @machinelearning_interview

♾️ Что такое MLOps и как внедрять ML-модели в компании? Друзья, 31 октября в 20:00 по МСК будет бесплатный вебинар, который проведет Евгений Мунин Data Scientist в Teads, в конце я также смогу к вам присоединиться ☺️ 👉 На бесплатном вебинаре вы подробно узнаете: - Зачем компании внедряют модели машинного обучения - Как устроен жизненный цикл внедрения ML-моделей - Какие типы метрик необходимо учитывать и мониторить - Какие паттерны проектирования использовать при развертывании ML-приложения - О различных MLOps инструментах, которые помогают не только развернуть ML-модель, но и отслеживать результаты 🙋‍♀️ Также у вас будет возможность задать вопросы онлайн мне и Евгению 👉 Зарегистрироваться

✨ OTUS приглашает 30 октября, в 20.00 МСК на бесплатный вебинар “Методология DevOps: стратегии и процессы деплоя”! Вебинар пройдет в рамках онлайн-курса "DevOps практики и инструменты" от Отус. 🎙️ Спикером выступит Рустем Галиев - специалист с многолетним опытом в области DevOps, познакомит вас с основными концепциями и стратегиями деплоя в DevOps. На уроке вы узнаете: ✔️ Что такое деплой и почему он так важен в процессе разработки ПО ✔️ Различные стратегии деплоя, такие как Canary Releases, Rolling и Blue/Green. ✔️ Примеры использования каждой стратегии и их преимущества и недостатки. ➡️ Регистрация на вебинар: https://otus.pw/yJ2L/ На вебинаре Вы получите практические советы и рекомендации, которые сможете применить в своей работе. Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KRVWV

👨‍🎓 Стэнфордский университет предлагает бесплатные онлайн-курсы. 📌 Без вступительного взноса. 📌 Нет платы за обучение. 📌 Не нужно покупать учебники. 1. Специализация "Машинное обучение". https://online.stanford.edu/courses/soe-ymls-machine-learning-specialization 2. Информатика 101. https://online.stanford.edu/courses/soe-ycscs101-computer-science-101 3. Алгоритмы: Проектирование и анализ. https://online.stanford.edu/courses/soe-ycsalgorithms1-algorithms-design-and-analysis-part-1 4. Базы данных: Продвинутые темы по SQL . https://online.stanford.edu/courses/soe-ydatabases0001-databases-advanced-topics-sql 5. Основы программирования на языке R. https://online.stanford.edu/courses/xfds112-r-programming-fundamentals 6. Статистическое обучение. https://online.stanford.edu/courses/sohs-ystatslearning-statistical-learning 7. Программа Advanced Cybersecurity. https://online.stanford.edu/courses/xacs100-advanced-cybersecurity-program-preview 8. Введение в Интернет вещей. https://online.stanford.edu/courses/xee100-introduction-internet-things 9. Теория игр. https://online.stanford.edu/courses/soe-ycs0002-game-theory 10. Проектирование карьеры. https://online.stanford.edu/courses/tds-y0003-designing-your-career @machinelearning_interview

🚀 Мечтаете присоединиться к талантливой команде и работать вместе над проектом с огромной аудиторией? Сейчас в Авито открыто более 350 вакансий в различных направлениях: разработка, маркетинг, продажи, продукт, HR, аналитика и не только! Вас ждут: • Гибридный и удалённый форматы работы; • ДМС со стоматологией с первого дня; • Классный офис в Москве в двух минутах от метро «Белорусская» с местами для уединённой работы и зонами отдыха, а ещё офисы в Питере, Казани и Самаре; • Прозрачная система премий; • Обучение за счёт компании. Возможно, ищут именно вас! Откликайтесь на подходящие вакансии по ссылке.

📊 11 основных диаграм для #DataScientists Наглядный гайд, в котором подробно рассмотрены 11 важнейших графиков, которые специалисты, работающие с данными, используют в 95% случаев. 📌 Статья @machinelearning_interview

Вышел GigaChat нового поколения. Разработчики @gigachat_bot качественно обновили его, изменив свой подход к обучению. Благодаря этому сервис стал лучше отвечать на запросы пользователей — примерно в два раза. При этом GigaChat также запустили в VK, аудитория сервиса уже достигла более 1 млн пользователей. Попробовать. @vistehno

📃 Генерация отчетов графовой аналитики в формате PDF с помощью Python Создание отчетов графовой аналитики является важной частью работы многих проектов и бизнес-процессов. Однако, процесс создания и настройки таких отчетов может быть сложным и требовать больших усилий. Рассмотрим, как использование языка программирования Python и его библиотек может значительно упростить генерацию отчетов графовой аналитики в формате PDF. Для работы с PDF в Python есть множество библиотек, самые популярные из них: PyPDF2, ReportLab, FPDF. Сравнение основных библиотек: в изображении. По совокупным критериям для дальнейшего разбора мной была выбрана библиотека ReportLab. Одной из самых популярных библиотек для работы с графами в Python является NetworkX. Она предоставляет широкий набор инструментов для создания и анализа графов. Ее и буду использовать для создания графа и анализа данных. В посте приведен код, необходимый для воспроизведения. Полный код доступен по ссылке. Данные сгенерирую с помощью Python. Пусть будет 500 операций, где будет информация об отправителе, получателе, сумме операции и флаг подозрительности операции. df_dict = {} count_operation = 500 for i in range(count_operation): df_dict[i] = {'reciver' : random.randint(1, count_operation/2), 'sender': random.randint(1, count_operation/2), 'sum_oper': random.randint(1000, 1000000), 'suspisios_transaction': random.randint(0, 1)} Добавлю 100 переводов, где получателем будет клиент 1, а отправителем- любой другой клиент из основного датасета: for i in range(100): df_dict[i] = {'reciver' : 1, 'sender': random.randint(1, count_operation/2), 'sum_oper': random.randint(1000, 1000000), 'suspisios_transaction': random.randint(0, 1)} df = pd.DataFrame().from_dict(df_dict).T Получится вот такой датасет: Смотреть

💪 Что такое Байесовское А/B-тестирование и как его провести?  Подробно обсудим 19 октября в 20:00 мск на открытом уроке в OTUS. Занятие приурочено к старту онлайн-курса «Machine Learning. Advanced».   🔹 На вебинаре мы разберем, какие преимущества дают Байесовские A/B тесты по сравнению с обычными, как проводить Байесовские A/B тесты и как работать с Байесовскми моделями в PyMC3. 📌  Результаты урока: Познакомитесь с основами A/B тестирования и получите новый, простой и эффективный инструмент для A/B тестирования 👉 РЕГИСТРАЦИЯ https://otus.pw/ydYd/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KUFd5