Machine learning Interview

⭐️ Семинары и практические задания по Машинном обучению ▪Плейлист лекций и семинаров: 2020-2021; 2021-2022 ▪Курс лекций К.В. Воронцова. ▪Курс Мурата Апишева по python. 🖥 Github @machinelearning_interview

⚡️ Онлайн-хакатон MORE.Tech 5.0 с призовым фондом 1 100 000 рублей от Банка ВТБ! 🟣 Треки: Mobile+Web: разработай сервис для подбора оптимального банковского отделения; Metaverse: создай элементы виртуального пространства для взаимодействия пользователей с продуктами банка. Что тебя ждет: 🔹 Познакомишься с опытными ИТ-экспертами ВТБ; 🔹 Прокачаешься в разработке за 3 дня как за месяц. Помимо главного денежного приза в 1 100 000 рублей, тебя ждет фирменный мерч и подарки! Если нет своей команды — поможем ее собрать! Регистрируйся и вступай в чат участников, получи ответы на волнующие вопросы, найди команду или создай свою. ▶️ Регистрация уже идет, успевай подать заявку по ссылке Реклама. ООО "ФИЗТЕХ ДЖЕНЕЗИС". ИНН 7735184156. erid: LjN8JwFuz

🐼Как устроен Pandas: взгляд изнутри Структура данных Pandas Как правило, датафрейм поддерживается каким-нибудь массивом, например NumPy или Pandas ExtensionArray. Эти массивы хранят данные датафрейма. pandas добавляет промежуточный слой Block и BlockManager. Он управляет этими массивами, обеспечивая максимальную эффективность операций. Это одна из причин, почему в Pandas методы, работающие с несколькими столбцами, могут быть очень быстрыми. Далее более подробно рассмотрим упомянутые слои. Массивы Фактические данные датафрейма могут храниться в наборе массивов NumPy или Pandas ExtensionArray. Этот слой обычно направляет к базовой реализации, например использует NumPy API при условии хранения данных в массивах NumPy. Pandas хранит в них данные и вызывает свои методы без расширения интерфейса. Массивы NumPy обычно являются двумерными и дают ряд преимуществ в производительности, о которых речь пойдет далее. На данный момент Pandas ExtensionArray в основном представляют собой одномерные структуры данных, благодаря чему операции становятся предсказуемыми. Однако не обошлось и без недостатков: в ряде случаев страдает производительность. ExtensionArray допускает применение датафреймов, которые поддерживаются массивами PyArrow и другими типами данных Pandas. Block Датафрейм обычно состоит из столбцов, представленных по крайней мере одним массивом. Как правило, имеется коллекция массивов, так как один массив может хранить только один определенный тип данных. Эти массивы хранят данные, но не владеют информацией о том, какие столбцы они представляют. Каждый массив из датафрейма обернут соответствующим блоком Block. ✔ Block добавляет дополнительную информацию в массивы, например расположение представленных им столбцов. ✔Block служит слоем вокруг фактических массивов с возможностью расширения вспомогательными методами, необходимыми для операций Pandas. ✔ При выполнении фактической операции с датафреймом Block гарантирует, что метод направляется в базовый массив. Например, при вызове astype он убедится, что эта операция вызывается в массиве. Данный слой не располагает информацией о других столбцах в датафрейме, являясь автономным объектом. BlockManager Как следует из названия, BlockManager управляет всеми Block, связанными с одним датафреймом. Он содержит сами Block и информацию об осях датафрейма, например имена столбцов и метки Index. И самое главное в том, что он направляет большинство операций к фактическим Block: df.replace(...) BlockManager гарантирует, что replace выполняется для каждого Block. Понятие консолидированного датафрейма Мы исходим из того, что датафреймы поддерживаются типами данных NumPy, например их данные могут храниться в двумерных массивах. При создании датафрейма Pandas гарантирует, что на каждый тип данных приходится только один Block: df = pd.DataFrame( { "a": [1, 2, 3], "b": [1.5, 2.5, 3.5], "c": [10, 11, 12], "d": [10.5, 11.5, 12.5], } ) У этого датафрейма есть 4 столбца, представленные двумя массивами: один из них хранит целочисленный тип данных, а другой — числа с плавающей точкой. Это и есть консолидированный датафрейм. Добавим новый столбец к этому датафрейму: df["new"] = 100 У него такой же тип данных, как и у существующих столбцов "a" и "c". Рассмотрим 2 возможных варианта дальнейших действий: 1. Добавление нового столбца в существующий массив, содержащий целочисленные столбцы. 2. Создание нового массива только для хранения нового столбца. ◾️ Первый вариант предусматривает добавление нового столбца в существующий массив. Для этого требуется скопировать данные, поскольку NumPy не поддерживает эту операцию без копирования. В итоге добавление одного столбца оборачивается слишком большими затратами. ◾️ Второй вариант 📌 Читать

Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах. В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python. Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества. 👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!

Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах. В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python. Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества. 👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!

🔝Лучшие GitHub репозитории для изучения MLOps. #️⃣ MLOps-Basics #️⃣ MLOps-Guide #️⃣ Awesome MLOps #️⃣ Awesome MLOps - Tools #️⃣ DTU MLOps #️⃣ MLOps Course @DevOPSitsec

SmartDev 2023 — большая конференция про технологии от Сбера 21 сентября в кинотеатре «Октябрь» пройдет технологическая конференция SmartDev 2023, организованная Сбером. На одной площадке соберутся ведущие инженеры и разработчики из Сбера, VK, Яндекса, Kaspersky и других компаний, чтобы обменяться опытом создания лучших технологических решений в мире. Основные темы конференции: – Машинное обучение и искусственный интеллект – Архитектура программных решений – DevOps – Работа с большими данными – Безопасность приложений – Инновации и стратегии в разработке ПО Помимо этого впервые в России можно услышать выступление генерального директора Gitee, китайского аналога GitHub.Yong Xu. Также участники конференции смогут задать вопросы создателям нашумевших проектов от Сбера — сервиса GigaChat и нейросети Kandinsky. Конференция соберёт 1500 участников в офлайне и несколько тысяч зрителей в онлайне. Участие бесплатное, подробности и регистрация — на сайте конференции.

👆 Принципы SOLID в инженерии данных. Часть 1. SOLID — это набор основных принципов процесса разработки ПО, направленных на упрощение чтения, тестирования и сопровождения кода. Как расшифровывается SOLID Акроним SOLID расшифровывается так: • Single responsibility principle («Принцип единственной ответственности»). • Open/close principle («Принцип открытости/закрытости»). • Liskov substitution principle («Принцип подстановки Лисков»). • Interface segregation principle («Принцип разделения интерфейса»). • Dependency inversion principle («Принцип инверсии зависимостей). 1. Принцип единственной ответственности Согласно этому принципу, класс должен меняться только по одной причине. То есть у каждого модуля должно быть только одно назначение, отчего код становится удобнее для восприятия и тестирования. Примеры Продемонстрируем нарушение и соблюдение принципа единственной ответственности, создав простой класс для банковского счета: а) нарушение принципа: class BankAccount: def __init__(self, account_number: int, balance: float): self.account_number = account_number self.balance = balance def deposit_money(self, amount: float): self.balance += amount def withdraw_money(self, amount: float): if amount > self.balance: raise ValueError("Unfortunately your balance is insufficient for any withdrawals right now ... ") self.balance -= amount def print_balance(self): print(f'Account no: {self.account_number}, Balance: {self.balance} ') def change_account_number(self, new_account_number: int): self.account_number = new_account_number print(f'Your account number has changed to "{self.account_number}" ') Принцип нарушается, поскольку классом BankAccount контролируется больше одной задачи, связанной с банковскими счетами: управление профилями счетов и управление денежными средствами. б) соблюдение принципа: А вот пример соблюдения принципа: class DepositManager: def deposit_money(self, account, amount): account.balance += amount class WithdrawalManager: def withdraw_money(self, account, amount): if amount > account.balance: raise ValueError("Unfortunately your balance is insufficient for any withdrawals right now ... ") account.balance -= amount class BalancePrinter: def print_balance(self, account): print(f'Account no: {account.account_number}, Balance: {account.balance} ') class AccountNumberManager: def change_account_number(self, account, new_account_number): account.account_number = new_account_number print(f'Your account number has changed to "{account.account_number}" ') class BankAccount: def __init__(self, account_number: int, balance: float): self.account_number = account_number self.balance = balance self.deposit_manager = DepositManager() self.withdrawal_manager = WithdrawalManager() self.balance_printer = BalancePrinter() self.account_number_manager = AccountNumberManager() def deposit_money(self, amount: float): self.deposit_manager.deposit_money(self, amount) def withdraw_money(self, amount: float): self.withdrawal_manager.withdraw_money(self, amount) def print_balance(self): self.balance_printer.print_balance(self) def change_account_number(self, new_account_number: int): self.account_number_manager.change_account_number(self, new_account_number) Задачи, связанные с управлением банковским счетом, мы разделили на отдельные классы, упростив в случае необходимости изменение классов одинакового назначения. в) пример расширения кодовой базы: 🔘 Продолжение части 1 🔘 Часть 2 🔘 Часть 3 @machinelearning_interview

➕Открытый практикум Data Analyst by Rebrain: Data-профессии, их роль и взаимодействие Успевайте зарегистрироваться. Количество мест строго ограничено! ↘️Регистрация Время проведения: 19 Сентября (Вторник) в 19:00 по МСК Программа практикума: 🔹Узнаете про разные направления в data-направлении 🔹Какая ключевая роль у Аналитика данных 🔹По каким принципам идёт взаимодействие и решаемые задачи Кто ведёт? Артур Сапрыкин – Data Scientist, AI исследователь, предприниматель, автор курсов по машинному обучению, преподаватель. Подключайтесь! Реклама. ООО "РЕБРЕИН". ИНН 7727409582 erid: 2VtzqwNjQb2

🖥 Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом Однажды Джоэл Спольски в своей знаменитой презентации «You Suck at Excel» сказал, что существуют сотни коммерческих продуктов, вместо которых можно было бы использовать табличку Excel. В этой шутке очень высокая доля правды. Excel благородя интуитивному UI, формулам и VBA дает возможность пользователям самим решать широкий спектр задач, избавляя от необходимости каждый раз обращаться за помощью к разработчикам или внедрять в компании новый продукт. Excel используется везде от мелкой розницы до Fortune 500 и CERN. Пользовательский интерфейс Excel оказался, настолько удачным – ни один из конкурентов так и отошел от привычных таблиц. Для пользователя Excel интерфейс Google Spreadsheet будет привычным и интуитивно понятным. А вот по своим функциональным возможностям Excel до сих пор превосходит большинство конкурентов. Как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet? Давайте рассмотрим это на простом примере. 📌Читать дальше @machinelearning_interview

Как обучить нейросеть с помощью Python? Расскажет дата-сайентист из Альфа-банка Мария Жарова на бесплатном онлайн-практикуме 13-14 сентября в 17:00 мск. За 2 дня вы: — узнаете как создать, а затем обучить нейросеть распознавать цифры по фотографии; — выполните практическое задание и получите обратную связь; — узнаете зарплатные ожидания и карьерные возможности в дата сайенс. За лучшее выполнение задания вас ждет подарок — доступ к тренажеру Power BI. Записывайтесь на бесплатный практикум: https://go.skillfactory.ru/&erid=2VtzqvcVkNL Реклама ООО "Скилфэктори", ИНН: 9702009530

🎯Подробный разбор механизма Self-attention больших языковых моделей В этой статье пошагово с прмиерами кода разобрана работа Self-attention механизма. Self-attention это механизм предназначенный для обработки последовательных данных с учётом контекста каждой метки времени. 📌Статья @machinelearning_interview

🔍 Выявление неявных связей при анализе графов или как увидеть незримое Неявные связи в графах. Что это и как с ними работать, разберу на примерах. Граф — множество узлов, объединенных множеством ребер. С узлами все понятно, взяли города России, клиентов банка или компьютеры в сети, и получили множество объектов, которые и будут узлами для графа. Что же с ребрами? На первый взгляд все просто: города соединены дорогами, клиенты совершают переводы денежных средств, а компьютеры постоянно обмениваются информацией. Все, что было перечислено, относится к явным типам связей. Существует факт взаимосвязи между объектами: если дороги нет, то ребро между узлами отсутствует. Что же относится к неявным связям? Неявные связи сложнее, они могут зависеть от явных связей или же быть самостоятельными. Например, возьмем двух людей, которые работают на абсолютно разных работах, живут в разных концах города. На первый взгляд, они не имеют ничего общего, но при этом они оба по выходным приходят на матч любимой команды – это и есть неявная связь. Теперь перейдем к практическому примеру. Есть 2 файла: ◾️Данные о мошенниках, их номерах телефонов, а также периоды их активности; ◾️Данные о клиентах и номерах телефонов с периодами активности. ◾️Данные с номерами телефонов сложно найти в открытом доступе, придется сгенерировать их самостоятельно. Код для генерации необходимых данных расположен по ссылке. Следующим этапом будет создание графа. Для этой задачи понадобятся следующие python-библиотеки: ▪️Pandas – для работы с файлами; ▪️NetworkX – для создания графа связей, его визуализации; ▪️Matplotlib и Numpy – нужны для настройки визуализации графа; ▪️Datetime – для операций над временными данными. Перед созданием графа взглянем на данные, с которыми нам предстоит работать. Описание данных: 📍index – id клиента / мошенника; 📍numbers – номер телефона; 📍Date_start – начало периода активности; 📍Date_end – окончание периода активности. ➡️ Продолжение

⭐️ «Каждому из нас пора вспомнить, что он еще и предприниматель, стоящий у руля как минимум одного растущего стартапа: своей собственной карьеры». Рид Хоффман, основатель LinkedIn Неожиданно, но Московский физико-технический институт (МФТИ) устойчиво возглавляет рейтинг предпринимательских университетов и бизнес-школ России Будучи элементом предпринимательской экосистемы, Онлайн-магистратура МФТИ «Технологическое Предпринимательство» (ТехПред) является образовательным пространством, объединяющим экспертов в технологиях и бизнесе для реализации проектов Мы разные: + Возраст студентов: от 20 до 50+ лет + Геолокация: от Тайбэя до Лондона + Отрасли проектов: от ИТ до биомедицины, от нанотехнологий до космоса Но нас объединяет: + Стремление к выходу на новый профессиональный и социальный уровень Помимо возможностей для обучения и саморазвития в сообществе ТехПреда можно найти подходящих партнеров и сотрудников для совместных проектов Стоит отметить, что онлайн-магистратура является очной, просто реализуется с применением дистанционных образовательных технологий. При успешном окончании выдается диплом МФТИ государственного образца Будет ли конкретно в вашей ситуации польза от обучения в МФТИ? Можно обсудить с преподавателями, а заодно получить контакты студентов и выпускников, которые поступали в похожих ситуациях Подробную информацию можно узнать на сайте: https://techpredonline.ru

Что выведет код?

import numpy as np
Polynomial = np.polynomial.Polynomial
p = Polynomial([1, -1, 1])
q = Polynomial([2, -3])
print(int((p + q)(1)))

👉 Как с помощью методов ML можно очищать данные от выбросов? ЖДЕМ ВАС на 6 сентября в 20:00 мск на открытом уроке «Ищем выбросы методами ML» в рамках курса «Machine Learning. Professional» от OTUS 🔹 Поговорим про задачу поиска аномалий и изучим, как с помощью методов ML можно очищать данные от выбросов 🔹 В теории разберем несколько алгоритмов и применим их на практике. 📌 Результаты урока: Вы освоите несколько методов поиска аномалий и на практике очистите данные от аномальных значений. 👉 РЕГИСТРАЦИЯ https://otus.pw/wnlx/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 Как бы вы реализовали функцию потерь в PyTorch? В PyTorch функции потерь могут быть реализованы путем создания подкласса класса nn.Module и переопределения метода forward. Метод forward принимает на вход прогнозируемый выход и фактический выход и возвращает значение потерь. Приведем пример кода: import torch import torch.nn as nn class CustomLoss(nn.Module): def __init__(self): super(MyLoss, self).__init__() def forward(self, output, target): loss = ... # compute the loss return loss Теперь, чтобы использовать функцию потерь, необходимо инициализировать ее и передать в качестве аргумента параметру criterion оптимизатора в цикле обучения. model = ... optimizer = ... criterion = CustomLoss() # цикл обучения for epoch in range(num_epochs): optimizer.zero_grad() outputs = model(data) loss = criterion(outputs, labels) loss.backward() optimizer.step() ... #pytorch #junior @machinelearning_interview

☄️Открытый урок по языковым моделям от OTUS 4 сентября в 18:00 мск встречаемся на открытом уроке «Языковые модели: от статистических до ChatGPT» в рамках курса «Natural Language Processing (NLP)» от OTUS. 📣 Кому подходит этот урок: - Практикующим Data Scientist и IT-специалистам, которые хотят глубже погрузиться в область NLP - Тем, кто хочет узнать, что делает ChatGPT таким умным - Людям, освоившим основы машинного обучения, но желающими развиваться в области DS 💪 Результаты урока: Вы узнаете, что такое языковые модели и как их использовать для решения NLP-задач, а также изучите подходы к обучению больших языковых моделей, таких как ChatGPT. Это отличная возможность совершенно бесплатно протестировать формат обучения и задать преподавателю любые вопросы в режиме реального времени 😎! Пройдите тестирование курса, чтобы зарегистрироваться на урок - https://otus.pw/dvKE/ Нативная интеграция. Информация о продукте www.otus.ru