Machine learning Interview

SmartDev 2023 — большая конференция про технологии от Сбера 21 сентября в кинотеатре «Октябрь» пройдет технологическая конференция SmartDev 2023, организованная Сбером. На одной площадке соберутся ведущие инженеры и разработчики из Сбера, VK, Яндекса, Kaspersky и других компаний, чтобы обменяться опытом создания лучших технологических решений в мире. Основные темы конференции: – Машинное обучение и искусственный интеллект – Архитектура программных решений – DevOps – Работа с большими данными – Безопасность приложений – Инновации и стратегии в разработке ПО Помимо этого впервые в России можно услышать выступление генерального директора Gitee, китайского аналога GitHub.Yong Xu. Также участники конференции смогут задать вопросы создателям нашумевших проектов от Сбера — сервиса GigaChat и нейросети Kandinsky. Конференция соберёт 1500 участников в офлайне и несколько тысяч зрителей в онлайне. Участие бесплатное, подробности и регистрация — на сайте конференции.

👆 Принципы SOLID в инженерии данных. Часть 1. SOLID — это набор основных принципов процесса разработки ПО, направленных на упрощение чтения, тестирования и сопровождения кода. Как расшифровывается SOLID Акроним SOLID расшифровывается так: • Single responsibility principle («Принцип единственной ответственности»). • Open/close principle («Принцип открытости/закрытости»). • Liskov substitution principle («Принцип подстановки Лисков»). • Interface segregation principle («Принцип разделения интерфейса»). • Dependency inversion principle («Принцип инверсии зависимостей). 1. Принцип единственной ответственности Согласно этому принципу, класс должен меняться только по одной причине. То есть у каждого модуля должно быть только одно назначение, отчего код становится удобнее для восприятия и тестирования. Примеры Продемонстрируем нарушение и соблюдение принципа единственной ответственности, создав простой класс для банковского счета: а) нарушение принципа: class BankAccount: def __init__(self, account_number: int, balance: float): self.account_number = account_number self.balance = balance def deposit_money(self, amount: float): self.balance += amount def withdraw_money(self, amount: float): if amount > self.balance: raise ValueError("Unfortunately your balance is insufficient for any withdrawals right now ... ") self.balance -= amount def print_balance(self): print(f'Account no: {self.account_number}, Balance: {self.balance} ') def change_account_number(self, new_account_number: int): self.account_number = new_account_number print(f'Your account number has changed to "{self.account_number}" ') Принцип нарушается, поскольку классом BankAccount контролируется больше одной задачи, связанной с банковскими счетами: управление профилями счетов и управление денежными средствами. б) соблюдение принципа: А вот пример соблюдения принципа: class DepositManager: def deposit_money(self, account, amount): account.balance += amount class WithdrawalManager: def withdraw_money(self, account, amount): if amount > account.balance: raise ValueError("Unfortunately your balance is insufficient for any withdrawals right now ... ") account.balance -= amount class BalancePrinter: def print_balance(self, account): print(f'Account no: {account.account_number}, Balance: {account.balance} ') class AccountNumberManager: def change_account_number(self, account, new_account_number): account.account_number = new_account_number print(f'Your account number has changed to "{account.account_number}" ') class BankAccount: def __init__(self, account_number: int, balance: float): self.account_number = account_number self.balance = balance self.deposit_manager = DepositManager() self.withdrawal_manager = WithdrawalManager() self.balance_printer = BalancePrinter() self.account_number_manager = AccountNumberManager() def deposit_money(self, amount: float): self.deposit_manager.deposit_money(self, amount) def withdraw_money(self, amount: float): self.withdrawal_manager.withdraw_money(self, amount) def print_balance(self): self.balance_printer.print_balance(self) def change_account_number(self, new_account_number: int): self.account_number_manager.change_account_number(self, new_account_number) Задачи, связанные с управлением банковским счетом, мы разделили на отдельные классы, упростив в случае необходимости изменение классов одинакового назначения. в) пример расширения кодовой базы: 🔘 Продолжение части 1 🔘 Часть 2 🔘 Часть 3 @machinelearning_interview

➕Открытый практикум Data Analyst by Rebrain: Data-профессии, их роль и взаимодействие Успевайте зарегистрироваться. Количество мест строго ограничено! ↘️Регистрация Время проведения: 19 Сентября (Вторник) в 19:00 по МСК Программа практикума: 🔹Узнаете про разные направления в data-направлении 🔹Какая ключевая роль у Аналитика данных 🔹По каким принципам идёт взаимодействие и решаемые задачи Кто ведёт? Артур Сапрыкин – Data Scientist, AI исследователь, предприниматель, автор курсов по машинному обучению, преподаватель. Подключайтесь! Реклама. ООО "РЕБРЕИН". ИНН 7727409582 erid: 2VtzqwNjQb2

🖥 Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом Однажды Джоэл Спольски в своей знаменитой презентации «You Suck at Excel» сказал, что существуют сотни коммерческих продуктов, вместо которых можно было бы использовать табличку Excel. В этой шутке очень высокая доля правды. Excel благородя интуитивному UI, формулам и VBA дает возможность пользователям самим решать широкий спектр задач, избавляя от необходимости каждый раз обращаться за помощью к разработчикам или внедрять в компании новый продукт. Excel используется везде от мелкой розницы до Fortune 500 и CERN. Пользовательский интерфейс Excel оказался, настолько удачным – ни один из конкурентов так и отошел от привычных таблиц. Для пользователя Excel интерфейс Google Spreadsheet будет привычным и интуитивно понятным. А вот по своим функциональным возможностям Excel до сих пор превосходит большинство конкурентов. Как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet? Давайте рассмотрим это на простом примере. 📌Читать дальше @machinelearning_interview

Как обучить нейросеть с помощью Python? Расскажет дата-сайентист из Альфа-банка Мария Жарова на бесплатном онлайн-практикуме 13-14 сентября в 17:00 мск. За 2 дня вы: — узнаете как создать, а затем обучить нейросеть распознавать цифры по фотографии; — выполните практическое задание и получите обратную связь; — узнаете зарплатные ожидания и карьерные возможности в дата сайенс. За лучшее выполнение задания вас ждет подарок — доступ к тренажеру Power BI. Записывайтесь на бесплатный практикум: https://go.skillfactory.ru/&erid=2VtzqvcVkNL Реклама ООО "Скилфэктори", ИНН: 9702009530

🎯Подробный разбор механизма Self-attention больших языковых моделей В этой статье пошагово с прмиерами кода разобрана работа Self-attention механизма. Self-attention это механизм предназначенный для обработки последовательных данных с учётом контекста каждой метки времени. 📌Статья @machinelearning_interview

🔍 Выявление неявных связей при анализе графов или как увидеть незримое Неявные связи в графах. Что это и как с ними работать, разберу на примерах. Граф — множество узлов, объединенных множеством ребер. С узлами все понятно, взяли города России, клиентов банка или компьютеры в сети, и получили множество объектов, которые и будут узлами для графа. Что же с ребрами? На первый взгляд все просто: города соединены дорогами, клиенты совершают переводы денежных средств, а компьютеры постоянно обмениваются информацией. Все, что было перечислено, относится к явным типам связей. Существует факт взаимосвязи между объектами: если дороги нет, то ребро между узлами отсутствует. Что же относится к неявным связям? Неявные связи сложнее, они могут зависеть от явных связей или же быть самостоятельными. Например, возьмем двух людей, которые работают на абсолютно разных работах, живут в разных концах города. На первый взгляд, они не имеют ничего общего, но при этом они оба по выходным приходят на матч любимой команды – это и есть неявная связь. Теперь перейдем к практическому примеру. Есть 2 файла: ◾️Данные о мошенниках, их номерах телефонов, а также периоды их активности; ◾️Данные о клиентах и номерах телефонов с периодами активности. ◾️Данные с номерами телефонов сложно найти в открытом доступе, придется сгенерировать их самостоятельно. Код для генерации необходимых данных расположен по ссылке. Следующим этапом будет создание графа. Для этой задачи понадобятся следующие python-библиотеки: ▪️Pandas – для работы с файлами; ▪️NetworkX – для создания графа связей, его визуализации; ▪️Matplotlib и Numpy – нужны для настройки визуализации графа; ▪️Datetime – для операций над временными данными. Перед созданием графа взглянем на данные, с которыми нам предстоит работать. Описание данных: 📍index – id клиента / мошенника; 📍numbers – номер телефона; 📍Date_start – начало периода активности; 📍Date_end – окончание периода активности. ➡️ Продолжение

⭐️ «Каждому из нас пора вспомнить, что он еще и предприниматель, стоящий у руля как минимум одного растущего стартапа: своей собственной карьеры». Рид Хоффман, основатель LinkedIn Неожиданно, но Московский физико-технический институт (МФТИ) устойчиво возглавляет рейтинг предпринимательских университетов и бизнес-школ России Будучи элементом предпринимательской экосистемы, Онлайн-магистратура МФТИ «Технологическое Предпринимательство» (ТехПред) является образовательным пространством, объединяющим экспертов в технологиях и бизнесе для реализации проектов Мы разные: + Возраст студентов: от 20 до 50+ лет + Геолокация: от Тайбэя до Лондона + Отрасли проектов: от ИТ до биомедицины, от нанотехнологий до космоса Но нас объединяет: + Стремление к выходу на новый профессиональный и социальный уровень Помимо возможностей для обучения и саморазвития в сообществе ТехПреда можно найти подходящих партнеров и сотрудников для совместных проектов Стоит отметить, что онлайн-магистратура является очной, просто реализуется с применением дистанционных образовательных технологий. При успешном окончании выдается диплом МФТИ государственного образца Будет ли конкретно в вашей ситуации польза от обучения в МФТИ? Можно обсудить с преподавателями, а заодно получить контакты студентов и выпускников, которые поступали в похожих ситуациях Подробную информацию можно узнать на сайте: https://techpredonline.ru

Что выведет код?

import numpy as np
Polynomial = np.polynomial.Polynomial
p = Polynomial([1, -1, 1])
q = Polynomial([2, -3])
print(int((p + q)(1)))

👉 Как с помощью методов ML можно очищать данные от выбросов? ЖДЕМ ВАС на 6 сентября в 20:00 мск на открытом уроке «Ищем выбросы методами ML» в рамках курса «Machine Learning. Professional» от OTUS 🔹 Поговорим про задачу поиска аномалий и изучим, как с помощью методов ML можно очищать данные от выбросов 🔹 В теории разберем несколько алгоритмов и применим их на практике. 📌 Результаты урока: Вы освоите несколько методов поиска аномалий и на практике очистите данные от аномальных значений. 👉 РЕГИСТРАЦИЯ https://otus.pw/wnlx/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 Как бы вы реализовали функцию потерь в PyTorch? В PyTorch функции потерь могут быть реализованы путем создания подкласса класса nn.Module и переопределения метода forward. Метод forward принимает на вход прогнозируемый выход и фактический выход и возвращает значение потерь. Приведем пример кода: import torch import torch.nn as nn class CustomLoss(nn.Module): def __init__(self): super(MyLoss, self).__init__() def forward(self, output, target): loss = ... # compute the loss return loss Теперь, чтобы использовать функцию потерь, необходимо инициализировать ее и передать в качестве аргумента параметру criterion оптимизатора в цикле обучения. model = ... optimizer = ... criterion = CustomLoss() # цикл обучения for epoch in range(num_epochs): optimizer.zero_grad() outputs = model(data) loss = criterion(outputs, labels) loss.backward() optimizer.step() ... #pytorch #junior @machinelearning_interview

☄️Открытый урок по языковым моделям от OTUS 4 сентября в 18:00 мск встречаемся на открытом уроке «Языковые модели: от статистических до ChatGPT» в рамках курса «Natural Language Processing (NLP)» от OTUS. 📣 Кому подходит этот урок: - Практикующим Data Scientist и IT-специалистам, которые хотят глубже погрузиться в область NLP - Тем, кто хочет узнать, что делает ChatGPT таким умным - Людям, освоившим основы машинного обучения, но желающими развиваться в области DS 💪 Результаты урока: Вы узнаете, что такое языковые модели и как их использовать для решения NLP-задач, а также изучите подходы к обучению больших языковых моделей, таких как ChatGPT. Это отличная возможность совершенно бесплатно протестировать формат обучения и задать преподавателю любые вопросы в режиме реального времени 😎! Пройдите тестирование курса, чтобы зарегистрироваться на урок - https://otus.pw/dvKE/ Нативная интеграция. Информация о продукте www.otus.ru

📌Отличие рекуррентных нейронные сети от других методов машинного обучения? Назовите способы улучшения стандартных рекуррентных сетей? Рекуррентные нейронные сети (RNN) отличаются от других методов машинного обучения тем, что они способны обрабатывать серии событий во времени или последовательные логические цепочки. Рекуррентные нейронные сети могут использовать свою внутреннюю память для обработки последовательностей разной длины. RNN применимы в таких задачах как, например: распознавание рукописного текста, анализ текстов, распознавание речи и др. Кроме того, известно, что RNN являются полными по Тьюрингу, и поэтому имеют возможность имитировать произвольные программные процедуры. Но на практике это не всегда просто сделать. Рекуррентные нейронные сети хорошо справляются с задачами обучения на последовательностных данных и с задачами обучения с подкреплением, но очень ограничены в возможностях для решения задач, связанных с работой со структурами данных и переменными, а также хранением данных в течение длинных временных промежутков из-за отсутствия долгосрочной памяти. Одним из способов улучшения стандартных рекуррентных сетей для успешного решения алгоритмических задач является введение адресной памяти большого размера. В отличие от машины Тьюринга, нейронная машина Тьюринга (NTM) является полностью дифференцируемой моделью, которая может быть обучена модификациями метода градиентного спуска (например, RMSProp), что дает практический механизм для обучения программ на примерах. Модель NTM была предложена в 2014-ом году в работе. В этой работе не описаны подробно детали функционирования данной нейросетевой модели. Одной из задач выпускной квалификационной работы является предоставление детального описания работы нейронной машины Тьюринга. Основным фактором появления нейронных сетей с внешней памятью является изобретение дифференцируемых механизмов внимания. В 2016-ом году в работе была предложена усовершенствованная модель нейронной сети с внешней памятью под названием дифференцируемый нейронный компьютер. В ней также было лишь краткое описание принципов работы этой модели. В 2018-ом году в работе были предложены четыре модификации для дифференцируемого нейронного компьютера, которые позволяли улучшить качество решения задач, связанных с вопросно-ответными системами (QA tasks). Эти модификации были основаны на работах. На сегодняшний день очень высока актуальность создания новых рекуррентных нейросетевых моделей, способных хранить большие объёмы данных, а также успешно решать задачи, предъявляемые к вопросно-ответным системам (QA-задачи). К таким нейросетевым моделям предъявляются следующие требования: ▪наличие «долгосрочной» обучаемой памяти; ▪высокая скорость обучения; ▪устойчивость процесса обучения (процесс обучения не должен существенно зависеть от начальной инициализации); ▪прозрачность принятия решений моделью и интерпретируемость работы нейронной сети (попытка уйти от концепции «черного ящика»); способность решать QA-задачи; ▪модель должна содержать относительно небольшое количество обучаемых параметров; способность работать с переменными, а также со структурами данных (например, с графами), решать алгоритмические задачи. @machinelearning_interview

Как узнать больше об LLM? Large Language Models в последнее время стали слишком популярны, и многие строят свои ML-решения поверх таких LLM. Но не все знают, что злоумышленники могут делать инъекции через промты и нарушить работу модели или вообще сломать систему. Поэтому VK устраивает онлайн-семинар, где расскажет, какие могут быть опасности и как защитить решения, основанные на LLM. Регистрация по ссылке.

🚀Расскажите про архитектуры внедрения ML-пайплайна в real-time сервисы Подробнее остановимся на особенностях внедрения моделей в случае real-time предсказаний. 1. Монолит Кодовая база ML интегрирована в кодовую базу бэкэнда. Это требует тесного сотрудничества между ML-специалистами и владельцами кодовой базы бэкэнда. Процесс CI/CD замедляется из-за юнит-тестов сервиса машинного обучения, а размер модели и требования к вычислениям создают дополнительную нагрузку на серверы бэкэнда. Такой тип развертывания следует рассматривать только в том случае, если инференс модели очень легкий для запуска. 2. ML как один сервис Модель машинного обучения разворачивается на отдельном сервере, возможно, с использованием балансирования нагрузки в случае необходимости масштабирования. Этот подход позволяет ML-инженерам деплоить модель независимо от команд, ответственных за бизнес-сервис. Создание систем мониторинга и логирования будет намного проще. Структура кодовой базы будет более понятной. Модель может быть сложной, не нагружая остальную инфраструктуру. Обычно это самый простой способ развернуть модель с обеспечением масштабируемости, поддерживаемости и надежности. 3. Микросервисный подход Каждая часть пайплайна получает свой собственный сервис. Этот подход требует высокий уровень зрелости в области ML и MLOps. Такой подход может быть полезен, например, если компонент обработки данных используется несколькими моделями. Например, у нас может быть несколько моделей, которые ранжируют рекламу в разных поддоменах (реклама на Facebook, реклама в Instagram и т. д.). При этом они должны следовать одному и тому же процессу аукциона. Тогда эта часть пайплайна может быть обработна отдельным сервисом, отвечающим за аукцион. Важно использовать сервис для оркестрации, например, Kubernetes, для обработки возникающей сложности микросервисов. “Dependency Hell in Microservices and How to Avoid It“ @machinelearning_interview

Классная возможность для студентов-технарей продлить лето — Тинькофф приглашает на смену по машинному обучению в университете «Сириус». Всех, кто пройдет отбор (а набирают 20 человек), отвезут в Сочи из их города. Программа разделена на две части. С середины сентября участники прослушают онлайн-курс по ML. А очная смена пройдет в Сочи с 2 по 15 октября. В лучших традициях образовательных программ Тинькофф ребята будут учиться на прикладных задачах, о которых потом не стыдно будет рассказать в портфолио. Как попасть: отправить заявку и решить отборочные можно до 31 августа. С 1 сентября начнутся собеседования для тех, кто хорошо решит контест. Все подробности тут

📌 Расскажите про альтернативы ансамблированию при файнтюнинге моделей? Понятие «model soup»‎ было предложено в папере 2022 года «Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time», написанном в соавторстве Google Research, Meta AI Research и несколькими университетами. Для начала вспомним, как выглядит стандартный процесс обучения модели: мы обучаем модель с различными вариациями гиперпараметров, а затем выбираем лучшую из них, измерив качество на evaluation set. После этого все модели, кроме наилучшей, отправляются в корзину. Авторы статьи предлагают отказаться от такого расточительства и найти применение оставшимся моделям. Это можно сделать с помощью ансамблирования, например, бэггинга: усреднять logits всех моделей. Однако в таком случае время инференса ансамбля увеличивается пропорционально количеству вошедших в него моделей. Идея model soup заключается в том, чтобы усреднять не logits, а непосредственно веса моделей. В этом случае на инференсе мы запускаем лишь одну модель, и время не увеличивается. Сравнение с ансамблями Авторы приводят результаты тестирования бэггинга и различных рецептов «супов» при файнтюнинге модели CLIP ViT-B/32 на ImageNet. Accuracy оценивается как на тестовой выборке самого ImageNet, так и на distribution shift датасетах — ImageNet-V2, ImageNet-R, ImageNet-Sketch, ObjectNet, ImageNet-A. Функции потерь нейронных сетей не являются выпуклыми, и при их минимизации решение может сходиться к разным локальным минимумам. Так почему же усреднение весов в случае файнтюнинга приводит к адекватному решению? Ответ кроется в папере Google 2020 года «What is being transferred in transfer learning?». Его авторы приходят к выводу, что при файнтюнинге предобученных моделей решения всех моделей остаются в окрестности одного и того же локального минимума (авторы называют её «basin» — «впадина»). В то же время модели, обученные с нуля, даже если они инициализированы одинаково, таким свойством не обладают. Вдохновившись этим открытием, авторы model soup исследуют форму поверхности loss-функции и приходят к выводу, что среднее нескольких решений может лежать ближе к минимуму loss-функции, чем каждое из решений по отдельности. Среднее двух решений, полученных с помощью файнтюнинга, может находиться ближе к минимуму функции. Также можно заметить, что угол между решениями (обозначенный серыми стрелками на изображении выше) может влиять на точность среднего. Авторы предоставляют отдельное исследование данной зависимости и приходят к выводу, что чем ближе этот угол к 90°, тем больший выигрыш мы получаем при усреднении решений: В свою очередь на угол между решениями влияет то, какой гиперпараметр мы изменяем. На изображении выше видно, как влияет изменение random seed, learning rate и аугментаций. Подробнее. @machinelearning_interview

Освойте алгоритмы распознавания и генерации звука за 1,5 месяца 5 сентября стартует практический курс Нетологии — «Распознавание и генерация речи. Диалоговые системы» для тех, кто работает или хочет научиться работать с задачами по распознаванию и генерации звуков. Для обучения нужно знать классические методы машинного обучения, основы работы с нейросетями, NLP. Курс поможет разобраться в работе со звуком, обработке звуковых сигналов, транскрибации речи в текст. В программе 5 воркшопов, на котором вы реализуете 5 кейсов, один из которых — проект на основе ваших собственных данных. По нему вы получите личную консультацию эксперта из Сбера или JustAI. Курс ведут практикующие специалисты по ИИ и работе со звуком: • Илья Шигабеев, основатель сервиса по переозвучке видео Langswap.app • Артур Сапрыкин, NLP-разработчик, предприниматель, работал над созданием голосового робота, разрабатывал поиск аудио по фрагменту • Сергей Меньшов, ведущий специалист Nexgn.com, разработчик проектов Whisper и VOSK по распознаванию речи собеседника Изучить программу курса можно на сайте программы. Старт 5 сентября → https://netolo.gy/b3j8 Реклама. ООО «Нетология» LatgBsPqT