Machine learning Interview

Считается, что аналитика и Data Science — сложные сферы, требующие особого склада ума. В реальности же основные языки работы с данными — SQL и Python — можно изучить, не имея технического образования или опыта в программировании. Каждый может найти себя в сфере аналитики и Data Science и подобрать себе направление по душе. В этом поможет бесплатный пошаговый гайд «Как войти в сферу данных и выбрать своё направление». В гайде: • Полное описание ролей и компетенции в сфере работы с данными — так вы поймёте, с чего начать свой путь в профессию • Чек-листы навыков, необходимые начинающему аналитику данных, системному аналитику, дата-сайентисту и другим представителям сферы данных • Ссылки на полезные ресурсы, книги и бесплатные курсы • Советы HR-специалистов о том, как правильно составить резюме и наработать портфолио • Рейтинг зарплат для начинающих позиций в проектах по аналитике и Data Science Скачать план → https://netolo.gy/bMBg Реклама. ООО «Нетология» LatgBXffu

Spark UDAF — мощный инструмент для анализа данных и обработки сложных операций агрегации в Apache Spark. Как с помощью него разработать свой агрегатор? 📆Поговорим об этом 27 июня в 20:00 с Вадимом Заигриным, ведущим эксперт по технологиям в Сбербанке и преподавателем OTUS. Вебинар «Spark UDAF: разрабатываем свой агрегатор» приурочен к старту онлайн-курса «Spark Developer» в OTUS. 💻На открытом уроке рассмотрим агрегирование данных в Spark, стандартные агрегатные функции и создание собственных агрегатные функции (UDAF). После вебинара вы научитесь создавать собственные агрегатные функции. Урок предназначен для разработчиков Spark, которые хотят выйти за рамки стандартных функций и узнать, как создавать собственные агрегатные функции. Не упустите возможность получить ценные знания, продолжить обучение вы сможете на курсе, доступном в рассрочку. ➡️Для участия пройдите вступительный тест: https://otus.pw/55oC/ Нативная интеграция информация о продукте www.otus.ru

Не упустите уникальную возможность сделать карьеру в области машинного обучения. SMILES-2023 — это 12-дневный интенсивный курс для молодых специалистов, где вы сможете применить знания физики и машинного обучения для эффективного решения сложных инженерных задач в области устойчивого развития. Школа пройдёт с 20 по 31 августа в туркластере Белокуриха Горная — уникальной предгорной местности Алтайского края. Участие — бесплатное, но на основе конкурсного отбора. Подробности и подача заявки. Реклама. Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий», ИНН 5032998454

VK Tech Talks · ML для специалистов по машинному обучению Митап пройдёт в гибридном формате уже 22 июня в 19:00 по МСК: приходите в петербургский офис или смотрите онлайн-трансляцию (https://vk.com/video-147415323_456240052). Темы докладов Эксперты ВКонтакте на своём опыте расскажут, как создавать рекомендательные системы в очень разных высоконагруженных продуктах, какие задачи перед ними встают, с какими трудностями сталкиваются и поделятся способами их решения. ▪️ Общее устройство ленты; ▪️ Многокритериальная оптимизация в умной ленте; ▪️ Новая лента рекомендаций с фокусом на персонализированном медиаконтенте; ▪️ Рекомендации товаров в ленте и VK Маркете; ▪️ Implicit Feedback Is All You Need; ▪️ Ранжирование историй. Регистрируйтесь, чтобы попасть в закрытый чат, где вы сможете задать вопросы докладчикам. @machinelearning_interview

🌐 Что такое эмбединги в NLP. Приведите примеры. Эмбеддинги - это модель, которая позволяет предсказать близкие по смыслу слова, или слова которые чаще всего употребляются друг с другом. Построить эту модель можно следующим образом: Текст нужно разделить на словосочетания из нечетного количества слов. Например 3 или 5 слов. Это называют Context Window. На вход модели подается центральное слово из Context Window в формате one-hot вектора. На выход модели подаются слова которые идут следом или перед ним. Для Context Windows = 3, это будут 2 one hot вектора (предыдущее слово и следующее слово), либо сумма этих 2х векторов (bag of words). Если Context Window будет равным 5, то слов будет 4, а не 2. Затем нужно сдвинуть Context Window на один шаг и повторить процедуру. Таким образом мы создадим датасет для обучения. Этот датасет мы подадим в автоенкодер для обучения. Такая модель называется Skip Gram (Когда на входе центральное слово, а на выходе то что его окружает). CBOW - это наоборот, когда мы в модель подаем то что окружает слово, а на выходе получаем центральное слово. Размер входного слоя и выходного слоя равен размеру словаря. Входной слой и скрытый слой кодируют слово. Скрытый слой и выход декодируют слово. Таким образом можно, закодировать one hot вектора в эмбеддинг. А вектор эмбединга будет заметно меньше, чем one-hot вектор. Эмбедингом называется матрица весов между входом и скрытым слоем. Или значения, которые возникают на скрытом слое, при подаче one-hot вектора слова в модель. Эмбеддинг, в дальнейшем можно передать в классификатор, вместо Bag of words. Делается это следующим образом: Береться строка и каждому слову ставятся индексы из словоря. Получается вектор индексов. Затем для каждого слова, нужно поставить его эмбединг по индексу слова. Получается двумерный вектор размером [ длина строки ] X [ размер эмбединга ]. Например, 300 x 50. После этого, этот вектор надо передать в классификатор. Т.к. используются уже двумерные слои, можно использовать сверточные сети. Это будет уже новая нейронная сеть, которая принимает на вход индексы слов, превращает их в вектор эмбединга, а после отправить результат в классификатор. И данную сеть можно обучать, в том числе обучить и эмбединг. Можно взять готовый эмбединг, а можно обучить его самостоятельно. model = ai.CustomModel( model_name = "Model_embedding_1", input_shape = input_shape, module = nn.Sequential( nn.Embedding(10000, 50), Transform_Flat(), nn.Linear(300*50, 1024), nn.ReLU(inplace=True), nn.Linear(1024, 256), nn.ReLU(inplace=True), nn.Linear(256, output_shape[0]), nn.Softmax(dim=-1), ), ) @machinelearning_interview

VK Tech Talks · ML для специалистов по машинному обучению Митап пройдёт в гибридном формате уже 22 июня в 19:00 по МСК: приходите в петербургский офис или смотрите онлайн-трансляцию (https://vk.com/video-147415323_456240052). Темы докладов Эксперты ВКонтакте на своём опыте расскажут, как создавать рекомендательные системы в очень разных высоконагруженных продуктах, какие задачи перед ними встают, с какими трудностями сталкиваются и поделятся способами их решения. ▪️ Общее устройство ленты; ▪️ Многокритериальная оптимизация в умной ленте; ▪️ Новая лента рекомендаций с фокусом на персонализированном медиаконтенте; ▪️ Рекомендации товаров в ленте и VK Маркете; ▪️ Implicit Feedback Is All You Need; ▪️ Ранжирование историй. Регистрируйтесь, чтобы попасть в закрытый чат, где вы сможете задать вопросы докладчикам. @machinelearning_interview

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие. Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции. ✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!

Как устроены нейронные сети и как применять их в продуктовой аналитике Разберёмся в прямом эфире: 14 июня в 19:00 (по Москве) Вебинар проведёт Анатолий Карпов — автор тех самых бесплатных курсов на stepik, основатель школы karpovꓸcourses и по совместительству ведущий аналитик с опытом работы в Mail.Ru, VK и JetBrains. Ждём вас на трансляции! Регистрируйтесь, чтобы не пропустить

Ищу ml специалиста для разработки быстрой, эффективной системе трекинга движений человека в реальном времени Мы компания metadreamteam.io - амбициозная команда XR разработчиков и 3Д артистов, работающая на американском рынке, которая делает проекты для всего мира! От Екомерс до real estate. От внедрения лучших решений на рынке до создания своих разработок с нуля. Сейчас делаем свою разработку по созданию умного зеркала для примерки одежды. Необходимо разработать систему трекинга на основании данных с rgb потока камеры , включающую от 8 основных точек скелета их положение и вращение с минимальной возможной погрешностью. Нужно выбрать архитектуру, спрогнозировать обьем базы данных, аппаратные мощности для обучения и работы нейросети. И создать ее обосновав решение Работа удаленная. Фриланс. Оплата от $40 в час Если ты хочешь работать с лучшими в индустрии, делать амбициозные проекты и зарабатывать в валюте - тогда заполняй эту форму, чтобы присоединиться к нам! - https://forms.gle/JkFgki9dNCggkz5PA

🔍 Что такое объяснительные алгоритмы Когда они используются? Приведите примеры объяснительных алгоритмов Что такое объяснительные алгоритмы? Объяснительные алгоритмы позволяют нам обнаруживать и понимать переменные, которые оказывают статистически значимое влияние на выходное значение (результат). Вместо создания алгоритмов для предсказания значений, мы создаем объяснительные модели для понимания взаимосвязи между переменными в модели. С точки зрения регрессии, очень много внимания уделяется статистически значимым переменным. Почему? Практически всегда вы будете работать с выборкой данных, являющейся подмножеством всей совокупности. Для того чтобы сделать верные выводы о совокупности по выборке, важно убедиться, что результат статистически значим. Недавно появились два метода: SHAP и LIME. Они используются для интерпретации моделей машинного обучения. Когда используются? Объяснительные модели эффективны, когда вы хотите понимать, почему выбрано именно такое решение. Или когда вы хотите понять как две или более переменных связаны между собой. На практике возможность объяснить, как ваша модель работает, так же важна, как и качество модели. Если вы не можете объяснить, никто не поверит ей и никто не будет её использовать. Это особенно актуально для банковской сферы, где все модели должны быть интерпретируемыми. Примеры алгоритмов Традиционные объяснительные модели, основанные на проверке гипотез: ▪Линейная регрессия. ▪Логистическая регрессия. Алгоритмы для объяснения моделей машинного обучения: ▪SHAP; ▪LIME. @machinelearning_interview

⚡️ Стартовал прием заявок на Технологический конкурс НТИ Up Great «Экстренный поиск»! Участникам предстоит преодолеть комплексный технологический барьер, предусматривающий разработку технологий и технических решений, объединенных в единую систему, позволяющую эффективно использовать техническое зрение при поиске пропавших людей с применением беспилотных воздушных судов (БВС). На первом этапе (Сателлит №1) участникам необходимо разработать программное решение для поиска объектов (людей) на изображениях, полученных с БВС.  Призовой фонд Сателлита №1 составляет 5 млн руб.  Лучшим командам, удовлетворяющим требованиям технического регламента, организаторами будут предоставлены БВС для участия во втором этапе (Сателлит №2) и финале конкурса. Призерами и победителями могут стать только налоговые резиденты РФ. 📲 Заявки на Сателлит № 1 принимаются до 12 июня 2023 г. по ссылке. Конкурс организуется совместно МФТИ, Фондом НТИ и добровольческим поисково-спасательным отрядом «ЛизаАлерт». Общий призовой фонд составляет 135 млн руб.

Что такое алгоритмы схожести и когда они используются? Алгоритмы схожести вычисляют сходство пары записей/узлов/точек/текстов. Есть алгоритмы, которые вычисляют расстояние между двумя значениями данных, такими как расстояние Евклида. А также есть алгоритмы, вычисляющие схожесть текстов, такие как алгоритм Левенштейна. Когда используются? Алгоритмы сходства применяются повсеместно, но чаще всего в рекомендательных системах. ▪Какие статьи предложит тебе Medium, основываясь на прочитанном тобой ранее? ▪Какие ингредиенты вы можете использовать для замены голубики? ▪Какие треки предложит тебе Spotify, основываясь на треках, которые тебе уже нравятся? ▪Какие продукты Amazon предложит тебе, основываясь на истории покупок? Это только некоторые примеры применения алгоритмов сходства в повседневной жизни. Примеры алгоритмов Ниже приведены самые популярные алгоритмы сходства: ▪К-ближайших соседей; ▪расстояние Евклида; ▪косинусное сходство; ▪алгоритм Левенштейна; ▪алгоритм Джаро-Винклера; ▪сингулярное разложение (SVD). @machinelearning_interview