Machine learning Interview

🔮 Больших данных не нужно бояться — с их помощью можно менять мир Как аналитики превращают массивы информации в пользу для людей и компаний — расскажут специалисты из сферы на бесплатном митапе Нетологии «Аналитика сегодня: как данные помогают прогрессу». Вы познакомитесь с кейсами из бизнеса, узнаете, как аналитики помогают в создании новых лекарств и развитии промышленности, и поймёте, интересно ли вам дальше разбираться в теме. Участники эфира получат пошаговый гайд для входа в сферу и смогут принять участие в розыгрыше курса по Excel. Присоединяйтесь, чтобы аналитика стала для вас понятнее и ближе Реклама ООО Нетология LatgC4qpb

🛠 Что такое RAG? RAG - это техника, которая повышает производительность языковых моделей путём предоставления модели контекста вместе с вопросом. Существуют разные подходы к использованию RAG. В некоторых случаях используют две LLM, в некоторые встраивают классификаторы или проводят поиск контекста по базе документов. Зависит от целей. Мы возьмём самый простой: Последовательность действий: Передадим модели информацию о нашем заводе без дополнительного тюнинга; Создадим базу векторов, где будут храниться ембеддинги ранее заданных вопросов (кэш); При обращении к модели, будем проверять, задавались ли ранее похожие вопросы. Если да, то отдаём ранее сгенерированные ответы. Зачем использовать кэш? 🟡Чтобы увеличить скорость ответов для вопросов, которые задавались ранее. 🟡Снизить затраты при использовании платных API (GTP-3.5, GPT-4) для ответов на однотипные и повторяющиеся вопросы. ❓Деконструкция RAG❓ Бывает трудно уследить за всеми стратегиями RAG, появившимися за последние месяцы. Вот несколько основных тем, с ссылками на доп. материалы: 1️⃣ Преобразование запросов - вопросы пользователей могут быть не совсем удачно сформулированы для поиска. 2️⃣ Маршрутизация - Запросы могут быть направлены к различным источникам данных. 3️⃣ Построение запросов - Для доступа к структурированным данным естественный язык должен быть преобразован в определенный синтаксис запроса. 4️⃣ Построение индексов - Один из наиболее полезных приемов, который можно использовать, - это разделение: разделите то, что вы индексируете для поиска, и то, что вы передаете llm для синтеза ответа. 4️⃣.1️⃣ Полуструктурированные - В этом руководстве показано, как можно использовать RAG для работы с документами (статьями), содержащими таблицы. 5️⃣ Постпроцессинг - Получив найденные документы, можно по-разному их ранжировать/фильтровать их. @machinelearning_interview

Где ML-специалисту попрактиковаться перед собеседованием или подглядеть лучшие практики решения своих задач? На Симуляторе ML вы не просто прокачаете отдельные навыки, а поймёте, как сводить бизнес-задачи к задачам машинного обучения — всё как на настоящей работе. Вы научитесь: - Понимать, какие у бизнеса есть проблемы и какими метриками их можно измерить - Проводить А/В-тесты, чтобы подтверждать прирост метрик - Формулировать задачу для модели - Выбирать подходящую модель и обучать её - Организовывать процесс доставки данных для модели - Оборачивать модель в сервис и деплоить его После симулятора вы точно найдете применение знаниям в работе или сможете успешно пройти собеседование на позицию в сфере Machine Learning и приносить пользу бизнесу уже с первых дней. До конца ноября в karpovꓸcourses действуют скидки до 27%, успейте купить подписку на Симулятор по самой выгодной цене! [Начать учиться]

🔥 Алгоритмы, которые вы должны знать, прежде чем проходить собеседования по системному проектированию Эти алгоритмы полезны не только на собеседованиях, но и полезны для понимания любому инженеру-программисту. Следует помнить, что понимание того, "как эти алгоритмы используются в реальных системах", обычно важнее, чем детали реализации на собеседовании по проектированию систем. Что означают звездочки на диаграмме? Пять звезд: Очень важно знать. Постарайстесь понять, как это работает и почему. Три звезды: Важны в некоторой степени. Возможно, вам не нужно знать детали реализации. Одна звезда: Продвинутый. Полезно знать Senior кандидатам. @machinelearning_interview

🎮Одним из самых увлекательных направлений, в котором широко используется обучение с подкреплением, является киберспорт. 🔥В программе курса Reinforcement Learning в OTUS подробно разбираются одни из самых интересных кейсов применения RL в игровой индустрии. 21.11 в 20.00 мск. приглашаем на открытый урок “Игры c человеком и компьютером”  📌На занятии: - узнаем историю противостояния человека и компьютера в настольных и компьютерных играх; - познакомимся с основными идеями и подходами при создании игровых интеллектуальных агентов с помощью обучения с подкреплением;  - покажем как обучить модель эффективно управлять группой юнитов в одной из популярных игр. После урока вы будете понимать как разрабатываются интеллектуальные агенты для различных игр и какие шаги необходимо пройти для реализации собственного игрового бота. 👉Регистрация https://otus.pw/tb0b/ При поступлении в группу возможны разные способы оплаты и рассрочка платежа. Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K22Ec

🚀 Если вы хотите усовершенствовать свои навыки в области машинного обучения, ознакомьтесь с этими репозиториями 1️⃣ Многомесячный учебный план по машинному обучению 2️⃣ План подготовки к собеседованиям по Machine Learning 3️⃣ Машинное обучение с Tensorflow 4️⃣ Список примеров машинного обучения 5️⃣ Список замечательных фреймворков и библиотек машинного обучения 6️⃣ ML для начинающих от Microsoft 7️⃣ Изучение основ машинного обучения с помощью интуитивно понятных объяснений, чистого кода и визуализаций. 8️⃣ Машинное обучение своими руками @machinelearning_interview

❗️ Какие инструменты нужны для эффективного машинного обучения? 👉 Узнайте на бесплатном открытом уроке «Bagging, Random Forest, стекинг - ансамбли моделей для решения ML-задач» от OTUS и Марии Тихоновой – Senior Data Scientist в «SberDevices» и преподавателя ВШЭ. 🔹 На вебинаре узнаете, как применять ансамбли моделей для решения задач ML и изучите основные подходы к ансамблированию моделей 🔹 Разберем методы ансамблирования Bagging, Random Forest и стекинг Занятие пройдёт 23 ноября в 18:00 мск и будет приурочено к старту курса «Machine Learning. Professional» 📌 Результаты урока: Вы освоите такие популярные методы как Bagging, Random Forest и Стекинг  👉 РЕГИСТРАЦИЯ https://otus.pw/t2ac/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🔥 Дайджест полезных материалов из мира Машинного обучения за неделю Почитать: — Bounding boxes для обнаружения объектов — что это, простым языком — Разработка алгоритмов обработки данных в реальном времени на Python — Лучшие практики Golang (20 лучших) — Нейронные сети для новичков и профи: топ бесплатных курсов по ИИ — 5 уровней зрелости MLOps — Персонализация тарифного плана для новых абонентов: как оцифровать привлекательность — Создание видео zoom in и zoom out с помощью inpainting в Kandinsky — Парк юрского периода глазами нейросети: как развернуть Diffusers для генерации изображений за 10 минут — Ближайшее будущее AI в рентгенологии. Мои комментарии к статье в RSNA — Использование Insightface для быстрого поиска и сравнения лиц на изображениях — OpenAI DevDay – ещё 5 видео про то, как работает компания, и как AI применять разработчикам — How to install NVIDIA drivers for machine learning on Ubuntu — Working through the fast.ai book in Rust - Part 1 — Why ChatGPT and other LLMs are overrated and won't take your job — Demystifying Transformer Models: Unveiling the Magic of Natural Language Processing — A Quick Look At Natural Language Generation (NLG) — AI Log #2: What is a Cost Function in Machine Learning? — The Next Generation of AI Developer Tools — AI Development Guide 2024 — What is a Conditional Generative Adversarial Network? — The State of Serverless GPU Part -2 Посмотреть: 🌐 Lightning Interview “Large Language Models: Past, Present and Future” (⏱ 01:00:00) 🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24) Посмотреть: 🌐 Пишем генератор Shorts видео на Python для заработка на YouTube. (⏱ 11:50) 🌐 Озвучка и генерации контента с помощью #Python и AI (⏱ 00:44) 🌐 Замена лица на любой фотографии с помощью #python БЕСПЛАТНО! (⏱ 00:59) 🌐 Lightning Interview “Large Language Models: Past, Present and Future” (⏱ 01:00:00) 🌐 Thomas Scialom, PhD - Large Language Models: Past, Present and Future (⏱ 34:45) 🌐 Leveraging Generative AI in Education - A M Aditya (⏱ 31:24) 🌐 AI Art: How is This Quality Even Possible? (⏱ 05:29) Хорошего дня! #digest #machinelearning @machinelearning_interview

✅Одно из базовых назначений ArchiMate — объединение разрозненных представлений об архитектуре предприятия благодаря еë послойному представлению, где каждый слой показывает устройство уровней предприятия: стратегический уровень, бизнес-уровень, уровень приложений, технологический уровень и другие. 👉Узнайте больше 23.11 в 19:00 мск на бесплатном вебинаре «Введение в язык Архимейт: кому он будет полезен в работе?»: регистрация На вебинаре мы познакомимся: — с назначением языка Архимейт, его концепцией — основными элементами языка Архимейт — примерами диаграмм Урок будет полезен всем, кто хочет познакомиться с Архимейт: — архитекторам, — аналитикам, — тимлидам, — разработчикам. 🔥После урока вы сможете продолжить обучение на курсе со скидкой ЧП по промокоду BLACK23 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8Kchi2

🛥 The Data Provenance Initiative Data Provenance Initiative - это Data Provenance Collection, представляет собой крупномасштабный аудит 44 коллекций данных, охватывающих 1800 с лишним наборов данных для тонкой настройки, и содержит подробную документацию об их источниках, лицензиях, создателях и других метаданных. Скрипты в этом репозитории позволяют разработчикам отфильтровать наборы данных для тонкой настройки, которые наилучшим образом соответствуют их требованиям, начиная от самозаявленных лицензионных ограничений и заканчивая другими характеристиками данных https://github.com/Data-Provenance-Initiative/Data-Provenance-Collection @machinelearning_interview

Горящая вакансия для аналитиков данных от Ozon🔥 Аналитик данных в команду аналитики поиска Что по задачам: • Разрабатывать KPI метрики для продуктов поиска и повышать прозрачность продукта внутри компании в целом. • Собирать ETL процессы по обработке данных, дизайнить метрики и строить дашборды. • Проводить A/B-тесты: дизайнить, анализировать их и принимать решения по итогам. • Работать над методами повышения чувствительности для экспериментов ранжирования. • Заниматься продуктовым ресерчем. • Оптимизировать текущие процессы работы с данными. Стек: Python, PySpark, ClickHouse, Vertica, PostgreSQL, Airflow, Grafana. Ozon предлагает: • Без скромности — делать классные продукты на рынке e-com. • Достойную заработную плату по итогу собеседований. • Удалёнку, гибрид или офис. • Систему менторства, адаптации, обучения, ДМС (+стоматология). • Скидки на спорт и изучение английского языка, корпоративные клубы (киберспорт, кино, рисование, настолки, спорт, etc). • Сильное сообщество. Откликнуться на вакансию

🖥 Если вы работаете в области данных, вам предстоит пройти собеседование по SQL. Неважно, кто вы - специалист по машинному обучению или инженер по обработке данных. SQL присутствует везде. Вот несколько кратких советов от начинающих до продвинутых, которые вы должны знать и уметь говорить на собеседовании по SQL. Начинающим - Уметь объяснить различные типы объединений. Иногда я видел, что этот вопрос задается рекрутерами в качестве отборочного, чтобы убедиться, что они хотят взять вас на работу. - Знать, когда в порядке выполнения операций в SQL используется HAVING, а когда WHERE. - Знать разницу между UNION и UNION ALL Mid - Понимать, как использовать оператор CASE внутри функции SUM или COUNT - Знать, по крайней мере, 1-2 способа оптимизации запроса, и если вы решите, что одним из этих способов является создание индекса в таблице, то вы должны знать, какие плюсы и минусы есть у индекса. - Уметь реализовать как подзапрос, так и CTE, но использовать CTE, если вы хотите доказать, что у вас хорошие навыки работы с SQL. Продвинутый - Знать, как решить SQL задачу с использованием оконной функции и без нее. - Понимать и уметь объяснить, что такое коррелированный подзапрос. - Просто сошлитесь на то, что вы посмотрите на план выполнения запроса. Рекрутеры будут шокированы тем, что вы вообще знаете, что это такое. Мне бы хотелось услышать, какие вопросы вам задавали на собеседованиях по SQL. Пожалуйста, поделитесь ими в комментаряих!

🚀 Бесплатный курс по Pandas! Хотите работать с данными в Python, но не знаете с чего стоит начать? Приходите на наш бесплатный онлайн-курс, где на практических примерах и задачах вы сможете прокачать свои навыки и знания по работе с данными с помощью библиотеки Pandas в Python. Что вас ждет на курсе: ◾️ начнете работать с Pandas на примере реальных аналитических задач (проведете многомерный ABC-анализ, XYZ-анализ, рассчитаете динамику продаж и т.д.) ◾️ изучите самые азы и продвинутые функции по Pandas (например, сложная агрегация, оконные функции и т.д.) ◾️ сделаете собственный проект — ваш итоговый кейс! (реальный кейс автоматизации обработки финансовой отчетности от крупной региональной аптечной сети и сможете добавить его к себе в портфолио) Если вы только начинаете путь в анализе данных и хотите научиться использовать современные инструменты, мы поможем сделать первый шаг 😉 🔗 Зарегистрироваться на курс Реклама. ООО "Айти Резюме". ИНН 4025460134. Erid:LjN8JvzUA

📌 Это очень интересно Модель 13B, превосходящая GPT 4 по логическим рассуждениям Ссылка: https://arxiv.org/pdf/2311.06158.pdf @machinelearning_interview

Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах. В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python. Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества. 👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!

Модель RWKV V5 - 1.5B SOTA! И в настоящее время является лучшей в мире 🔥 мультиязычной моделью 🚀 в диапазоне параметров <2B (aka smol model). Это делает ее сильной моделью по умолчанию в своей весовой категории. Она может служить прочной основой для дальнейшей тонкой настройки. https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradio @machinelearning_interview

❗️Как эффективно развертывать модели в облаках?  ▶️ Узнайте на практике на бесплатном открытом уроке «Deploy моделей в облаках (MLOps в облаках)» от OTUS и Павла Филонова – Ex-Data Science Manager в Kaspersky. На открытом уроке:  🔹Рассмотрим вариант развертывания моделей в облачном kubernetes 🔹Куда складывать образы и как создавать и управлять кластером 🔹Как безопасно подключить развертывание к CI/CD ✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.  👉 РЕГИСТРАЦИЯ https://otus.pw/40dC/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8KavSV

⚡️ 5 функций активации, которые вы должны знать!

🔥 NVIDIA только что сделала Pandas в 150 раз быстрее без изменений кода. Все, что вам нужно сделать, это: %load_ext cudf.pandas import pandas as pd Их библиотека RAPIDS автоматически определяет, работаете ли вы на GPU или CPU, и ускоряет обработку. Попробовать можно здесь: https://colab.research.google.com/drive/12tCzP94zFG2BRduACucn5Q_OcX1TUKY3 Repo: https://github.com/rapidsai/cudf @machinelearning_interview