Machine learning Interview

📌Статья про метод главных компонент (PCA) ⏩Метод главных компонент (Principal Component Analysis или же PCA) — алгоритм обучения без учителя, используемый для понижения размерности и выявления наиболее информативных признаков в данных. Его суть заключается в предположении о линейности отношений данных и их проекции на подпространство ортогональных векторов, в которых дисперсия будет максимальной. ⏩В статье рассказывается о том, что: • PCA может быть реализован с использованием различных методов, включая вычисление собственных векторов и собственных значений ковариационной матрицы данных и сингулярное разложение матрицы данных. • PCA имеет преимущества, такие как понижение размерности с сохранением большого количества информации и ускорение обучения моделей. • Однако PCA также имеет недостатки, включая потерю части информации в данных и отсутствие смыслового значения главных компонент. • Существуют альтернативы PCA, такие как LLE, t-SNE, UMAP и autoencoders, которые могут быть предпочтительными в определенных ситуациях и типах данных. 📎 Статья @machinelearning_interview

⚡20 марта в 20.00 мск приглашаем на открытый урок курса “Reinforcement Learning” в OTUS, на котором построим торгового агента с использованием фреймворка FinRL. На эфире мы: - посмотрим на один из свободно распространяемых фреймворков для моделирования финансового рынка; - узнаем, как реализовать модель и построить торгового агента в несколько строк кода с использованием FinRL; - ответим на все возникающие вопросы. 👉Регистрация https://otus.pw/OGTx/?erid=LjN8K2yZr 💡Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику и решение финансовых задач, таких как управление финансовым портфелем и задачи кредитного скоринга. При поступлении в группу возможны разные способы оплаты и рассрочка платежа

⚡️ Interactively explore your Huggingface dataset with one line of code Библиотека датасетов Hugging Face не только предоставляет доступ к более чем 70 тыс. общедоступных наборов данных, но и предлагает очень удобные конвейеры подготовки данных для пользовательских наборов. Renumics Spotlight позволяет создавать интерактивные визуализации ваши данных. Поскольку Spotlight понимает семантику данных в наборах данных Hugging Face, вы можете начать работу всего с нескольких строк кода: import datasets from renumics import spotlight ds = datasets.load_dataset('speech_commands', 'v0.01', split='validation') spotlight.show(ds) 📌 Читать дальше 📌 Github @machinelearning_interview

Вариант для тех, кто ищет виртуальный сервер с хорошей веб-защитой — Aéza: – Виртуальные сервера до 6.0 ГГц на лучших процессорах; – Профессиональная фильтрация атак StormWall; – Круглосуточная поддержка; – Anycast фильтрация; – Низкие цены; – 15% кешбэка по ссылке. Бесконечно можно смотреть на три вещи: на огонь, воду и скидку от Aeza! Говорят: твоё от тебя не уйдет. А зачем ждать? Динозавры тоже ждали и остались в прошлом Используй 50% скидку и погнали в будущее! Кроме того, сейчас Aéza раздает личные бесплатные сервера, забираем тут. Регистрация, подписка, платежи не потребуются. Реклама. Индивидуальный предприниматель Лобанов Леонид Константинович. ИНН 781625705648 erid: LjN8KEr3S

🔥 Microsoft выпустил отличные курсы по искусственному интеллекту Сохраняй! 12 бесплатных уроков Github! Научитесь создавать приложения с использованием нейронных сетей! Среди уроков есть изучение и сравнение разных языковых моделей (LLMs), основы промт-инжиниринга и создание приложений с ИИ. @DevOPSitsec

🚀 GPM AdTech Challenge от «Газпром-Медиа» и Getintent Когда: 18-30 марта Формат: гибридный Три задачи на выбор: 1) Сервис перевода и дубляжа видеоконтента 2) Предсказание конверсий пользователей в рекламном аукционе 3) Генератор креативов Ты можешь стать победителем независимо от своего технического бэкграунда. Создавай прототип и участвуй в состязании за общий призовой фонд в 1 000 000 рублей. Регистрация до 18 марта: https://cnrlink.com/gpmmli 🎙 Frontend Мeetup от Росбанка Когда: 22 марта Формат: очный, Казань Вас ждут доклады специалистов Росбанка, СберМаркета и VK Добра. Авторы лучших вопросов получат мерч. Регистрация до 20 марта: https://cnrlink.com/rbkazanmli 💢 «Халява, приди!»‎ от Codenrock Когда: весь март Формат: онлайн Реши несложные задачи по программированию и получи возможность стать обладателем промокода на любой маркетплейс Регистрация до 30 марта: https://cnrlink.com/halyavamli Реклама. ООО "Цукер студия". ИНН 7751071015. erid: LjN8KPZM2

Ищете идеи для создания реальных ML-проектов? 💡 Создание системы ML, которая предсказывает невыплату кредитам. Полный код👷🏾‍♀️👷↓ https://www.kaggle.com/code/faressayah/lending-club-loan-defaulters-prediction/notebook @machinelearning_ru

До 31 марта регистрируйтесь на конкурс прикладной разработки «If…else». Рады сообщить о запуске регистрации на конкурс прикладной разработки «If…else» от GitVerse в рамках олимпиады «IT-Планета 2024»! Если вам от 18 до 35 лет, вы пишете на C/C++/Java/Python, у вас есть опыт разработки прикладных решений и отличные знания по части алгоритмов, участвуйте и получайте возможность выиграть до 500 тыс. рублей! Для участия необходимо до 31 марта зарегистрироваться и пройти отборочное тестирование на площадке для разработчиков GitVerse от СберТеха. Конкурс состоит из трех этапов: отборочное тестирование, основной этап в виде решения прикладной задачи и очный финал. Призовой фонд конкурса составляет 500 тыс. рублей*! Подробные условия конкурсов и регистрация. Следите за новостями и удачи в конкурсе! *За вычетом НДФЛ

📈 Вышел первый международный рейтинг Global Generative AI Landscape 2024. Его опубликовал AIPort. В него попали самые заметные разработки в сфере GenAI по ключевым категориям, в том числе две нейросети от Яндекса: текстовая YandexGPT и мультимодальная YandexART. Яндекс отмечен как одна из 11 компаний со всего мира, разрабатывающих более одного типа генеративных AI-моделей. В этот же список попали Open AI, Google, Microsoft, Meta, Tencent и другие. Странами-лидерами по количеству активных компаний GenAI стали США, Китай, Аргентина, Великобритания, Израиль, Южная Африка. ▪️Читать @machinelearning_interview

⚡️ Топ репозиториев для развития ваших навыков разработчика. - Полное руководство по работе с данными: https://github.com/DataEngineer-io/data-engineer-handbook - Руководство "Путь к Senior разработчику : https://github.com/jordan-cutler/path-to-senior-engineer-handbook - Лучшие ресурсы по системному проектированию : https://github.com/systemdesign42/system-design - Более 100 ресурсов, чтобы стать продвинутым разработчиком: https://github.com/gregorojstersek/resources-to-become-a-great-engineering-leader @machinelearning_interview

HOSTKEY – международный хостинг-провайдер предлагает в аренду выделенные и виртуальные GPU-серверы с почасовой или месячной оплатой.  🔥Доступны конфигурации с игровыми картами RTX4090 и профессиональными RTX A500 24Gb и Tesla H100 / A100 80Gb.  Дата-центры в России, Нидерландах и Исландии.  Скидки до 30%. Стоимость от 10 руб./ч или 7 500 руб. в месяц. HOSTKEY предлагает гранты для перспективных проектов в области Data Science и для победителей конкурсов по исследованию данных на платформе Kaggle и других площадках. Спрос на серверы высокий, количество серверов ограничено. 🔥Закажите сервер сегодня или оставьте заявку на предзаказ. erid: LjN8KCUNs

🌟 Самые известные виды и архитектуры нейронных сетей Вот подробнее о некоторых из них: ⏩Перцептрон — состоит из 1 слоя нейронов, которые принимают входные данные, вычисляют взвешенную сумму входов и используют функцию активации для преобразования этой суммы в выходной сигнал. Используется в основном для обучения линейно разделимых наборов данных. ⏩Рекуррентная нейронная сеть (RNN) — имеет рекуррентные (обратные) связи, что позволяет ей использовать информацию из предыдущих шагов для обработки текущих входных данных. Это делает RNN идеальной для распознавания речи, рукописного текста и перевода. ⏩LSTM (Long Short-Term Memory) — способна обучаться долговременным зависимостям, что делает их особенно полезными для задач, связанных с последовательностями. Они используются в широком диапазоне приложений, от распознавания рукописного текста и распознавания речи до генерации текста и анализа временных рядов. ⏩Сверточная нейронная сеть (CNN) — используется для обработки данных с сетчатой топологией. Они особенно полезны для обработки изображений и других двухмерных входных данных. CNN широко используются в приложениях компьютерного зрения, таких как распознавание образов и обработка изображений. ⏩Глубокая сеть доверия (DBN) — использует алгоритм глубокого обучения для обучения сложным вероятностным моделям. Используются для решения многих видов задач, таких как классификация, регрессия, кодирование, декодирование, моделирование и генерация. ⏩Генеративно-состязательная сеть (GAN) — используется для генерации новых данных, похожих на данные обучения. GAN используется для решения многих видов задач, таких как генерация изображений, преобразование изображений и восстановление изображений. Годная статья — "Зоопарк архитектур нейронных сетей" @data_analysis_ml

⚡️ Шпаргалка для алгособеса 2 — графовые и строковые алгоритмы 📌 Читать дальше 📌Часть 1: алгоритмическая сложность, структуры данных, методы сортировки и Дейкстра @machinelearning_interview

4️⃣самые популярные функции активации, о которых нужно иметь представление — Сигмоида Нелинейна по своей природе, поэтому комбинация таких функций производит тоже нелинейную функцию. Так что она хорошо подходит для комбинации слоёв. Чаще всего применяется в задачах бинарной классификации, где нужно предсказать вероятность принадлежности к одному из 2 классов. — Tanh Гиперболический тангенс — это скорректированная сигмоидная функция. Стоит отметить, что градиент тангенциальной функции больше, чем у сигмоиды; она растёт быстрее. Активное используется в рекуррентных сетях, вероятностных моделях и т.д. — ReLU Имеет низкую вычислительную сложность, устойчива к переобучению. Область допустимых значений ReLu — [0, inf), то есть активация может "взорваться" от больших значений. Широко применяется в глубоких нейронных сетях благодаря простоте и отсутствию затухающего градиента — Leaky ReLU Модификация ReLU, призвана решить проблему "умирающей ReLU". Используется в нейронных сетях для введения нелинейности в выходные данные каждого нейрона. 📁Лекция МГУ в тему [pdf] @data_analysis_ml

⚜️Вышел релиз GitLab 16.9 с расширенным доступом к бета-версии Duo Chat GitLab Duo Chat может: ➖Объяснить или пересказать содержание тикета, эпика или кода. ➖Ответить на конкретные вопросы об этих артефактах. Например: «собери все аргументы, упомянутые в комментариях применительно к решению, предложенному в этом тикете». ➖Сгенерировать код или текст на основе информации из этих артефактов. Например: «напиши документацию для этого кода». ➖Помочь вам начать работать с GitLab с нуля. Например: «создай файл конфигурации .gitlab-ci.yml для тестирования и сборки приложения Ruby on Rails с конвейером CI/CD GitLab». ➖Ответить на вопросы любого уровня сложности, от новичка до эксперта. Например: «Как настроить динамическое сканирование безопасности приложений для REST API?» ➖Ответить на последующие вопросы, чтобы вы могли последовательно проработать упомянутые сценарии. 🔗 Duo Chat @machinelearning_interview

🖥 45+ IT-компаний ищут стажёров и джунов  Карьерные форумы "Найти IT" — это шанс пообщаться с топовыми компаниями и получить оффер. Среди работодателей будут Сбер, Яндекс, Kaspersky, Avito и многие другие. Что вас ждёт: 🔹 Мастер-классы, кейсы и Q&A-сессии. 🔹 Розыгрыш призов среди участников. 🔹 Обширное пространство для общения и обмена опытом. 🔹 Карьерные консультации от HR-ов. Участие бесплатное!  Выбирайте город и регистрируйтесь👇🏻 📍 Москва — 6 марта 📍 Санкт-Петербург — 6 апреля 📍 Новосибирск — 10 апреля

🎙Создание локально работающего голосового помощника В этой статье я расскажу о том, как создать помощника, который позволит вокально взаимодействовать с LLM с открытым исходным кодом. Все компоненты будут работать локально на вашем компьютере. Архитектура Архитектура включает три отдельных компонента: 🔵сервис обнаружения “пробуждающего” слова, активирующего голосового помощника (wake-word detection service); 🔵сервис голосового помощника (voice assistant service); 🔵чат-сервис (chat service). 📌 Продолжение @machinelearning_interview

Уже слышали про GitVerse? Это новая платформа для совместной разработки и хостинга кода от СберТеха. Сервис полностью российский – работать с ним удобно, безопасно и надежно. С GitVerse разработчики смогут создавать проекты с открытым и закрытым кодом, переносить репозитории с других площадок, привлекать новых участников и назначать задачи. А еще: - делать код-ревью и объединять изменения; - оптимизировать рабочий процесс: назначать ответственных за ревью и отслеживать результат; - получать запросы на слияние и объединять ветки; - подписываться на обновления пользователей и репозиториев и оставаться в курсе активностей команды; - общаться с ИТ-сообществом, узнавать новости и читать материалы про open source. Вся функциональность GitVerse доступна разработчикам бесплатно. Зарегистрируйтесь и откройте возможности GitVerse уже сейчас.

⚡️ Новая архитектура без трансформеров DeepCN , превосходит все возможные трансформеры в анализе временных рядов. Репозиторий, показывающий, почему трансформеры не работают в прогнозировании временных рядов, демонстрирующий лучшие модели SOTA без трансформеров 'Transformers Are What You Don't Need' -> ▪Github #прогнозирование @machinelearning_interview

Работаешь с данными и чувствуешь, что из них можно получить больше? В DataWorkshop расскажут как это сделать. 5 дней практики в Data Science на реальных данных магазина из Великобритании. 1-2 часа в день и самостоятельно создаешь модели машинного обучения. Старт - 4 марта. Обучаешься под руководством эксперта в своем темпе, в удобное время. 6000+ человек из разных стран мира уже приняли участие в данном интенсиве. 15 лет практического опыта у автора интенсива, поэтому полученные знания можно сразу применять в рабочих проектах. Обучают с 2017 года. Предоставляем готовое окружение - ничего устанавливать и настраивать не нужно. Участие бесплатно только для первых 100 записавшихся человек. Успевайте записаться по 👉 ЭТОЙ ССЫЛКЕ А еще много полезной информации о том, как начать работать в сфере Data Science в их канале. Реклама: ИП Кравченко Николай Васильевич LjN8KCNbP