Machine learning Interview

🔥 GaLore is a new Memory Efficient Fine-tuning Technique GaLore - это новый метод файнтюнинга, позволяющий эффективно использовать память, для “полной настройки” моделей с миллиардами параметров, таких как Llama 2 7B на графических процессорах. В отличие от LoRa, GaLore сокращает объем памяти, проецируя состояния оптимизатора и градиенты в более низкое измерение. 🤯 🚀 Обучает модели до 7 миллиардов параметров на графических процессорах, таких как NVIDIA RTX 4090 💾 До 82,5% сокращается объем памяти для хранения состояний оптимизатора 🔺 Может комбинироваться с 8-разрядными оптимизаторами для максимальной эффективности памяти 🥇 Превосходит LoRa на GLUE и предварительную подготовку Llama на C4 🤗 Интегрирован в Hugging Face Transformers с galore_adamw или galore_adamw_8bit Статья: https://huggingface.co/papers/2403.03507 Блог с примерами: https://huggingface.co/blog/galore @machinelearning_interview

🖥 Cheatsheet по Pandas Держите годную шпаргалку по работе с библиотекой Pandas, тут описано самое основное, что может понадобиться в работе: ⏩Группировка данных по заданным параметрам. ⏩Объединение нескольких таблиц в одну сводную. ⏩Очищение данных от дубликатов и невалидных строк или столбцов. ⏩Вывод определенных значений по фильтрам или уникальности. ⏩Использование агрегирующих функций, включая подсчет значений, суммы элементов, определение среднего значения. ⏩Визуализация собранных данных. Пользуйтесь) @pythonl

🤖 Выступите с докладом про AI и ML в кибербезопасности на PHDays Fest 2 в «Лужниках»! AI — угроза или революция? Как бы то ни было, с угрозами и возможностями использования AI и ML, в том числе в сфере кибербезопасности, мы сталкиваемся уже сегодня. Вы эксперт в этой теме и у вас есть свежий взгляд на актуальные проблемы искусственного интеллекта в кибербезе и на пути их решения? Тогда вы можете собрать на доклад целый стадион! Успейте до 1 апреля подать заявку на выступление на киберфестивале Positive Hack Days 2, который пройдет с 23 по 26 мая в Москве. Успейте подать заявку до 1 апреля на сайте киберфестиваля

🔥 Вот обновленная таблица теоретического сравнения TFLOPS, включающая только что анонсированные B100 и B200: https://github.com/stas00/ml-engineering/tree/master/compute/accelerator#tflops-comparison-table @machinelearning_interview

Is Fashion ML Profession? Правильный ответ Lamoda Tech назовет на Data Science митапе 28 марта. Приходиобсудить ML-эксперименты и готовые решения «под капотом» крупнейшей моднойплатформы в России! Раскроем все details: как адаптируем каталог под индивидуальный стильпользователей, отвечаем на сложные запросы в поиске, подбираем образы на уровнестилистов и рекомендуем подходящие размеры. Программа: 19:05 Data Science в Lamoda: особенности применения ML в Fashion E-commerce Александр Желубенков, Head of Data Science 19:35 Рекомендация размера с помощью машинного обучения Никита Чуркин, Teamlead of Personalisation 20:20 В поисках стиля: Deep Learning в fashion-индустрии Илья Черников, Senior Data Scientist Между выступлениями и после будем общаться за вкусными закусками и напитками, аеще поиграем в настольный теннис и кикер. Ждем вас в нашем офисе или онлайн! Регистрация обязательна по ссылке

⚡️ Статья от ML-разработчика Яндекса о том, что такое квантизация нейросетевых моделей, зачем она нужна и как с ней работать. Квантизация — это процесс преобразования значений из представления с большим объёмом информации в более компактное представление. Она позволяет повысить эффективность модели, сэкономить ресурсы и улучшить пользовательский опыт. О методах, типах данных и сложностях, с которыми встречаются ML-инженеры, можно прочитать в статье. ▪️ Хабр @machinelearning_interview

📌Статья про метод главных компонент (PCA) ⏩Метод главных компонент (Principal Component Analysis или же PCA) — алгоритм обучения без учителя, используемый для понижения размерности и выявления наиболее информативных признаков в данных. Его суть заключается в предположении о линейности отношений данных и их проекции на подпространство ортогональных векторов, в которых дисперсия будет максимальной. ⏩В статье рассказывается о том, что: • PCA может быть реализован с использованием различных методов, включая вычисление собственных векторов и собственных значений ковариационной матрицы данных и сингулярное разложение матрицы данных. • PCA имеет преимущества, такие как понижение размерности с сохранением большого количества информации и ускорение обучения моделей. • Однако PCA также имеет недостатки, включая потерю части информации в данных и отсутствие смыслового значения главных компонент. • Существуют альтернативы PCA, такие как LLE, t-SNE, UMAP и autoencoders, которые могут быть предпочтительными в определенных ситуациях и типах данных. 📎 Статья @machinelearning_interview

⚡20 марта в 20.00 мск приглашаем на открытый урок курса “Reinforcement Learning” в OTUS, на котором построим торгового агента с использованием фреймворка FinRL. На эфире мы: - посмотрим на один из свободно распространяемых фреймворков для моделирования финансового рынка; - узнаем, как реализовать модель и построить торгового агента в несколько строк кода с использованием FinRL; - ответим на все возникающие вопросы. 👉Регистрация https://otus.pw/OGTx/?erid=LjN8K2yZr 💡Обучение на курсе позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику и решение финансовых задач, таких как управление финансовым портфелем и задачи кредитного скоринга. При поступлении в группу возможны разные способы оплаты и рассрочка платежа

⚡️ Interactively explore your Huggingface dataset with one line of code Библиотека датасетов Hugging Face не только предоставляет доступ к более чем 70 тыс. общедоступных наборов данных, но и предлагает очень удобные конвейеры подготовки данных для пользовательских наборов. Renumics Spotlight позволяет создавать интерактивные визуализации ваши данных. Поскольку Spotlight понимает семантику данных в наборах данных Hugging Face, вы можете начать работу всего с нескольких строк кода: import datasets from renumics import spotlight ds = datasets.load_dataset('speech_commands', 'v0.01', split='validation') spotlight.show(ds) 📌 Читать дальше 📌 Github @machinelearning_interview

Вариант для тех, кто ищет виртуальный сервер с хорошей веб-защитой — Aéza: – Виртуальные сервера до 6.0 ГГц на лучших процессорах; – Профессиональная фильтрация атак StormWall; – Круглосуточная поддержка; – Anycast фильтрация; – Низкие цены; – 15% кешбэка по ссылке. Бесконечно можно смотреть на три вещи: на огонь, воду и скидку от Aeza! Говорят: твоё от тебя не уйдет. А зачем ждать? Динозавры тоже ждали и остались в прошлом Используй 50% скидку и погнали в будущее! Кроме того, сейчас Aéza раздает личные бесплатные сервера, забираем тут. Регистрация, подписка, платежи не потребуются. Реклама. Индивидуальный предприниматель Лобанов Леонид Константинович. ИНН 781625705648 erid: LjN8KEr3S

🔥 Microsoft выпустил отличные курсы по искусственному интеллекту Сохраняй! 12 бесплатных уроков Github! Научитесь создавать приложения с использованием нейронных сетей! Среди уроков есть изучение и сравнение разных языковых моделей (LLMs), основы промт-инжиниринга и создание приложений с ИИ. @DevOPSitsec

🚀 GPM AdTech Challenge от «Газпром-Медиа» и Getintent Когда: 18-30 марта Формат: гибридный Три задачи на выбор: 1) Сервис перевода и дубляжа видеоконтента 2) Предсказание конверсий пользователей в рекламном аукционе 3) Генератор креативов Ты можешь стать победителем независимо от своего технического бэкграунда. Создавай прототип и участвуй в состязании за общий призовой фонд в 1 000 000 рублей. Регистрация до 18 марта: https://cnrlink.com/gpmmli 🎙 Frontend Мeetup от Росбанка Когда: 22 марта Формат: очный, Казань Вас ждут доклады специалистов Росбанка, СберМаркета и VK Добра. Авторы лучших вопросов получат мерч. Регистрация до 20 марта: https://cnrlink.com/rbkazanmli 💢 «Халява, приди!»‎ от Codenrock Когда: весь март Формат: онлайн Реши несложные задачи по программированию и получи возможность стать обладателем промокода на любой маркетплейс Регистрация до 30 марта: https://cnrlink.com/halyavamli Реклама. ООО "Цукер студия". ИНН 7751071015. erid: LjN8KPZM2

Ищете идеи для создания реальных ML-проектов? 💡 Создание системы ML, которая предсказывает невыплату кредитам. Полный код👷🏾‍♀️👷↓ https://www.kaggle.com/code/faressayah/lending-club-loan-defaulters-prediction/notebook @machinelearning_ru

До 31 марта регистрируйтесь на конкурс прикладной разработки «If…else». Рады сообщить о запуске регистрации на конкурс прикладной разработки «If…else» от GitVerse в рамках олимпиады «IT-Планета 2024»! Если вам от 18 до 35 лет, вы пишете на C/C++/Java/Python, у вас есть опыт разработки прикладных решений и отличные знания по части алгоритмов, участвуйте и получайте возможность выиграть до 500 тыс. рублей! Для участия необходимо до 31 марта зарегистрироваться и пройти отборочное тестирование на площадке для разработчиков GitVerse от СберТеха. Конкурс состоит из трех этапов: отборочное тестирование, основной этап в виде решения прикладной задачи и очный финал. Призовой фонд конкурса составляет 500 тыс. рублей*! Подробные условия конкурсов и регистрация. Следите за новостями и удачи в конкурсе! *За вычетом НДФЛ

📈 Вышел первый международный рейтинг Global Generative AI Landscape 2024. Его опубликовал AIPort. В него попали самые заметные разработки в сфере GenAI по ключевым категориям, в том числе две нейросети от Яндекса: текстовая YandexGPT и мультимодальная YandexART. Яндекс отмечен как одна из 11 компаний со всего мира, разрабатывающих более одного типа генеративных AI-моделей. В этот же список попали Open AI, Google, Microsoft, Meta, Tencent и другие. Странами-лидерами по количеству активных компаний GenAI стали США, Китай, Аргентина, Великобритания, Израиль, Южная Африка. ▪️Читать @machinelearning_interview

⚡️ Топ репозиториев для развития ваших навыков разработчика. - Полное руководство по работе с данными: https://github.com/DataEngineer-io/data-engineer-handbook - Руководство "Путь к Senior разработчику : https://github.com/jordan-cutler/path-to-senior-engineer-handbook - Лучшие ресурсы по системному проектированию : https://github.com/systemdesign42/system-design - Более 100 ресурсов, чтобы стать продвинутым разработчиком: https://github.com/gregorojstersek/resources-to-become-a-great-engineering-leader @machinelearning_interview

HOSTKEY – международный хостинг-провайдер предлагает в аренду выделенные и виртуальные GPU-серверы с почасовой или месячной оплатой.  🔥Доступны конфигурации с игровыми картами RTX4090 и профессиональными RTX A500 24Gb и Tesla H100 / A100 80Gb.  Дата-центры в России, Нидерландах и Исландии.  Скидки до 30%. Стоимость от 10 руб./ч или 7 500 руб. в месяц. HOSTKEY предлагает гранты для перспективных проектов в области Data Science и для победителей конкурсов по исследованию данных на платформе Kaggle и других площадках. Спрос на серверы высокий, количество серверов ограничено. 🔥Закажите сервер сегодня или оставьте заявку на предзаказ. erid: LjN8KCUNs

🌟 Самые известные виды и архитектуры нейронных сетей Вот подробнее о некоторых из них: ⏩Перцептрон — состоит из 1 слоя нейронов, которые принимают входные данные, вычисляют взвешенную сумму входов и используют функцию активации для преобразования этой суммы в выходной сигнал. Используется в основном для обучения линейно разделимых наборов данных. ⏩Рекуррентная нейронная сеть (RNN) — имеет рекуррентные (обратные) связи, что позволяет ей использовать информацию из предыдущих шагов для обработки текущих входных данных. Это делает RNN идеальной для распознавания речи, рукописного текста и перевода. ⏩LSTM (Long Short-Term Memory) — способна обучаться долговременным зависимостям, что делает их особенно полезными для задач, связанных с последовательностями. Они используются в широком диапазоне приложений, от распознавания рукописного текста и распознавания речи до генерации текста и анализа временных рядов. ⏩Сверточная нейронная сеть (CNN) — используется для обработки данных с сетчатой топологией. Они особенно полезны для обработки изображений и других двухмерных входных данных. CNN широко используются в приложениях компьютерного зрения, таких как распознавание образов и обработка изображений. ⏩Глубокая сеть доверия (DBN) — использует алгоритм глубокого обучения для обучения сложным вероятностным моделям. Используются для решения многих видов задач, таких как классификация, регрессия, кодирование, декодирование, моделирование и генерация. ⏩Генеративно-состязательная сеть (GAN) — используется для генерации новых данных, похожих на данные обучения. GAN используется для решения многих видов задач, таких как генерация изображений, преобразование изображений и восстановление изображений. Годная статья — "Зоопарк архитектур нейронных сетей" @data_analysis_ml

⚡️ Шпаргалка для алгособеса 2 — графовые и строковые алгоритмы 📌 Читать дальше 📌Часть 1: алгоритмическая сложность, структуры данных, методы сортировки и Дейкстра @machinelearning_interview

4️⃣самые популярные функции активации, о которых нужно иметь представление — Сигмоида Нелинейна по своей природе, поэтому комбинация таких функций производит тоже нелинейную функцию. Так что она хорошо подходит для комбинации слоёв. Чаще всего применяется в задачах бинарной классификации, где нужно предсказать вероятность принадлежности к одному из 2 классов. — Tanh Гиперболический тангенс — это скорректированная сигмоидная функция. Стоит отметить, что градиент тангенциальной функции больше, чем у сигмоиды; она растёт быстрее. Активное используется в рекуррентных сетях, вероятностных моделях и т.д. — ReLU Имеет низкую вычислительную сложность, устойчива к переобучению. Область допустимых значений ReLu — [0, inf), то есть активация может "взорваться" от больших значений. Широко применяется в глубоких нейронных сетях благодаря простоте и отсутствию затухающего градиента — Leaky ReLU Модификация ReLU, призвана решить проблему "умирающей ReLU". Используется в нейронных сетях для введения нелинейности в выходные данные каждого нейрона. 📁Лекция МГУ в тему [pdf] @data_analysis_ml