Data Scientist | IT

🌐 Пройди короткий тест и узнай, суждено ли тебе залететь в самую инновационную IT-нишу 🔥 Лотерея беспроигрышная: ✔️ответишь — получишь 2 бесплатных урока из топового обучения, 🔙 затруднишься — поймешь, где знания проседают и сможешь это исправить! 🕑 Дерзай, это займёт пару минут твоего времени: https://vk.cc/ctmEXj Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: LjN8JuKX7

Лучшие бесплатные курсы по ИИ и глубокому обучению для начала карьеры #почитать ▪️Введение в искусственный интеллект Открытое образование ▪️Основы машинного обучения Открытое образование ▪️Быстрый старт в искусственный интеллект Stepik ▪️Введение в Data Science и машинное обучение Stepik ▪️ИИ для всех (AI for Everyone) Coursera ▪️IBM Сертификат инженера по искусственному интеллекту Coursera ▪️Сборник лекций Инженерной школы Стэнфордского университета YouTube ▪️Полный курс машинного обучения (CS229 Стэнфордского университета) YouTube ⏱Подробнее

Подробный разбор Google Gemini. Чем она лучше ChatGPT (и чем хуже) #почитать Gemini во многом лучше GPT4, в частности: ▫️Она выдаёт более точные ответы на относительно простые научные вопросы по бенчмарку MMLU (Measuring Massive Multitask Language Understanding). Тест охватывает 57 различных задач, включая математику, историю, информатику, право и т. п. ▫️Нейросеть от Google лучше, чем GPT-4 решает сложные для ИИ задачи. Эксперты корпорации выяснили это, протестировав Gemini при помощи BIG-Bench Hard (BBH) — это набор задач, который включает 200 вопросов — от рекомендации фильмов до решения сложных логических и математических задач ▫️Лучше понимает текст. Этот результат получен при помощи бенчмарка DROP, который и создан для оценки точности различных ИИ-моделей в решении сложных задач по пониманию текста ▫️Лучше решает алгебраические и геометрические задачи ▫️Лучше пишет код на Python (пока что проверка проводилась только с этим ЯП). Скорее всего, речь идёт о том, что готовый код лучше соответствует запросам пользователя. Проверка проводилась посредством бенчмарка HumanEval, который применяется для оценки качества NLP моделей и их способности производить результаты, соответствующие человеческому восприятию. ⏱Читать статью

Как я создал бота-полицейского для мем-чата для проверки дубляжа. Сверточная сеть EfficientNet-Lite vs CLIP #почитать Бан-комитет сначала работал на EfficientNet-Lite, но люди оказались сильнее и пошли ложноположительные и ложноотрицательные срабатывания. Пришлось нырнуть глубже в deep learning. ⏱Читать статью

Искусственный интеллект для игры в Тетрис (доходит до 300 уровня) #почитать #посмотреть Бот играет гораздо лучше человека и доходит до уровней, недостижимых для реальных игроков. ⏱Читать статью или ▫️ Смотреть на YouTube, впечатляет

Небольшая дорожная карта по Machine Learning #почитать ▫️Математика и статистика ▫️Программирование ▫️Основы машинного обучения ▫️Глубокое обучение ▫️Продвинутые техники машинного обучения ▫️Развертывание и производство моделей ▫️Непрерывное обучение и проекты ⏱Читать

Обучаем нейросеть рисовать в стиле любого художника. Stable Diffusion + LoRa + DreamBooth #почитать Для успешного файнтюнинга нам понадобится (всего!) около 10-20 картинок. Да-да, если раньше надо было собирать датасеты из десятков тысяч картинок то сейчас можно отделаться просто десятком. Можно за ~10 минут на хорошей GPU дообучить stable diffusion на стиле художника по совсем небольшому датасету. ⏱Читать статью

Наткнулся недавно на митап для начинающих IT-специалистов #ds #infosec Там будет 28 спикеров, 19 лекций: data science, кибербезопасность, backend, frontend, прокачка IT-карьеры и многое другое. Участников ждут: 🔹 лайфхаки, как вырасти от джуна до сеньора; 🔹 прожарка резюме; 🔹 нетворкинг с 1000+ участниками митапа и спикерами; 🔹 after-party. P.S.: 🎁 Каждому участнику подарят велком пэк с мерчем. Участие бесплатное! 📍 Москва, ул. Покровка, д. 47 (м. Красные ворота / м. Курская) 🔗 Зарегистрироваться

Главные четыре инструмента в Data Science / Практический урок #посмотреть ▫️Jupyter Notebook ▫️JupyterLab ▫️DataSpell ▫️Google Colab ⏱Смотреть видео

Kornia — библиотека компьютерного зрения #почитать ▫️Kornia - это opensource-библиотека для задач компьютерного зрения. Она использует PyTorch в качестве основного бэкенда и состоит из набора дифференцируемых процедур и модулей. Создатели библиотеки вдохновлялись OpenCV, и поэтому Kornia является его аналогом, но при этом в некоторых моментах превосходит. ▫️Основным преимуществом Kornia по сравнению с тем же OpenCV, scikit-image или с Albumentations является возможность обрабатывать изображения батчами, а не по одному изображению и возможность обрабатывать данные на GPU. ▫️Создатели Kornia в своей статье приводят таблицу сравнения нескольких библиотек для задач компьютерного зрения: OpenCV, Scikit-Image, Torchvision, Tensorflow.image, Albumentations. по всем заявленным пунктам сравнения - с Kornia может сравниться только Tensorflow.image. ⏱Читать статью

Как сделать вашего телеграм-бота умнее и приятнее? Конечно, прокачать его ML-аналитикой #почитать Успешное использование телеграм-ботов требует не только технической грамотности, но и понимания того, как пользователи взаимодействуют с ботом. Практикум: ▫️Создание телеграм-бота на Python ▫️Сбор данных для аналитики ▫️Разработка функциональности аналитики ▫️Интеграция сторонних инструментов ▫️Автоматизация анализа ▫️Улучшение пользовательского опыта ▫️Защита данных и приватность (соблюдение правил Telegram API и законодательства о защите данных) 🔥 Очень большой подробный практикум. ⏱Читать статью

Как машинное обучение помогает лечить рак крови #почитать ▫️Клетки крови формируют различные группы, которые можно отделять друг от друга визуально, чем и занимаются врачи. ▫️Идея с детекцией аномалий была не супер-гениальная. У нас лейкозные клетки должны отличаться от обычных (условно нормальных). А не попробовать ли нам детекцию аномалий, подумали мы? И попробовали! Пробовали две самых популярных метода: Local Outlier factor и Isolation Forest. ⏱Читать статью

Как найти проекты для портфолио начинающим дата-аналитикам #почитать Вы уже знаете, что при трудоустройстве требуют не только резюме и сопроводительное письмо. Очень часто просят показать реальные рабочие кейсы. А где их брать, если опыта мало? ▫️Пет-проекты: они важны для работодателей ▫️Идеи проектов и где искать вдохновение ▫️Проекты на стыке экспертиз: о микроскопах и птичках ▫️Совет: когда начинать проект, чтобы себя не подвести ▫️Презентация проекта: азы Дополнительно: ▫️Kaggle — бесплатный сервис, позволяет участвовать в соревнованиях для аналитиков, общаться с дата-сайентистами, изучать машинное обучение и просто вдохновляться. Многие компании обращают внимание на место соискателя в пользовательском рейтинге. ▫️С чего начать изучение анализа данных и где найти идеи для первых проектов — статья в блоге Я.Практикума. ▫️Data Science Pet Projects. FAQ — подробная статья о пет-проектах для дата-сайентистов из блога крупнейшего русскоязычного Data Science сообщества. ⏱Читать статью

🔥 Рейтинг галлюцинаций. Худшая модель - Google! Удивительно. Самая лучшая - ChatGPT 4. Llama - неплохо. #почитать Публичная открытая таблица лидеров LLM-моделей. Рассчитывается с помощью модели оценки галлюцинаций Vectara, которая оценивает, как часто LLM создает галлюцинации при создании/суммаризации. ⏱Смотреть рейтинг подробно по критериям и методологию ➕Описание модели Vectara

▫️ Фоновая музыка из нейросетки: библиотека AudioCraft для PyTorch. Преобразует текст в код, и выводит музыку #почитать AudioCraft — библиотека для PyTorch, которая позволяет генерировать нейросетевую музыку. Инструмент позволяет преобразовывать текст в код, обучать ИИ-модели для генерации музыки и получать вывод в виде звуковых дорожек. Состоит из четырех компонентов: ▫️MusicGen: нейросеть для создания музыки из текстового описания. ▫️AudioGen: 1.5В-нейросеть для преобразования текста в звук. ▫️EnCodec: нейронный высокоточный аудиокодек. ▫️Multi Band Diffusion: совместимый с EnCodec декодер ▫️Разработана в Facebook в рамках подспудной борьбы с копирастами из Google. ▫️Качество сгенерированной музыки типично "фоновое" - но для 99% маленьких роликов лучшего и не требуется: ▫️ Послушать примеры ▫️Как и в случае с ChatGPT или с Midjourney, всё зависит от промпта. Чем больше деталей укажете в запросе, тем качественнее будет результат. ⏱Читать статью или ▫️ Посмотреть презентационное видео

Главное из книги Fundamentals of Data engineering — фундаментального труда о дата-инжиниринге #почитать Самые важные моменты, которые полезно знать любому человеку, работающему с данными. "Fundamentals of Data engineering" — это фундаментальный труд, который рекомендуют множество опытных дата-инженеров. ▫️Что такое Data engineering ▫️Жизненный цикл дата-инжиниринга ▫️Проектирование хорошей архитектуры данных ▫️Технологии жизненного цикла дата-инжиниринга ▫️Генерирование данных в исходных системах ▫️Хранение - самая важная часть процесса ▫️Приём данных ▫️Запросы, моделирование и преобразование ▫️Обслуживание данных для аналитики, ML и Reverse ETL ▫️Конфиденциальность и будущее дата-инжиниринга ⏱Читать статью

"Почему бы не накинуть нейросеточку на эти данные?" Как Data Science помогает разрабатывать лекарства #почитать "На протяжении более чем десяти лет я профессионально занимаюсь анализом медицинских данных и участвую в разработке инновационных препаратов. Не скрою, меня приятно удивляет, что в данный момент наука о данных (Data Science) привлекает все больше внимания и захватывает умы максимально широкой аудитории. Тем не менее, меня как ученого несколько расстраивает тот факт, что воображение коллективного разума видит это направление как работу волшебных «black-box» алгоритмов, почти магическим образом заменяющих труд ученых и врачей в поисках панацеи. После моих докладов на различных мероприятиях я все чаще слышу вопросы: зачем все так усложнять? почему бы не накинуть нейросеточку на эти данные? Но - не все так просто." ⏱Читать статью

🔥 Как готовиться к собеседованиям на Machine Learning Engineer. Ресурсы для самоподготовки #почитать "... Cейчас я отвечаю за ML в стартапе, раньше обучал болталки в сбердевайсах. В конце января взял саббатикал, чтобы отдохнуть, поучиться новому, посмотреть что еще нравится и сменить работу. В сбердевайсы в итоге уже не вернулся, в феврале-марте готовился к собеседованиям, начал собеседования в апреле, а с мая вышел в новое место. Получил пару офферов (некоторые дошли уже во время работы): компания в Европе, пара стартапов из Англии и Азии, Яндекс. Начал процессы в Google, Amazon (тут большое спасибо рефералам), но параллельно с новой работой устал собеседоваться и остановил все. В итоге сошелся с ребятами с которыми был самый короткий собес." ⏱В статье очень много ссылок на ресурсы для самоподготовки. ⏱Читать статью

Практический пример детекции изображений (умная кормушка) на SSD-модели ResNet-50 #почитать Используется Single Shot MultiBox Detector model for object detection. ▫️Кот приходит к кормушке, его снимает рядом стоящая IP камера и отправляет снимок в телеграмм-бот. ▫️Бот обрабатывает сообщение, если это фото, то отправляет его в модель детекции. ▫️Модель детекции распознает кота или не распознает. ▫️Если это кот, бот посылает сигнал умной кормушке открыться и уведомляет об этом владельца. ▫️Умная кормушка открывается (и потом закрывается по таймеру, например). ▫️Владелец в любой момент времени может подать голосовую команду, например, на закрытие кормушки через телеграмм-бот. ▫️Команда из голосовой преобразуется в текст. ▫️Если будет обнаружена команда "закрыть кормушку", бот отправит сигнал на закрытие кормушки и сообщение владельцу, что принял команду. ⏱Читать статью

▫️Data Science в повседневной жизни #посмотреть Первым и самым заметном применением DS в повседневной жизни стали рекомендательные системы. Для клиентов сетевых магазинов, любителей музыки определенных жанров (первыми это начали делать в Яндекс.Музыке), и так далее. Подбор товаров и услуг под каждого клиента индивидуально - первое и до сих пор главное практическое применение. ⏱Смотреть видео на YouTube ⏱1 час