Анализ данных (Data analysis)

⚡️ Яндекс показал третье поколение языковых моделей YandexGPT ⏩YandexGPT 3 Pro — первая нейросеть, которая вошла в линейку YandexGPT 3. В дальнейшем их станет больше: каждая будет ориентирована на решение задач определённого типа. ⏩Бизнес сможет дообучать обновленную модель под реальные задачи компании самостоятельно в сервисе ML-разработки Yandex DataSphere. Чтобы запустить процесс дообучения, нужно загрузить в DataSphere файл с примерами запросов и эталонными ответами на них. Такая нейросеть будет доступна только дообучившей её компании. ⏩Качество нейросети YandexGPT 3 Pro можно оценить в демо-режиме. Зарегистрированным пользователям доступно 100 бесплатных запросов в час. Плюс компания снизила стоимость на языковую модель почти в два раза. @data_analysis_ml

Не умеете эффективно работать с рекомендательными системами в ML? Это можно исправить всего за 1 вебинар! И в итоге вы: - узнаете основные принципы построения рекомендательных систем; - познакомитесь с методами коллаборативной фильтрации; - построите рекомендательную систему на практике. Встречаемся 3 апреля в 18:00 мск на бесплатном практическом уроке от OTUS. Спикер Мария Тихонова – PhD in Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. Занятие будет приурочено к старту курса «Machine Learning. Advanced». Доступно обучение в рассрочку. Пройдите короткий тест прямо сейчас, чтобы посетить вебинар и получить запись: https://otus.pw/EKVm/?erid=LjN8K31KR Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Линейный дискриминантный анализ (LDA). Принцип работы и реализация с нуля на Python Держите полезную статью) LDA — алгоритм классификации и понижения размерности, позволяющий производить разделение классов наилучшим образом. Основная идея LDA заключается в предположении о многомерном нормальном распределении признаков внутри классов и поиске их линейного преобразования, которое максимизирует межклассовую дисперсию и минимизирует внутриклассовую. Некоторые мысли из статьи: ⏩LDA может быть предпочтительнее логистической регрессии в ряде случаев. ⏩Алгоритм LDA включает расчет априорных вероятностей и средних значений признаков, а также нахождение собственных векторов и значений. ⏩Существуют другие подходы к решению задач через нахождение собственных векторов, такие как сингулярное разложение и метод наименьших квадратов. ⏩Модификации LDA, такие как квадратичный дискриминантный анализ (QDA), гибкий дискриминантный анализ (FDA) и ядерный дискриминантный анализ (KDA), улучшают качество модели и увеличивают количество задач, в которых его можно применить. ⏩Регуляризация поддерживается в LDA и его модификациях через степень сжатия ковариационной матрицы. 📎 Статья @data_analysis_ml

Приходите на онлайн-презентацию «GitVerse: открой вселенную кода» от СберТеха GitVerse – платформа для работы с исходным кодом. На ней разработчики могут бесплатно размещать проекты с открытым и закрытым кодом. Сервис создан и размещен в России, поэтому работать с ним удобно, безопасно и надежно. 29 марта в 10:00 на онлайн-мероприятии «GitVerse: открой вселенную кода» СберТех расскажет о новой функциональности GitVerse. Разработчикам представят дорожную карту развития и анонсируют инструменты для повышения продуктивности. Что в программе: · Тренды разработки и роль открытого ПО в современном ИТ · Возможности GitVerse и планы развития · GigaCode – AI-помощник разработчика (AI, artificial intelligence — искусственный интеллект) · Участие комьюнити в проекте · Пакет облачных сервисов и его преимущества для разработчиков · Обзор интересных репозиториев на GitVerse · Реальные кейсы разработки и оптимизации с помощью GitVerse · Общение в прямом эфире Спикеры – ведущие ИТ-эксперты. Узнать больше о GitVerse и зарегистрироваться на мероприятие.

🕐Pendulum Хотя встроенный пакет datetime достаточно хорош для простых случаев работы с датами, он не подходит для комплексных случаев. Pendulum предлагает более интуитивно понятный и удобный для пользователя API для работы с датами и временем, это делает его удобной заменой стандартного класса datetime. ▪ Github @data_analysis_ml

Есть ли мемы на Марсе? Как вытянуть репку с помощью кода? Попробуйте разгадать все тайны Гиперкуба на Tinkoff CTF. 20 и 21 апреля пройдет ИТ-соревнование с призами до 420 000 ₽. Выберите лигу по скиллам и участвуйте даже без опыта в спортивном хакинге. Задания будут интересны сильным разработчикам, QA- и SRE-инженерам, аналитикам и другим ИТ-специалистам. Играйте как вам удобно: онлайн из дома или офлайн — в одном 16 городов России, Беларуси и Казахстана. В офлайне вас ждет общение с другими игроками, квизы, мерч и другие развлечения. Узнайте больше о соревновании и зарегистрируйтесь до 19 апреля erid:2VtzqxduGN9 Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

📌Немного о lifecycle в DS Жизненный цикл модели в Data Science — это многоэтапный процесс, в течении которого исследователи, инженеры и разработчики обучают, разрабатывают и обслуживают модель машинного обучения. Разработка модели принципиально отличается от традиционной разработки и требует своего собственного уникального способа разработки. Скажем, модель машинного обучения — это приложение искусственного интеллекта (ИИ), которое дает возможность автоматически учиться и совершенствоваться на основе собственного опыта без явного участия человека. Основная цель модели заключается в том, чтобы компания смогла использовать преимущества алгоритмов искусственного интеллекта и машинного обучения для получения дополнительных конкурентных преимуществ. Основные этапы: ⏩Анализ данных. Задача этого шага – понять слабые и сильные стороны в имеющихся данных, определить их достаточность, предложить идеи, как их использовать, и лучше понять бизнес-процессы заказчика. ⏩Сбор данных. Сбор данных — это процесс сбора информации по интересующим переменным в установленной систематической форме, которая позволяет отвечать на поставленные вопросы исследования, проверять гипотезы и оценивать результаты. ⏩Нормализация данных. Этот шаг в процессе подготовки — это место, где аналитики и инженеры данных обычно проводят большую часть своего времени: очистка и нормализация "грязных" данных. ⏩Моделирование данных. Моделирование данных — это сложный процесс создания логического представления структуры данных. ⏩Конструирование признаков. Конструирование признаков состоит из учета, статистической обработки и преобразования данных для выбора признаков, используемых в модели. 📎 Читать подробнее @data_analysis_ml

🛠 Dataverse Простое, стандартизированное и удобное в использовании решение для обработки данных и управления ими, для специалистов по обработке данных, аналитиков и разработчиков в эпоху LLM. Даже если вы мало что знаете о Spark, вы можете легко использовать его через dataverse. ▪с Dataverse вы получаете возможность использовать множество функций предварительной обработки данных без необходимости установки различных библиотек. ▪позволяет генерировать данные для анализа и обучения больших языковых моделей (LM). ▪ вы можете с легкостью использовать Spark, независимо от вашего уровня знаний. ▪ инструмент упрощает совместную работу пользователей с различным уровнем владения Spark. pip install dataverse ⚙️ Github @data_analysis_ml

🚀 AnyV2V: новый фреймворк Plug-and-Play для любых задач редактирования видео. - Сайт: https://tiger-ai-lab.github.io/AnyV2V/ - Код: https://github.com/TIGER-AI-Lab/AnyV2V - arXiv: https://arxiv.org/abs/2403.14468 - Huggingface: https://huggingface.co/papers/2403.14468 @data_analysis_ml

🔥 Nvidia опубликовала в открытом доступе бесплатные обучающие курсы для пользователей любого уровня подготовки по нейросетям и нейромоделям для понимания работы ИИ ⏩ объяснение генеративного ИИ: базированный 2-часовой курс, который подробно объяснит устройство нейронок, их применение и возможности; ⏩ создаём «мозг» за 10 минут: объяснит, как нейронка обучается на данных и покажет всю математику у неё под капотом; ⏩ введение в ИИ в центре обработки данных: всё про машинное обучение и глубокое обучение; какие есть фреймворки и как видеокарты двигают ИИ; ⏩ усиляем свою LLM с помощью RAG: объяснит всю базу по генерации с дополненной выборкой; ⏩ создание своих RAG-агентов: мощнейший 8-часовой курс про масштабируемые стратегии развертывания для LLM и векторные базы данных; ⏩ ускорение работы с Data Science без изменения кода: всё об обработке данных и машинном обучении без переписываний кода; ⏩ усиление рекомендательных систем с помощью ИИ: курс-коллаб NVIDIA и YouTube; ⏩ устройство сетей: база про протоколы TCP/IP и Ethernet — необходимо для понимания процессов обработки данных. @ai_machinelearning_big_data

⚡️ Nvidia и Dell представили ИИ-систему AI Factory для объединения ПК, СХД и сетевых устройств ⏩На конференции Nvidia GTC компания Dell Technologies анонсировала систему AI Factory — корпоративное решение искусственного интеллекта, которое объединяет ноутбуки, ПК, системы хранения данных и сетевые устройства. ⏩AI Factory включает вычислительные системы, системы хранения данных, сетевые устройства, рабочие станции и ноутбуки Dell с инфраструктурой искусственного интеллекта Nvidia и программным обеспечением Enterprise AI на основе технологий высокоскоростной сетевой структуры Spectrum-X. ⏩AI Factory можно будет развернуть по всей корпоративной сети. Решение поддерживает также периферийное развёртывание с использованием рабочих станций Precision AI-ready, NVIDIA AI Workbench и серверов PowerEdge-XR и облачное развёртывание через поставщиков таких услуг. Dell и Nvidia развивают сотрудничество для создания крупномасштабной системы искусственного интеллекта на базе Dell PowerEdge XE9680 с последними графическими процессорами Nvidia, платформой Spectrum-X Ethernet и хранилищем Dell PowerScale F710. ⏩AI Factory с поддерживает широкий спектр вариантов использования и приложений искусственного интеллекта. Решение предлагает поддержку всего жизненного цикла GenAI, от вывода и извлечения дополненной генерации (RAG) до настройки модели, разработки и обучения. ⏩Решение будет доступно по подписке Dell Apex, а клиенты будут платить только за фактически использованные ресурсы. @data_analysis_ml

🔥 Нужны примеры кода, и настройка работы с API ChatGPT? Если вы интересуетесь актуальными техниками промпт-инжиниринга и хотите внедрять ChatGPT в бизнес-процессы – приглашаем на открытый вебинар «Промптинг языковых моделей и ChatGPT: продвинутые техники» — Узнаете какие существуют техники промптинга для языковых моделей — Поймёте, как работать с API ChatGPT — Познакомитесь с возможностями ChatGPT в реализации агентов — Увидите примеры кода для работы с агентами 📊 Урок проведёт Александр Брут-Бруляко. Занимается исследованиями с фокусом на персонализацию коммуникаций в СБЕР Neurolab. Начало: 25 марта, 20:00 МСК После вебинара можно записаться на курс «Natural Language Processing (NLP)». Курс доступен для приобретения в рассрочку. 🔴 Записаться на событие - https://otus.pw/uZIN/

🖥 TorchTune Torch Tune - это встроенная библиотека Pytorch, позволяющая легко создавать, настраивать и экспериментировать с LLMS. git clone https://github.com/pytorch/torchtune.git cd torchtune pip install -e . ▪Github @data_analysis_ml

Не умеете выводить ML-модели в прод? Это можно исправить совершенно бесплатно и всего за пару часов разобраться: - как подготовить модель к публикации; - как написать API и упаковать ее в контейнер Docker; - как создать несколько копий модели в защищенном сегменте сети и развернуть балансировщик нагрузки для обслуживания соединения с внешними клиентами; - как упаковывать модели и разворачивать их в микросервисной архитектуре. Встречаемся 25 марта в 20:00 мск на бесплатном практическом уроке от OTUS. Спикер Игорь Стурейко — Teamlead и главный инженер проекта НИИгазэкономика.Занятие будет приурочено к старту курса «Machine Learning. Advanced». Доступно обучение в рассрочку. Пройдите короткий тест прямо сейчас, чтобы посетить вебинар и получить запись: https://otus.pw/tYyi/?erid=LjN8KQWbU Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🔥 Первый пациент Neuralink с мозговым имплантом показал, как играет в шахматы на компьютере ⏩В январе этого года первый парализованный доброволец перенёс операцию по установке в черепную коробку импланта Neuralink, который позволил ему научиться управлять курсором на ноутбуке при помощи мозговых импульсов. Компания на этой неделе опубликовала видео, демонстрирующие обретённые после этой операции добровольцем новые физические возможности. ⏩В ходе трансляции, которую Neuralink предсказуемо осуществляла на платформе X, представитель компании представил аудитории 29-летнего Ноланда Арбоу (Noland Arbaugh), который восемь лет назад получил травму спинного мозга и утратил подвижность всех четырёх конечностей. Как пояснил сам находящийся в специальном кресле пациент, он не может двигать руками и ногами, а также не чувствует ничего ниже уровня плеч. ⏩При этом сам доброволец находился во время трансляции в прекрасном расположении духа, много улыбался и шутил. По его словам, операцию по установке импланта он перенёс очень легко, из больницы его выписали уже на следующий день. После некоторой тренировки и настройки оборудования он научился управлять с помощью мысли курсором на экране ноутбука, и в первые дни появление подобной возможности настолько будоражило его эмоционально, что он просыпался в шесть утра и с нетерпением ждал, когда получит доступ к заветному ноутбуку. 📎 Читать подробнее @data_analysis_ml

💻 Yandex Cloud выпустила большое обновление платформы для работы с данными Облачная платформа запустила сервис для управления метаданными Yandex MetaData Hub, повысила безопасность баз данных, а инструмент BI-аналитики Yandex DataLens получил новые возможности. Всё это позволит компаниям быстро и надёжно создавать дата-проекты в облаке — от корпоративных хранилищ данных до аналитических и рекомендательных систем. 💬 Больше об обновлениях платформы данных читайте в статье.

📌Годная шпаргалка по R для специалиста Data Science ⏩Не так часто я упоминаю R в постах, а ведь это прекрасный инструмент, знание которого поможет там, где не справляется Python, Julia и другие ребята ⏩Итак, с помощью R можно: — Очистить и обработать данные. Например, для обработки массива информации о популярности разных товаров на R можно написать программу, которая сгруппирует данные о покупках по товарам, удалит дубли и подготовит таблицу для дальнейшей аналитики. — Провести статистический тест. Посчитать среднюю продолжительность и увидеть, есть ли статистически значимая разница между несколькими показателями. — Объединять данные из разных таблиц. Взять таблицы разных форматов, собрать из них данные и обрабатывать все как единый файл. — Отрисовать интерактивный график. Распределить данные, отрегулировать параметры. — Анализировать регрессионные модели. Выявить отношения между переменными — например, как доход магазина зависит от разных факторов. — Провести другую математическую операцию. Объединить многомерные массивы, спрогнозировать величину, распознать текст. Для большинства задач есть готовые библиотеки, либо можно написать собственный код, используя широкий математический инструментарий. ⏩А вот держите годную шпаргалку по R) @data_analysis_ml

🌟 Максимально наглядное объяснение Machine Learning ⏩Зацените — сайт, посвящённый ML, который сплошь состоит из схем и диаграмм. Здесь супер доступно и понятно описываются основные темы Машинного обучения, уж теперь то станет понятно абсолютно всё 🌟 Наслаждайтесь) @data_analysis_ml

Бесплатный курс по Backend-разработке от Газпромбанка 💻 Газпромбанк приглашает тебя в бесплатную академию GPB IT Factory с оффером для лучших студентов. Ты сможешь прокачать свои скиллы в backend-разработке, создать с нуля чат-бот «Минибанк» на языке Java/Kotlin и Java Spring Boot приложение, которые сможешь добавить в свое портфолио. Кроме этого, лучшие студенты программы смогут присоединиться к команде Газпромбанка на позицию начинающего специалиста с перспективой роста до middle-позиции.  Мы ждем студентов последнего курса или тех, кто уже завершил(-а) обучение в вузе и сможет посещать занятия в Москве. Для прохождения отбора достаточно обладать инженерным мышлением, владеть одним из языков программирования, а также знать основы SQL, Computer Science и Linux.  Оставить заявку

🔥 HPT 🔥 - новое семейство открытых мультимодальных LLM от Hypergain. HPT (Hyper-Pretrained Transformer) демонстрирует мощные возможности в нескольких мультимодальных тестах. ▪Github: https://github.com/hyperGAI/HPT ▪HuggingFace: https://huggingface.co/HyperGAI/HPT ▪Project: https://hypergai.com/blog/introducing-hpt-a-family-of-leading-multimodal-llms @data_analysis_ml