Анализ данных (Data analysis)

⚡С 15 по 21 апреля состоится мегаинтенсив по анализу данных, организованный Центром непрерывного образования, онлайн- и офлайн-магистратурами ФКН. В программе интенсива 3 трека, разделенные по уровням сложности: 🖇Для начинающих: За 4 занятия вы сможете пройти путь от основ программирования на Python до построения настоящей модели машинного обучения. Организаторы — Центр непрерывного образования ФКН и онлайн-магистратура "Master of Data Science". 🖇Для продолжающих: Вы познакомитесь с архитектурами нейронных сетей в задачах компьютерного зрения, а также диффузионными моделями и моделью Stable Diffusion. Организатор — онлайн-магистратура «Машинное обучение и высоконагруженные системы». 🖇Многогранный Data Science: Для тех, кто хочет применять анализ данных не в IT — вы узнаете, как Data Science применяется в биологии, медицине, при строительстве домов и в банках. Организаторы — магистратуры «Анализ данных в биологии и медицине», «Анализ данных в девелопменте», «Финансовые технологии и анализ данных». Интенсив пройдет в онлайн-формате с возможностью принять участие сразу в нескольких треках. ❕ Участие бесплатное для всех желающих, нужно только зарегистрироваться: по ссылке. Реклама. НИУ ВШЭ. ИНН 7714030726 Erid: 2SDnjc1Wry7

🌟 Шпаргалка по Polars Polars — это высокопроизводительная библиотека для анализа данных с помощью Python. Polars разработана с упором на крупномасштабную обработку данных. Держите отличную шпаргалку по Polars, которая поможет освежить основные моменты 📎 PDF @data_analysis_ml

🚀 Участвуй в True Tech Hack от МТС и поборись за общий призовой фонд в 1 500 000 рублей. Регистрируйся. Приглашаем разработчиков, специалистов по Data Science, менеджеров по продукту, дизайнеров. Соревноваться предстоит в одном из двух треков, чтобы улучшить жизнь людей с особыми потребностями. 🏠 Трек 1. Улучшение клиентского опыта витрины МТС Live для пользователей с особыми потребностями ⭐ Трек 2. Разработка голосового управления для МТС Финтех на основе искусственного интеллекта для людей с ограниченными возможностями Как пройдет True Tech Hack: 🔸 26 апреля – открытие хакатона и Q&A-сессия 🔸 27 апреля-12 мая – чек-поинты с экспертами 🔸 12 мая – окончание приема проектов 🔸 14 мая – полуфинал, защита лучших решений и объявление финалистов 🔸 17 мая – финал в Москве True Tech Hack – твой шанс получить новый опыт, выиграть приз и сделать наш мир доступней и удобней для всех. Регистрируйся на хакатон до 25 апреля по ссылке.

⭐️ Autolabel Если вам уже наскучили задачи NLP, такие как: - кластеризация документов (Classification); - распознавание именованных сущностей (Named Entity Recognition); - связывание именованных сущностей (Entity Matching); - оценка эмоциональной окраски (Sentiment Analysis); - поиск ответа в тексте и многое другое. То вам помогут LLM. Библиотека Autolabel быстро и бесплатно решает эти задачи, причем выбор модели остается за вами. pip install refuel-autolabel •Github @data_analysis_ml

Нейросеть для генерации изображений YandexART стала доступна для тестирования внешним компаниям! В режиме закрытого превью нейросеть уже попробовали несколько внешних компаний. Например, крупная e-com сеть тестирует YandexART для создания уникального дизайна подарочных карт. Клиенты сети смогут ввести текстовый запрос и самостоятельно выбрать собственное оформление для карты. Теперь на облачной платформе Yandex Cloud с помощью YandexART компании смогут создавать визуалы для рекламы и социальных сетей, дизайн-макеты, иллюстрации для диджитала и книг. Нейросеть можно встроить через API в различные сервисы и веб-приложения

🦾 Обучените и запустите GPT-2 Андрей Карпатый выпустил llm.c для CUDA. Все это в одином файл на llm.с и по-прежнему всего ~ 1000 строк кода чистого C. Текущее время выполнения каждой итерации в е <3 A 100 40GB PCIe, B=4, T=1024: - llm.c: 111 мс - PyTorch: 180 мс - +torch.compile: 86 мс - +тензорные ядра fp32: 26 мс •Github @data_analysis_ml

⚡️ LLMWare — open-souce проект для разработки LLM-инструментов корпоративного уровня Для чего LLMWare? ⏩Позволяет создавать llmware slims — это небольшие специализированные модели, которые оптимизированы для использования с процессорами и позволяют автоматизировать задачи без дорогостоящего оборудования. ⏩llmware slims могут выполнять различные задачи, такие как обобщение текста, извлечение тегов, определение тем, анализ намерений, классификация контента и распознавание именованных объектов. ⏩Эти llmware slims легко настраиваются с помощью языка Python и веб-фреймворка Streamlit для создания удобного интерфейса Вообще, вариантов использования масса, с чем можно ознакомиться в GitHub 🖥 GitHub 📎 Обзор @ai_machinelearning_big_data

🔥 Бесплатный интенсив по Python для начинающих аналитиков! Завтра в 19:00 по Мск пройдет бесплатный интенсив по теме: “RFM-анализ клиентской базы с помощью Pandas в Python”. Что вас ждет: ◾️ 1 живая обучающая лекция, теория и много-много практики на настоящем коммерческом кейсе – скучно не будет 🙂 ◾️ Конспект лекции по пройденному материалу ◾️ Бонус – шпаргалка по RFM-анализу! Что будем делать на интенсиве: ◾️ Проанализируем реальную клиентскую базу аптечной сети ◾️ Напишем скрипт для проведения RFM-анализа ◾️ Изучим несколько классных фишек Pandas и сформулируем конкретные бизнес-выводы ❗️ Интенсив подойдет всем — от новичков до тех, кто уже знаком с Python: мы будем подробно объяснять каждый свой шаг и будем много говорить про аналитику на примере реальной бизнес-задачи – такой опыт точно будет вам полезен 😊 🔗 Регистрируйтесь на интенсив здесь → ссылка. Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134. Erid:LjN8KQttm

🔜 Парадоксы в данных, и почему визуализация бывает необходима В этой статье несколько «парадоксов» в данных, о которых полезно знать как начинающему аналитику данных, так и любому человеку, кто не хочет быть введенным в заблуждение некорректными статистическими выводами. За рассматриваемыми примерами не кроется сложной математики помимо базовых свойств выборки (таких, как среднее арифметическое и дисперсия), зато такие кейсы могут встретиться и на собеседовании в сфере Data Science, и в жизни. 📎 Статья @data_analysis_ml

Не устраивает уровень скиллов в ML?  Прокачайте работу с моделями прогнозирования временных рядов! Всего за пару часов можно: - понять, на какие параметры временного ряда необходимо обращать внимание при его предобработке;- научиться строить модели, способные заглянуть в будущее;- подготовить модель, прогнозирующую следующие значения временного ряда и лучше понять мир построения прогнозов.  Встречаемся 15 апреля в 20:00 мск на бесплатном практическом уроке от OTUS. Спикер Игорь Стурейко — Teamlead и главный инженер проекта НИИгазэкономика. Занятие будет приурочено к старту курса «Machine Learning. Advanced». Доступно обучение в рассрочку. Пройдите короткий тест прямо сейчас, чтобы посетить вебинар и получить запись: https://otus.pw/yuiG/?erid=LjN8K72VL Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

📌Модель машинного обучения Ferret-UI от Apple ⏩Apple представила модель машинного обучения Ferret-UI для распознавания элементов пользовательского интерфейса. В исследовании компания отметила, что практически все доступные мультимодальные языковые модели плохо работают с интерфейсами. Нейросети не отличают кнопки от полей ввода и других элементов. ⏩Компания собрала большой датасет для обучения Ferret-UI, что значительно улучшило распознавание. Отмечается, что нейросеть превосходит не только открытые MLLM, но и GPT-4. Модель можно использовать для реализации новых функций доступности. К примеру, нейросеть сможет управлять мобильным устройством, опираясь на запросы пользователя. 📎Инженеры компании опубликовали исследование на портале Arxiv. @vistehno

Gemma от DeepMind теперь умеет генерировал качественный код! 🤯 🔔 Code Gemm - набор моделей с открытым кодом. Code Gemma доступен в двух разных размерах 2B и 7B. 🧮 2B и 7B с контекстом 8192 тыс. 🛫 инициализирован из базы Gemma 🔠 Обучен на 500 тыс. токенах (веб, код и математика) 🛠 Отлаженный инструктаж с помощью SFT и RLHF ✅ 2B достигает 27% при оценке пользователем, а 7B - 52%% ✅ Разрешено коммерческое использование ✅ Оптимизировано для генерации кода на любомустройстве ✅ Доступно на huggingface • Blog: https://hf.co/blog/codegemma • Models: https://huggingface.co/models?library=transformers&sort=trending&search=google%2Fcodegemma • Report: https://goo.gle/codegemma • Google Blog: https://developers.googleblog.com/2024/04/gemma-family-expands.html @machinelearning_ru

Вы тоже сможете вырасти до хардового аналитика уровня Middle+. Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов! Шесть месяцев назад мы уже писали про этот курс. Сейчас пишем еще раз, потому что у курса вышло полезное обновление, уже доступное ученикам, независимо от того, когда они его купили. ————— 📚 Первое: в портфолио включили примеры интеграций от крупных BigTech-компаний. Это позволит вам понять, как технологии применяются в реальных бизнес-контекстах. 🌐 Второе: обновили портфолио. Теперь в нём есть задания повышенного уровня сложности для каждой темы. Это небольшие реальные проекты, с помощью которых можно не только проверить, но и улучшить свои навыки! ✔️Третье: вышел новый модуль про проектирование баз данных - нормализация, транзакции, основы DWH, индексы. ————— • Результат после прохождения курса: 15 рабочих проектов в портфолио-резюме • Доступ к урокам и всем обновлениям останется навсегда • Фундаментальная база • Всю программу и отзывы смотрите в боте курса Когда перейдете в бот курса, то получите бесплатные открытые уроки по архитектуре и интеграциям. Польза 👇 https://t.me/studyit_help_bot?start=mldata Скидка на курс от канала — 1 000₽ на Stepik по промокоду MLDATA до 30 апреля.

⚡ LitGPT: Pretrain, finetune, deploy 20+ LLMs on your own data Более 20+ LLM SOTA моделей, которые вы можете использовать на собственных датасетах. ✅ fp4/8/16/32 ✅ LoRA, QLoRA, Adapter (v1, v2) ✅ flash attention ✅ FSDP ✅ 1-1000+ GPUs/TPUs ▪Github @data_analysis_ml

Хочешь присоединиться к команде, которая создаёт будущее автономного транспорта? OneDayOffer — не просто мероприятие, это — шанс быстро вступить на новый этап карьеры. Мы предлагаем короткий путь к офферу от компании, создающей технологию автономного вождения. Давай встретимся онлайн, пообщайся командой — получи шанс на предложение о работе. Мы ищем системных аналитиков и разработчиков на С++, готовых принять участие в уникальном проекте. Просто оставь свои данные, выполни тестовое и жди приглашения на OneDayOffer 20 апреля. До встречи! Узнай больше по ссылке.

⚡️ Млн+ часов YouTube для обучения GPT-4 ⏩OpenAI расшифровала более миллиона часов видео с YouTube для обучения GPT-4, воспользовавшись лазейкой в законе об авторском праве. Компания использовала свою модель транскрипции аудио Whisper. Президент OpenAI Грег Брокман лично участвовал в сборе видео. ⏩Представитель OpenAI Линдси Хелд сообщила, что компания использует «многочисленные источники, включая общедоступные данные и партнёрские отношения», а также изучает возможность создания собственных синтетических данных. ⏩Представитель Google Мэтт Брайант отметил, что «как файлы robots.txt, так и Условия обслуживания запрещают несанкционированное сканирование или загрузку контента YouTube». По его словам, Google принимает «технические и юридические меры» для предотвращения такого использования. При этом сама компания обучала свои модели «на некотором контенте YouTube в соответствии с соглашениями с авторами». ⏩В статье The New York Times говорится, что OpenAI исчерпала запасы полезных данных в 2021 году. К тому времени она обучила модели на данных, которые включали компьютерный код из Github, базы данных шахматных ходов и материалы школьных заданий из Quizlet. Эксперты считают, что запас доступного для обучения контента иссякнет к 2028 году. После этого оно будет производиться на синтетических данных, созданных другим ИИ. Эксперты допускают, что некоторые компании также могут преднамеренно пойти на нарушение авторских прав. @data_analysis_ml

Yandex Cloud опубликовала программу сертификации по облачным технологиям. Онлайн-тестирование пригодится инженерам, разработчикам, аналитикам, администраторам, архитекторам, DevOps и другим специалистам, которые хотят официально подтвердить свои знания. Экзамен проверяет компетенции в шести областях: базовые облачные технологии, хранение и обработка данных, DevOps и автоматизация, бессерверные вычисления, информационная безопасность и биллинг. Чтобы получить сертификат, нужно набрать минимум 35 баллов из 50. Если вышло меньше — через месяц можно будет попробовать снова. Тестирование проходит с прокторингом на базе ИИ, который отслеживает попытки списать. Первый тест состоится 11 апреля. Если хотите принять участие, можете подготовиться с помощью курса «Инженер облачных сервисов».

⚡️ BertViz - это интерактивный инструмент для визуализации работы механизма внимания в моделях основаных на Трансформерах, таких как #BERT, GPT2 и T5. Инструмент дает представление о процессе принятия решений в модели и о том, как она распределяется внимание между различными частями входных данных. ▪ Github @data_analysis_ml

⚡️ BertViz - это интерактивный инструмент для визуализации работы механизма внимания в моделях основаных на Трансформерах, таких как #BERT, GPT2 и T5. Инструмент дает представление о процессе принятия решений в модели и о том, как она распределяется внимание между различными частями входных данных. ▪ Github @data_analysis_ml

Центральный университет приглашает на день открытых дверей интересующихся ИТ-сферой! Встреча пройдет в штаб-квартире Тинькофф и, помимо рассказа об университете и его программах обучения, участники смогут записаться на индивидуальную консультацию по поступлению и профориентации с представителями университета на любое удобное время и дату. Что еще будет на дне открытых дверей: – выступление об обучении и правилах поступления от ректора университета Евгений Ивашкевич; – руководители программ подробнее расскажут о том как проходит обучение по каждой специализации; – неформальная атмосфера и нетворкинг с командой университета и с ребятами из других школ. День открытых дверей пройдет 12 апреля, начало в 19:00, а еще можно подключиться онлайн на YouTube-канале! Регистрация и более подробно здесь. erid:2Vtzqw1xDtJ Реклама, АНО ВО «Центральный университет», ИНН 7743418023