Анализ данных (Data analysis)

🎁 Приглашаем на базовый урок по Machine Learning для начинающих "Профессия Data Science - это проще, чем кажется" от OTUS. Дата: 2 августа в 20:00. Вебинар приурочен к старту онлайн-курса "Machine Learning". На занятии расскажем: -Про профессию Data Science, -Чем методы машинного обучения отличаются от методов классического программирования. -Почему специалисты в этой области так востребованы Также на занятии решим одну из задач машинного обучения на практике. 👩‍💻Преподаватель: Мария Тихонова, Senior Data Scientist SberDevices После вебинара курс можно приобрести в рассрочку. Хочешь сделать карьеру в направлении Machine Learning? 👉Регистрируйся на пробный открытый урок: https://otus.pw/9eBJ Нативная интеграция. Информация о продукте www.otus.ru

Оптимизации работы Jupyter notebook при помощи параллельных вычислений (Библиотека Joblib) В данном посте я расскажу о возможностях применения параллельных вычислений в интерактивной среде Jupyter notebook языка Python. Для чего нам необходим параллелизм? Параллелизм играет важную роль в задачах Data Science, так как может значительно ускорить вычисления и обработку больших объемов данных. Вот некоторые основные причины, почему мультипроцессинг важен для этих задач: 🟢Ускорение вычислений: многие задачи в DS, такие как обучение моделей машинного обучения, кластеризация, обработка изображений и анализ больших данных, являются вычислительно интенсивными. Использование параллельных вычислений позволяет распределить работу между несколькими ядрами процессора или даже между несколькими компьютерами, что приводит к существенному ускорению выполнения задач. 🟢 Обработка больших объемов данных: параллельные вычисления позволяют эффективно распараллелить обработку данных, разделив ее на более мелкие части и выполняя их одновременно. 🟢 Оптимизация гиперпараметров: за счет параллельного выполнения экспериментов с различными значениями гиперпараметров можно ускорить процесс поиска оптимальных параметров модели. 🟢 Обработка потоковых данных: может быть необходимо обрабатывать потоковые данные в реальном времени. Мультипроцессинг позволяет эффективно обрабатывать и анализировать потоки данных, особенно в случае высоких нагрузок и необходимости обработки данных в режиме реального времени. В языке Python уже есть реализация параллелизма на основе базового модуля — multiprocessing. Тогда почему в Jupyter notebook он не будет работать? 🟢 Читать

🤖 Список полезных нейросетей для датасаентита: • Amazon CodeWhisperer -серви, который помогает создавать приложения с помощью ии-помощника по написанию кода с поддержкой ML. • Stenography - Автоматическое документирование кода. • tabnine -Крутой сервис для автозаполнение кода. Помогает автоматически дописывать функции на Генерирует блоки кода на основе комментариев на естественном языке. • GPT Engineer - генерация кода с помощью ИИ. • Code Mentor - оптимизирует и рефакторит код. • Polycoder - Генерирует код на 12 языках программирования. • Cogram - переводит текстовый запрос на язык баз данных и интегрируется со средой разработки Jupyter. • Copilot by GitHub - облегчает написание кода через автодополнение. • CodeT5 - преобразовывает запрос в код и дописывает начатые функции. • Ghostwriter - ИИ- программист с искусственным интеллектом для генерации кода. • Agent GPT - 👨‍🏫Agent GPT устанавливает в вашем браузере ИИ-агента, который помогает в выполнении поставленной задачи. • Mintlify - ИИ, который пишет документацию и комментарии. • ExplainDev - инструмент, который обучает в процессе и помогает разобраться в коде. @data_analysis_ml

Just wanted to share with you that CrunchDAO is organizing the ADIA Lab Market Prediction Competition with a 100 000 USD Prize pool! Here is what we offer (on top of the 100 000$ Prize pool) for you to participate). - 128$ (40$Crunch) if you score > 3.5 - 320$ (100$Crunch) if you score > 4 These rewards are paid in $Crunch (you can swap it against USDC whenever you want). They are only intended for you and can only work if you register through this link : https://crunchdao.com/live/adialab?referral=Sfodpwltzyn6Li3 The challenge of the competition is to rank the investments from best to worst at each given date. The scoring function for the competition is based on Spearman's rank correlation, which measures how well the predicted ranking of the investments matches up with the actual ranking.

Файнтюниг Llama 2 на пользовательском наборе данных за 4 шага с помощью Lit-GPT. 📌Github 📌Подробная инструкция @data_analysis_ml

Научитесь проводить бизнес-анализ, собирать, обрабатывать данные и оптимизировать бизнес-процессы! Регистрируйтесь на бесплатный онлайн-интенсив с 31 июля по 2 августа в 19:00 по московскому времени: 👉 https://epic.st/TTEFZ Сразу после регистрации получите два чек-листа «Бизнес-аналитик: начинаем карьеру с нуля» и «Ключевые качества и навыки успешного бизнес-аналитика». Интенсив подойдёт студентам технических и экономических вузов, разработчикам, junior-аналитикам, product- и project-менеджерам и всем, кто интересуется этим направлением. 💬 Спикер интенсива — Антон Антипин, 21 год опыта в бизнес-аналитике. Основатель и генеральный директор компании Business Set, сертифицированный эксперт в области моделирования бизнес-процессов. 🎁 Всех участников ждут подарки: электронная книга Скотта Беркуна «Сделано» издательства МИФ и сертификат на скидку 10 000 рублей на любой курс Skillbox каждому, кто будет онлайн на интенсиве. Подключайтесь к прямым эфирам! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🤗 HuggingFace Model Downloader Полезный инструмент, написанный на Go для загрузки HuggingFace моделей. Утилита дает возможности многопоточной загрузки файлов LFS и гарантирует целостность загруженных моделей, проверяя их контрольную сумму SHA256. Скачивание происходит в разы быстрее, чем при использовании Git LFS. Скрипт загрузит нужную версию на основе os/arch и сохранит бинарник под именем "hfdownloader" в той же папке: bash <(curl -sSL https://g.bodaay.io/hfd) -h ▪ Github @data_analysis_ml

Станьте дипломированным экспертом по Data Science и развитию искусственного интеллекта Первый университет Сибири – ТГУ запускает первую онлайн-магистратуру в России по программе «Анализ естественного языка (NLP) в лингвистике и IT» — раздел Data Science, который изучает алгоритмы машинного обучения в сфере обработки и воспроизведения человеческой речи, чтобы решать задачи бизнеса На программе вы: ●Будете обучать нейросети, учить машины распознавать и анализировать человеческую речь и генерировать ответы (NLP-алгоритмы); ●Узнаете как устроены виртуальные ассистенты, генеративные и нейронные сети (например, ChatGPT, Siri, Олег из Тинькофф); ●Получите доступ к суперкомпьютерному центру CYBERIA от ТГУ, с помощью которого вы сможете обучать нейросети и решать задачи NLP в режиме онлайн; ●Освоите инструменты: написание кода на Python, Data Mining, Feature Engineering; ●Получите знания от тимлида направления Data Science в Сбере. Обучение очное, но в онлайн-режиме, а обучающимся полагаются студенческие льготы и отсрочка от армии. Программа ориентирована на обучение с нуля, технический "бэкграунд" не обязателен, но необходим любой диплом первого высшего образования! После обучения вы получите очный диплом ТГУ и готовое портфолио для дальнейшего трудоустройства. А благодаря господдержке первый год обучения стоит всего от 280 р/мес! Успейте записаться на бесплатный подготовительный курс: https://go.skillfactory.ru/piCTfw Количество мест ограничено! Реклама - ООО «Скиллфэктори»

📝 Предварительная обработка текста в NLP с помощью Python. Продолжаем тему NLP. Предварительная обработка текста является одним из основных и важнейших этапов обработки естественного языка (NLP). Ее основная цель - очистить и преобразовать необработанные текстовые данные в презентабельную форму, пригодную для анализа и прогностического моделирования. На картинках приведены основные этмпы и распространенные методы предварительной обработки текста. @data_analysis_ml

Думаете о международной карьере, но боитесь, что не хватит английского? Практикуйте его в разговорных клубах для IT-специалистов. За пять дней вы: - узнаете, как готовиться к собеседованию на английском - попробуете использовать фреймворк STAR на примере собеседования - потренируетесь вести дискуссию и вежливо отстаивать свою точку зрения - получите подарки от Яндекс Практикума Формат: закрытый телеграм-канал и два воркшопа в Zoom. В канале вы получите чек-листы и будете решать упражнения. На воркшопах — сможете попрактиковаться с преподавателем и другими студентами. Ведущая: Василиса Шеромова. Преподаватель на курсах английского для работы в IT. Опыт преподавания: больше 10 лет. Пять лет работала менеджером по маркетингу в IT-компаниях.

🚗 Тест-драйв PyTorch 2.0 и заглядываем под капот «двушки» JIT-компиляция (Just-In-Time compilation) - это процесс, при котором код на высокоуровневом языке преобразуется в код на низкоуровневом языке, который может быть быстрее и эффективнее исполнен процессором или графическим ускорителем. torch.compile() использует TorchDynamo и заданный бэкенд для JIT-компиляции кода PyTorch. Для того чтобы понять, как работает torch.compile() рассмотрим основные его компоненты, которые отвечают за различные аспекты JIT-компиляции кода PyTorch: • TorchDynamo – это динамический компилятор, который анализирует код PyTorch и определяет, какие части кода могут быть скомпилированы в оптимизированные ядра. Отслеживает изменения в коде и перекомпилирует его при необходимости. • AOT AutoGrad – это система автоматического дифференцирования, которая позволяет вычислять градиенты для скомпилированных ядер. Генерирует код для обратного распространения ошибки во время компиляции, а не во время исполнения, что ускоряет процесс обучения нейронных сетей. • PrimTorch – это набор примитивных операций, которые используются для построения скомпилированных ядер. Включает в себя базовые математические и логические операции, а также операции над тензорами, такие как сложение, умножение, свертка и т.д. • TorchInductor – это бэкенд для JIT-компиляции кода PyTorch в оптимизированные ядра для разных устройств. Поддерживает разные бэкенды и адаптирует код PyTorch к специфике каждого устройства. Далее подробнее рассмотрим, как работают компоненты TorchDynamo и TorchInductor и как они взаимодействуют друг с другом, чтобы обеспечить JIT-компиляцию кода PyTorch. Читать

Встречай AI Generative Product Hackathon, где участники создадут инновационные продукты, экспериментируя с технологиями ChatGPT, Midjourney и elDinero.ai Партнеры хакатона — компании с мировым именем, чьи продукты мы используем каждый день: Unilever в России, Ашан, Danone, Tefal, Альфа-банк. Соорганизаторы — крупнейшая в стране магистратура инженерии машинного обучения AI Talent Hub университета ИТМО, AI-компания Napoleon IT и разработчик CDP платформы Konnektu. ◾️Призовой фонд — 600 000 ◾️Более 30 мест для стажировок в компаниях-партнерах ◾️Регистрация до 31 июля Участниками могут стать: ML-инженеры, аналитики данных, промпт-инженеры, продакт-менеджеры, маркетологи, бренд-менеджеры и студенты IT-специальностей. Лучшие решения получат не только денежный приз, но и возможность реализации в компаниях-партнерах или в качестве самостоятельного стартапа с первыми инвестициями. Стань частью крутой команды или создай свою собственную, заполни заявку по ссылке

🚀 Освоение процесса ETL: Извлечение, преобразование, загрузка с помощью Python! 🔎 Что такое ETL и почему он важен? • Представьте себе владельца перспективного стартапа, вооруженного невероятным алгоритмом искусственного интеллекта, который предсказывает риск развития диабета на основе роста и массы тела. • Однако ваши данные разбросаны по файлам CSV и JSON, а измерения производятся в разных единицах. Введите ETL! ETL – аббревиатура от Extract, Transform, Load. • Извлечение, преобразование и загрузка данных 🧲 – это сбор огромного количества данных из различных источников, преобразование их в единый формат и загрузка в центральную базу данных или целевой файл. 🗄️ 📝 Реализуем ETL с помощью Python • Начнем с определения функции extract, которая предполагает использование функции glob из модуля glob. • Эта удобная функция позволяет находить файлы с определенными расширениями (например, .json и .csv) и извлекать из них данные, преобразуя их в фреймы данных для дальнейшей обработки. 📁 • Импортируем некоторые важные библиотеки, необходимые для выполнения операций! В изображениях 1, 2, 3, 4. 🔄 Преобразование данных для обеспечения их целостности @data_analysis_ml

🔥 Бесплатный курс: Прикладная математика для машинного обучения Курс направлен на студентов без математического бэкграунда. Будут изложены основные понятия необходимые для понимания методов, на которых строится машинное обучение и модели нейронных сетей. Также целью курса является разъяснить как могут быть преобразованы и представлены данные для последующего обучения моделей на них. Курс состоит из 13 лекций и 13 семинаров. На лекциях излагаются теоретические основы перечисленных тем, с простыми примерами. На семинарах планируется разбор, демонстрация и практика применения программных реализаций и алгоритмов обозначенных теоретических объектов. После освоения курса от слушателя ожидается в первую очередь понимание того, что из себя представляют как представлять свои данные численно, и как они обрабатываются моделями машинного обучения численно. Одновременно с этим, курс не ставит перед собой цель, обучить всех строгому выводу каждой формулы и каждой теоремы, только понимание требующееся для прикладного использования. https://teach-in.ru/course/applied-mathematics-for-machine-learning/about @data_math

📌 7 пакетов Python для анализа и форматирования вашего кода. PEP 8 - это набор рекомендаций по написанию чистого, читабельного и последовательного кода на языке Python. • isort — Python-библиотека и плагины для различных редакторов, позволяющие быстро сортировать все импортируемые файлы. • black — это библиотека для автоматического форматирования вашего Python кода, в соответствии с требованиями PEP8. • flake8 — это инструмент линтинга для Python, который проверяет код Python на наличие ошибок, проблем со стилем и сложностью. Библиотека Flake8 построена на базе трех инструментов: PyFlakes - проверяет код Python на наличие ошибок. McCabe - проверяет код Python на сложность. pycodestyle - проверяет кодовую базу Python на проблемы со стилем в соответствии с PEP8.. • interrogate — interrogate проверяет ваш код на наличие отсутствующих строк документации (docstrings). • Whispers — это инструмент анализа кода, предназначенный для разбора различных распространенных форматов данных в поисках жестко закодированных учетных данных и опасных функций. Whispers может работать в CLI или интегрироваться в конвейер CI/CD. • hardcodes — это утилита поиска и редактирования кода. • pylint — Pylint анализирует ваш код без его запуска. Инструмент проверяет наличие ошибок и выдает рекомендации по его рефакторингу. @data_analysis_ml

Научим применять искусственный интеллект в передовых проектах по биотеху! На магистратуре ПИШ ИТМО х АГНИ х Татнефть «Искусственный интеллект в биотехнологических системах». — обучение в передовом биотехнологическом научно-образовательном центре АГНИ — часть модулей будут проходить в Университете ИТМО (перелёты будут оплачиваться) — стипендиальная поддержка студентов от 20 до 40 тыс. руб. — возможность трудоустройства в ПАО «Татнефть» Количество бюджетных мест: 20 Варианты поступления: — конкурс портфолио без сдачи вступительных испытаний (закрывается 25 июля) — дистанционный экзамен 10 августа в письменно-устной форме 👉🏼 Узнать больше о направлении и подать документы можно до 1 августа

🔥 Бесплатный курс: CS 329S: Machine Learning Systems Design Слайды лекций, конспекты, учебные пособия и задания курса Machine Learning Systems Design от Стенфорда. https://stanford-cs329s.github.io/syllabus.html @data_analysis_ml

❗️Как пройти техническое собеседование на ML-специалиста? ⚠️ Узнайте на примере mock-интервью с преподавателями курса «MLOps» в OTUS! На открытом уроке вы сможете наблюдать один из этапов собеседования при найме ML-специалистов — ML System Design секцию. 👉 Для удачного прохождения этого этапа не достаточно только знания алгоритмов машинного обучения. Также проверяются навыки проектирования ML систем, которые могут успешно работать в промышленной среде. Больше инструментов MLOps ждет вас на курсе. Обратите внимание: возможные способы оплаты обучения. 👉 РЕГИСТРАЦИЯ https://otus.pw/tUWuM/ Нативная интеграция. Информация о продукте www.otus.ru

⚡Как развернуть GitLab с помощью Docker за 5 секунд GitLab — это веб-инструмент управления репозиториями Git, который помогает командам совместно работать над кодом. Кроме того, он предоставляет полную платформу DevOps с контролем версий, ревью кода, отслеживанием проблем (англ. issue) и CI/CD. ▪️Развертывание GitLab с помощью файла Compose от Sameersbn Начинаем развертывание GitLab со скачивания актуальной версии файла Compose: wget https://raw.githubusercontent.com/sameersbn/docker-gitlab/master/docker-compose.yml Теперь генерируем 3 случайные строки длиной не менее 64 символов, открываем файл Compose и применяем эти строки для: • GITLAB_SECRETS_OTP_KEY_BASE. Используется для шифрования секретных ключей двухфакторной аутентификации (2FA) в базе данных. Ни один пользователь не сможет войти в систему с 2FA при потере этого ключа. • GITLAB_SECRETS_DB_KEY_BASE. Нужен для шифрования секретных ключей CI и импорта учетных данных. В случае изменения/потери вы уже не сможете задействовать секретные ключи CI. • GITLAB_SECRETS_SECRET_KEY_BASE. Требуется для генерации ссылок для сброса пароля и стандартных функций аутентификации. Вы не сможете сбросить пароли через электронную почту при ее потере/изменении. ▪️Запуск экземпляра GitLab docker-compose up ▪️Развертывание GitLab вручную с помощью команд Docker Вместо скачивания актуальной версии файла Compose от Sameersbn вы можете вручную запустить контейнер GitLab, контейнер Redis и контейнер PostgreSQL за 3 простых шага. Шаг 1. Запуск контейнера PostgreSQL docker run --name gitlab-postgresql -d \ --env 'DB_NAME=gitlabhq_production' \ --env 'DB_USER=gitlab' --env 'DB_PASS=password' \ --env 'DB_EXTENSION=pg_trgm,btree_gist' \ --volume ./gitlab_postgresql:/var/lib/postgresql \ sameersbn/postgresql:12-20200524 Продолжение

Постройте карьеру в развивающейся сфере FinTech и получите специальность Финтех-разработчика или аналитика от МФТИ. Вуз в топ-3 по рейтингу RAEX 2022 в России. Онлайн-магистратура - это дистанционное обучение из любой точки мира, а после успешного окончания - диплом очной магистратуры МФТИ! Максимальная персонализация обучения: ✅ Возможность выбрать из трех видов ВКР: классическая диссертация, решение задачи от бизнес-партнера или собственный стартап. ✅ Практика от партнеров: от 5 реальных кейсов в портфолио (ФинтехХаб ЦБ РФ, Озон) Выбор специальностей: 🎓 Финтех-разработчик. Проектирует сервисы, разрабатывает приложения и системы для выполнения финансовых операций 🎓 Финтех-аналитик. Собирает, обрабатывает и анализирует большие данные в финансах. Участвует в построении финансово-экономической модели компании и оптимизации процессов. Во время учебы вы сможете запустить стартап, получив поддержку акселератора МФТИ. Получите бесплатную консультацию по программам и поступлению: https://clck.ru/3533my