Анализ данных (Data analysis)

✨ Знакомьтесь, #Moirai: Библиотека, которая революционизирует прогнозирование временных рядов с помощью универсальных моделей! Целью этой библиотеки является предоставление унифицированного решения для работы с временными рядами. Uni2TS также предоставляет инструменты для точной настройки, оценки и прогнозирования временных рядов. ▪Github ▪Hf ▪Blog @data_analysis_ml

Российский AI-ассистент разработчика доступен на GitVerse AI-ассистенты (AI, artificial intelligence — искусственный интеллект) — это программы, которые анализируют код и предлагают варианты завершения в режиме онлайн. Разработчик может быстрее выполнять привычные задачи, избавиться от рутины сосредоточиться на важных проектах. К одному из таких помощников вы можете получить доступ уже сейчас! GigaCode – это AI-ассистент, который знает 15 языков программирования — Java, Python, TypeScript, C/C++ и другие. GigaCode работает в любой привычной среде разработки. Его можно подключить к IDEA, PyCharm, VSCode, Jupyter и другим. GigaCode развивается вместе c сервисом GigaChat. В AI-ассистенте есть нейросетевые модели, которые обучены на больших корпусах исходного кода и специализируются на определенных задачах разработки. А по опыту команд в Сбере, GigaCode может сокращать время для создания кода до 25%. Ранний доступ к AI-ассистенту можно получить на площадке GitVerse. Это российская платформа для работы с исходным кодом от СберТеха, где можно хранить открытые и закрытые репозитории и продвигать свои проекты. Чтобы получить доступ к GitVerse и протестировать GigaCode в своем проекте, оставьте заявку на сайте.

🖥 Мультиклассовая классификация текста с использованием Spark ML в Python ⏩Итак, кейс: мы имеем дело с наборами данных, которые слишком велики или сложны для обработки с помощью традиционного прикладного программного обеспечения для обработки данных. В руководстве ниже описано использование механизма распределенной обработки данных общего назначения под названием Apache Spark для обработки наших данных и создания модели машинного обучения для классификации текста. ⏩Apache Spark — это многоязычный механизм для выполнения обработки данных, обработки данных и машинного обучения на одноузловых компьютерах или кластерах. ⏩PySpark — это интерфейс для Apache Spark в Python. Он позволяет писать приложения Spark с использованием API-интерфейсов Python, а также предоставляет оболочку PySpark для интерактивного анализа ваших данных в распределенной среде. PySpark поддерживает большинство функций Spark, таких как Spark SQL, DataFrame, Streaming, MLlib (машинное обучение) и Spark Core. 📎 Руководство @data_analysis_ml

Яндекс зовёт в летнюю Школу аналитиков-разработчиков В этом году Академия Яндекса запустила новую пятую школу, для бесплатного обучения навыкам, востребованным в IT. Студентов научат работать с реальными проектами и делать выводы на основе данных: извлекать из них смыслы и принимать решения. Как попасть Подайте заявку и успешно пройдите отбор, состоящий из двух туров. В первом — выполнение тестового задания и запись видеоинтервью, во втором — онлайн-собеседование. Чтобы лучше подготовиться, посмотрите подборку полезных материалов. Где и когда пройдет обучение С 11 июня по 31 августа: cначала лекции онлайн, а потом очный этап в офисах Яндекса в Москве и Санкт-Петербурге. Компания оплатит билеты и проживание участникам из других городов. Лучшие студенты пройдут очный этап в новом формате — Лаборатории Ученики, показавшие самые высокие результаты на онлайн-этапе, будут приглашены на пятинедельную оплачиваемую практику с погружением во внутренние сервисы Яндекса и возможностью поработать бок о бок с опытными программистами. Подать заявку и получить тестовое задание можно по ссылке

💡 Во время работы с таблицами в Spark возникают ситуации, когда для обработки данных набора встроенных функций оказывается недостаточно. В этом случае можно выгрузить таблицу в Pandas DataFrame и обрабатывать данные на Python привычными функциями. Однако, есть способ сделать это быстрее – UDF-функции в Spark. UDF (User Defined Functions) – это функции, которые не содержатся во встроенных модулях Spark и определяются самим пользователем. UDF позволяют расширить возможности обработки данных и могут содержать в себе комбинацию встроенных функций. Использование UDFS в PySpark может помочь упростить выполнение сложных запросов #SQL, за счет запуска сложных операций в одном вызове функции. В приведенном примере кода мы определяем UDF с именем modify_name, эта функция приводит все имена в нашей таблице к верхнему регистру. 📌 Подробнее о UDF @data_analysis_ml

Программа бакалавриата в Центральном университете от Тинькофф с грантом до 100% для сильных и мотивированных абитуриентов! Грант можно получить на одно из направлений бакалавриата по искусственному интеллекту, разработке и бизнес-аналитике. Помимо диплома и практико-ориентированного образования студенты получат: - Персонализацию учебной траектории; - Стажировку в одной из лучших ИТ-компании страны; - Личного ментора на все время обучения; - Доступ к современному кампусу в центре Москвы. Получить полную информацию и оставить заявку можно здесь. erid:2VtzqwB4n38 Реклама, АНО ВО «Центральный университет», ИНН 7743418023

🔜 DSGW - Data Science GPU Workplace Проект DSGW призван упростить разворот полноценного рабочего места на сервере с GPU для Data Science разработки DSGW базируется на: — Ubuntu 22.04 — Nvidia CUDA 12.3.2 — Nvidia cuDNN 9 — Python 3.12 — VsCode Server 🤓 GitLab @data_analysis_ml

💼 Quantstats Полезная библиотека QuantStats на Python, которая выполняет анализ финансового портфеля, позволяя инвесторам и аналитикам данных лучше понимать свою работу. QuantStats предоставляет функции для углубленной аналитики, визуализации данных и генерации метрик риска. Чтобы визуализировать и анализировать эффективность роста цен конкретных акций в вашем портфеле, используя всего несколько строк на #Python, попробуйте Quantitated. ▪Github @data_analysis_ml

🌟 Microsoft построит дата-центр Stargate для OpenAI за $100 млрд ⏩По информации нескольких источников СМИ, Microsoft профинансирует строительство крупнейшего в мире дата-центра под названием Stargate для OpenAI. Проект оценивается в $100 млрд, займёт около шести лет на реализацию и будет включать в себя кластер из суперкомпьютеров с искусственным интеллектом. ⏩В рамках проекта Stargate каждый суперкомпьютер в кластере будет включать в себя «миллионы специализированных серверных чипов» для поддержки ИИ-систем OpenAI. ⏩Эксперты считают, что это самый амбициозный проект Microsoft, «который будет в 100 раз дороже, чем некоторые из крупнейших современных дата-центров». ⏩В Microsoft и OpenAI планируют, что первый суперкомпьютер проекта Stargate появится в 2026 году, а в 2028 году к нему добавится ещё серия аналогичных установок. Руководство Microsoft планирует запустить Stargate на полную мощность до 2030 года. ⏩По данным СМИ, что реализация проекта Stargate зависит от того, сможет ли OpenAI представить свою ИИ-модель следующего поколения GPT-5 в определённые сроки. В компании планирует запустить GPT-5 где-то в начале 2025 года без уточнения даты. ⏩В марте этого года СМИ сообщили, что OpenAI уже некоторое время активно тестирует в закрытом формате следующее поколение модели искусственного интеллекта под названием GPT-5. По словам тестировщиков, эта модель существенно лучше GPT-4. Там доступны новые опции типа интеллектуального агента, который умеет самостоятельно выполнять задания человека в течение длительных промежутков времени, а также различные системы для автономного выполнения задач. ⏩Ранее глава OpenAI Сэм Альтман заявил, что разработчики обучают ИИ-модель пятого поколения не только на открытой информации и комбинациях общедоступных наборов данных в интернете, но и на внутренних базах данных многих крупных IT-компаний, которые сотрудничают с OpenAI. @data_analysis_ml

🔥 Хотите добавить в резюме компетенции Spark-разработчика?  Приходите на бесплатный практический урок «Spark Connect — что это такое и зачем оно нужно» от OTUS. Спикер Вадим Заигрин — Team Lead команд инженеров данных.  В Spark 3.4.0 появился Spark Connect. На вебинаре мы разберем, что это такое, какие задачи он решает и как его использовать. 📌 Встречаемся 4 апреля в 20:00 мск в рамках курса «Spark Developer». Доступна рассрочка на обучение! 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://otus.pw/CLno/?erid=LjN8KQwrr

▶️xAI анонсировала ИИ-модель Grok-1.5 ⏩Стартап Илона Маска X.ai объявил о скором выходе новой версии ИИ-модели Grok. Версия Grok-1.5 станет основой чат-бота Grok соцсети X «в ближайшие дни». Согласно результатам тестов, обновлённая модель показывает улучшенные по сравнению с первой версией результаты в тестах по математике и программированию. ⏩По данным X.ai, Grok-1.5 более чем вдвое превысила показатели Grok-1 в популярном математическом тесте MATH и набрала на 10% больше в тесте HumanEval на способность генерировать код и решать задачи по программированию. ⏩Как отмечает TechCrunch, пока трудно предсказать, как эти результаты отразятся на реальном использовании чат-бота: то, как ИИ сдаёт тесты, не всегда коррелирует с его способностью выполнять повседневные задачи пользователей. ⏩Серьёзным улучшением стал увеличенный объём контекста, который Grok-1.5 способна воспринимать по сравнению с предыдущей версией. Как сообщают разработчики, Grok-1.5 может обрабатывать до 128 000 токенов, что позволит чат-боту выполнять более сложные запросы и лучше понимать входящие данные. ⏩«[Grok-1.5 способна] использовать информацию из значительно более объёмных документов, — пишет X.ai. — Более того, модель может обрабатывать более сложные запросы, сохраняя при этом способность следовать инструкциям по мере расширения контекстного окна» ⏩Модель Grok от X.ai отличается от других моделей генеративного ИИ способностью отвечать на вопросы по темам, которые обычно закрыты для других моделей, таким как заговоры и противоречивые политические идеи. Модели также отвечают на вопросы с «бунтарской жилкой», по словам Маска, и могут грубо выражаться, если их попросят. ⏩В ближайшее время доступ к Grok-1.5 получат участники программы раннего тестирования X. @data_analysis_ml

⁉️ Интересуетесь сферой Computer Vision? Разберите одну из важных тем на практике Приходите на бесплатный практический урок «Современные self-supervised подходы в computer vision: решаем задачи без обучения моделей» Otus, лекцию читает Борис Цейтлин — опытный CV-эксперт.  Segment Anything, DINO и другие foundational модели меняют ландшафт Computer Vision. На этом занятии вы узнаете, как ими пользоваться, в каких случаях можно вообще не обучать модели, а когда все-таки придется. 🔜 Встречаемся 4 апреля в 20:00 мск в рамках курса «Компьютерное зрение». Доступна рассрочка на обучение! 🟢 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://otus.pw/f0Fx/?erid=LjN8Kb2Jn

📌Временная сложность разных ML-алгоритмов И вспомним про некоторые алгоритмы ⏩Логистическая регрессия Где применять — там, где требуется несложная классификация малого числа объектов на малое число классов. ⏩K-means Может сгруппировать объекты по степени похожести. Где применять — поиск закономерностей, классификация объектов по нескольким параметрам. Работа с объектами, которые можно описывать набором переменных. ⏩Метод опорных векторов (SVM) Пытается построить такую линию, чтобы самым точным образом разделить между собой разные типы объектов. Где применять — классификация объектов. ⏩Байесовский классификатор Определяет класс, к которому принадлежит объект. В основе — расчет вероятности, с которой объект относится к тому или иному типу данных. Где применять — в задачах классификации, конечно же. Например, классическая задача — сказать, относится ли письмо к спаму или нет. 📎 А вот подробная статья по самым популярным ML-алгоритмам @data_analysis_ml

erid: LjN8Jy14X Как инженеру данных дорасти до уверенного мидла? Если у вас уже есть опыт работы, но вы хотите структурировать знания и восполнить пробелы, чтобы охватить весь стек и выделиться на фоне «джунов», присоединяйтесь к курсу «Инженер данных» от karpov.courses. За 5 месяцев вы освоите: — Проектирование DWH; — Реляционные и MPP СУБД; — Автоматизация ETL-процессов; — Big data; — Облачное хранилище; — Визуализация данных; — Big ML; — Управление моделями и данными. Авторы курса — топовые профи из «Яндекса», Ozon.Fintech, VK Cloud Solutions и Сбера. Старт программы 4 апреля — получите скидку 5% по промокоду DAML и расширьте свои навыки: https://clc.to/kUS3Xg Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

📌Python Data Science Bootcamp Держите мощное практическое видео по работе с Pandas, Matplotlib, NumPy, Seaborn, Scikit-learn, Plotly Ключевые моменты в видео: 01:28:00 — Pandas 02:54:02 — NumPy 03:05:26 — Визуализация данных с помощью Matplotlib 03:26:22 — Визуализация данных с помощью Seaborn 04:39:40 — Анализ данных 05:03:12 — Элементы ML, использование Scikit-learn 📎 Видео @data_analysis_ml

Постройте свою модель для прогнозирования цен на недвижимость, открыв двери в мир машинного обучения вместе с нами!   👉  Отус приглашает 2 апреля в 20:00 мск на бесплатный практический вебинар «Линейная регрессия — ваша первая модель»   Вебинар является частью полноценного онлайн-курса «Специализация Machine Learning»   ➡️ Регистрация на вебинар: https://otus.pw/yfj9/?erid=LjN8KXtxj   Спикером выступит: Игорь Стурейко — (к.ф.-м.н.) Teamlead, Data Scientist   В результате вебинара вы: ✅ познакомитесь с популярным алгоритмом машинного обучения — линейной регрессией; ✅ узнаете, как устроены алгоритм линейной регрессии и метод наименьших квадратов; ✅ освоите принципы решения задачи регрессии; ✅ построите свою первую модель предсказания цены на недвижимость.   Записывайтесь сейчас, а мы потом напомним. Участие бесплатно.

✨ Парадокс Монти-Холла из теории вероятностей В Data Science нужно хорошо ориентироваться в статистике и теории вероятностей. Как у вас с этим? Хотите взорвать себе мозг? Не проблема, сейчас всё будет ⏩Итак, перед вами 3 двери, только за 1 из них приз. Вы выбрали любую дверь. Ведущий открывает другую дверь (не вашу), за которой приза нет (ведущий знает об этом). Дальше вы можете либо не менять свою дверь, либо выбрать другую дверь. Изменится ли вероятность победы, если поменять дверь? Подумайте очень хорошо; Когда мы выбираем дверь в самом начале, вероятность выиграть 1/3 — очевидно, потому что из приз только за 1 из 3 дверей. После того, как ведущий открывает дверь, где приза нет, приз может быть либо за нашей выбранной дверью, либо за другой. 2 двери: наша и оставшаяся, приз может быть за любой из них. Вроде с равной вероятностью 1/3. Или нет? ⏩Итак, поменяется ли вероятность выиграть, если вы выберете другую дверь? Для большей уверенности можно смоделировать это в Python Да, если поменять дверь, вероятность выиграть будет 2/3, а не 1/3, как было бы, если не менять дверь Что?! Это реально контринтуитивно, но численный эксперимент на Python это подтверждает. Вообще, можете написать своё решение, чтобы 100% удостовериться 📎А вот статья, которая поможет в этом разобраться — «Голуби брутфорсят парадокс Монти-Холла лучше людей» 📎 Код можно запустить тут @data_analysis_ml

🌟 Как проходит собеседование на продуктового аналитика в Авито? Присоединяйтесь к трансляции на канале AvitoTech 4 апреля в 18:00. Вместе с Вовой Камчаткиным, продуктовым аналитиком в компании inDrive, увидите, какие вызовы и задачи ждут вас и как к ним лучше подготовиться. А ещё сможете отвечать на вопросы Егора Беседина, руководителя продуктовой аналитики в Авито, и задавать свои. А 6 и 7 апреля используйте полученные знания на Weekend Offer для аналитиков. Оставляйте заявку, проходите собеседование и получайте оффер! 🔥

▶️7 типов баз данных, понимание которых пригодится специалисту Data Science ⏩Иерархические БД — DNS, LDAP В иерархических БД каждая запись имеет одного «родителя». Это создаёт древовидную структуру, в которой записи классифицируются по их отношениям с цепочкой родительских записей. ⏩Сетевые БД — IDMS Сетевые БД расширяют функциональность иерархических: записи могут иметь более одного родителя. А значит, можно моделировать сложные отношения. ⏩Реляционные БД — PostgreSQL, MariaDB, SQLite, MySQL Реляционные БД – старейший тип до сих пор широко используемых БД общего назначения. Данные и связи между данными организованы с помощью таблиц. Каждый столбец в таблице имеет имя и тип. Каждая строка представляет отдельную запись или элемент данных в таблице, который содержит значения для каждого из столбцов. ⏩Базы данных «ключ-значение» — Redis, Memcached В БД «ключ-значение» для хранения информации вы предоставляте ключ и объект данных, который нужно сохранить. Например, JSON-объект, изображение или текст. Чтобы запросить данные, отправляете ключ и получаете blob-объект. ⏩Документная база данных — MongoDB, RethinkDB Документные БД совместно используют базовую семантику доступа и поиска хранилищ ключей и значений. Такие БД также используют ключ для уникальной идентификации данных. Разница между хранилищами «ключ-значение» и документными БД заключается в том, что вместо хранения blob-объектов, документоориентированные базы хранят данные в структурированных форматах – JSON, BSON или XML. ⏩Графовая база данных — Neo4j, JanusGraph, Dgraph Вместо сопоставления связей с таблицами и внешними ключами, графовые БД устанавливают связи, используя узлы, рёбра и свойства. ⏩Колоночные БД — Cassandra, HBase Колоночные БД принадлежат к семейству NoSQL БД, но внешне похож на реляционные БД. Как и реляционные, колоночные БД хранят данные, используя строки и столбцы, но с иной связью между элементами. 📎 Читать подробнее @data_analysis_ml

Канал для аналитиков уже в Telegram! Его ведет Влад Князев, аналитик из финтеха, который ярко и с юмором пишет заметки и проводит эфиры о том, как выйти на новый уровень в карьере в IT. Начинай прокачивать насмотренность системно уже сейчас👇 Подпишись на @godnolytika