Анализ данных (Data analysis)

💲 Financial Datasets - это библиотека Python с открытым исходным кодом, которая позволяет разработчикам создавать синтетические наборы финансовых данных с использованием больших языковых моделей (LLM). С помощью этой библиотеки вы можете генерировать реалистичные наборы финансовых данных за 5 строк кода, на основе отчетов SEC, таких как 10-Ks, 10-Qs и других финансовых отчетов. Такие датасеты полезны для: • оценки LLM • точной настройки LLM • тестирования финансовых инструментов • и многого другого Проект полностью открытым исходным кодом. pip financial-datasets. ▪GitHub: https://github.com/virattt/financial-datasets ▪Пример с кодом: https://colab.research.google.com/gist/virattt/f9b5a0ae82cc0caab57df5dedc2927c9/intro-financial-datasets.ipynb#scrollTo=K-b_1BPtJsS1 @data_analysis_ml

📌Подборка полезных материалов по Data Science Держите, здесь ссылки на шпаргалки, полезные статьи, курсы на Stepik и ещё много всего Enjoy) 📎 Ссылка @data_analysis_ml

Хотите учиться у экспертов в области IT? Школа анализа данных Яндекса принимает заявки до 12 мая, успейте зарегистрироваться. ШАД для вас, если вы: · интересуетесь Machine Learning · имеете хорошую математическую подготовку · уверенно владеете каким-либо языком программирования Программа длится два года, обучение бесплатное. Можно выбрать одно из направлений: Data Science, инфраструктура больших данных, разработка машинного обучения или анализ данных и ИИ в прикладных науках. Больше об учёбе в ШАД и возможностях для выпускников расскажем на днях открытых дверей. Узнать даты и зарегистрироваться можно по ссылке.

🔥 Сегодня выпущены два самых больших открытых набора данных для распознавания текста за всю историю 📜 📜 Набор данных содержит миллионы реальных документов, изображений и текстов для задач распознавания текста, анализа и разбора документов VQA.: https://huggingface.co/datasets/pixparse/idl-wds Датасет дополнен аннотациями из проекта idl_data Бриттена и др. (https://arxiv.org/abs/2202.12985 ) PDFA: https://huggingface.co/datasets/pixparse/pdfa-eng-wds @data_analysis_ml

✨ Знакомьтесь, #Moirai: Библиотека, которая революционизирует прогнозирование временных рядов с помощью универсальных моделей! Целью этой библиотеки является предоставление унифицированного решения для работы с временными рядами. Uni2TS также предоставляет инструменты для точной настройки, оценки и прогнозирования временных рядов. ▪Github ▪Hf ▪Blog @data_analysis_ml

Российский AI-ассистент разработчика доступен на GitVerse AI-ассистенты (AI, artificial intelligence — искусственный интеллект) — это программы, которые анализируют код и предлагают варианты завершения в режиме онлайн. Разработчик может быстрее выполнять привычные задачи, избавиться от рутины сосредоточиться на важных проектах. К одному из таких помощников вы можете получить доступ уже сейчас! GigaCode – это AI-ассистент, который знает 15 языков программирования — Java, Python, TypeScript, C/C++ и другие. GigaCode работает в любой привычной среде разработки. Его можно подключить к IDEA, PyCharm, VSCode, Jupyter и другим. GigaCode развивается вместе c сервисом GigaChat. В AI-ассистенте есть нейросетевые модели, которые обучены на больших корпусах исходного кода и специализируются на определенных задачах разработки. А по опыту команд в Сбере, GigaCode может сокращать время для создания кода до 25%. Ранний доступ к AI-ассистенту можно получить на площадке GitVerse. Это российская платформа для работы с исходным кодом от СберТеха, где можно хранить открытые и закрытые репозитории и продвигать свои проекты. Чтобы получить доступ к GitVerse и протестировать GigaCode в своем проекте, оставьте заявку на сайте.

🖥 Мультиклассовая классификация текста с использованием Spark ML в Python ⏩Итак, кейс: мы имеем дело с наборами данных, которые слишком велики или сложны для обработки с помощью традиционного прикладного программного обеспечения для обработки данных. В руководстве ниже описано использование механизма распределенной обработки данных общего назначения под названием Apache Spark для обработки наших данных и создания модели машинного обучения для классификации текста. ⏩Apache Spark — это многоязычный механизм для выполнения обработки данных, обработки данных и машинного обучения на одноузловых компьютерах или кластерах. ⏩PySpark — это интерфейс для Apache Spark в Python. Он позволяет писать приложения Spark с использованием API-интерфейсов Python, а также предоставляет оболочку PySpark для интерактивного анализа ваших данных в распределенной среде. PySpark поддерживает большинство функций Spark, таких как Spark SQL, DataFrame, Streaming, MLlib (машинное обучение) и Spark Core. 📎 Руководство @data_analysis_ml

Яндекс зовёт в летнюю Школу аналитиков-разработчиков В этом году Академия Яндекса запустила новую пятую школу, для бесплатного обучения навыкам, востребованным в IT. Студентов научат работать с реальными проектами и делать выводы на основе данных: извлекать из них смыслы и принимать решения. Как попасть Подайте заявку и успешно пройдите отбор, состоящий из двух туров. В первом — выполнение тестового задания и запись видеоинтервью, во втором — онлайн-собеседование. Чтобы лучше подготовиться, посмотрите подборку полезных материалов. Где и когда пройдет обучение С 11 июня по 31 августа: cначала лекции онлайн, а потом очный этап в офисах Яндекса в Москве и Санкт-Петербурге. Компания оплатит билеты и проживание участникам из других городов. Лучшие студенты пройдут очный этап в новом формате — Лаборатории Ученики, показавшие самые высокие результаты на онлайн-этапе, будут приглашены на пятинедельную оплачиваемую практику с погружением во внутренние сервисы Яндекса и возможностью поработать бок о бок с опытными программистами. Подать заявку и получить тестовое задание можно по ссылке

💡 Во время работы с таблицами в Spark возникают ситуации, когда для обработки данных набора встроенных функций оказывается недостаточно. В этом случае можно выгрузить таблицу в Pandas DataFrame и обрабатывать данные на Python привычными функциями. Однако, есть способ сделать это быстрее – UDF-функции в Spark. UDF (User Defined Functions) – это функции, которые не содержатся во встроенных модулях Spark и определяются самим пользователем. UDF позволяют расширить возможности обработки данных и могут содержать в себе комбинацию встроенных функций. Использование UDFS в PySpark может помочь упростить выполнение сложных запросов #SQL, за счет запуска сложных операций в одном вызове функции. В приведенном примере кода мы определяем UDF с именем modify_name, эта функция приводит все имена в нашей таблице к верхнему регистру. 📌 Подробнее о UDF @data_analysis_ml

Программа бакалавриата в Центральном университете от Тинькофф с грантом до 100% для сильных и мотивированных абитуриентов! Грант можно получить на одно из направлений бакалавриата по искусственному интеллекту, разработке и бизнес-аналитике. Помимо диплома и практико-ориентированного образования студенты получат: - Персонализацию учебной траектории; - Стажировку в одной из лучших ИТ-компании страны; - Личного ментора на все время обучения; - Доступ к современному кампусу в центре Москвы. Получить полную информацию и оставить заявку можно здесь. erid:2VtzqwB4n38 Реклама, АНО ВО «Центральный университет», ИНН 7743418023

🔜 DSGW - Data Science GPU Workplace Проект DSGW призван упростить разворот полноценного рабочего места на сервере с GPU для Data Science разработки DSGW базируется на: — Ubuntu 22.04 — Nvidia CUDA 12.3.2 — Nvidia cuDNN 9 — Python 3.12 — VsCode Server 🤓 GitLab @data_analysis_ml

💼 Quantstats Полезная библиотека QuantStats на Python, которая выполняет анализ финансового портфеля, позволяя инвесторам и аналитикам данных лучше понимать свою работу. QuantStats предоставляет функции для углубленной аналитики, визуализации данных и генерации метрик риска. Чтобы визуализировать и анализировать эффективность роста цен конкретных акций в вашем портфеле, используя всего несколько строк на #Python, попробуйте Quantitated. ▪Github @data_analysis_ml

🌟 Microsoft построит дата-центр Stargate для OpenAI за $100 млрд ⏩По информации нескольких источников СМИ, Microsoft профинансирует строительство крупнейшего в мире дата-центра под названием Stargate для OpenAI. Проект оценивается в $100 млрд, займёт около шести лет на реализацию и будет включать в себя кластер из суперкомпьютеров с искусственным интеллектом. ⏩В рамках проекта Stargate каждый суперкомпьютер в кластере будет включать в себя «миллионы специализированных серверных чипов» для поддержки ИИ-систем OpenAI. ⏩Эксперты считают, что это самый амбициозный проект Microsoft, «который будет в 100 раз дороже, чем некоторые из крупнейших современных дата-центров». ⏩В Microsoft и OpenAI планируют, что первый суперкомпьютер проекта Stargate появится в 2026 году, а в 2028 году к нему добавится ещё серия аналогичных установок. Руководство Microsoft планирует запустить Stargate на полную мощность до 2030 года. ⏩По данным СМИ, что реализация проекта Stargate зависит от того, сможет ли OpenAI представить свою ИИ-модель следующего поколения GPT-5 в определённые сроки. В компании планирует запустить GPT-5 где-то в начале 2025 года без уточнения даты. ⏩В марте этого года СМИ сообщили, что OpenAI уже некоторое время активно тестирует в закрытом формате следующее поколение модели искусственного интеллекта под названием GPT-5. По словам тестировщиков, эта модель существенно лучше GPT-4. Там доступны новые опции типа интеллектуального агента, который умеет самостоятельно выполнять задания человека в течение длительных промежутков времени, а также различные системы для автономного выполнения задач. ⏩Ранее глава OpenAI Сэм Альтман заявил, что разработчики обучают ИИ-модель пятого поколения не только на открытой информации и комбинациях общедоступных наборов данных в интернете, но и на внутренних базах данных многих крупных IT-компаний, которые сотрудничают с OpenAI. @data_analysis_ml

🔥 Хотите добавить в резюме компетенции Spark-разработчика?  Приходите на бесплатный практический урок «Spark Connect — что это такое и зачем оно нужно» от OTUS. Спикер Вадим Заигрин — Team Lead команд инженеров данных.  В Spark 3.4.0 появился Spark Connect. На вебинаре мы разберем, что это такое, какие задачи он решает и как его использовать. 📌 Встречаемся 4 апреля в 20:00 мск в рамках курса «Spark Developer». Доступна рассрочка на обучение! 💣 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://otus.pw/CLno/?erid=LjN8KQwrr

▶️xAI анонсировала ИИ-модель Grok-1.5 ⏩Стартап Илона Маска X.ai объявил о скором выходе новой версии ИИ-модели Grok. Версия Grok-1.5 станет основой чат-бота Grok соцсети X «в ближайшие дни». Согласно результатам тестов, обновлённая модель показывает улучшенные по сравнению с первой версией результаты в тестах по математике и программированию. ⏩По данным X.ai, Grok-1.5 более чем вдвое превысила показатели Grok-1 в популярном математическом тесте MATH и набрала на 10% больше в тесте HumanEval на способность генерировать код и решать задачи по программированию. ⏩Как отмечает TechCrunch, пока трудно предсказать, как эти результаты отразятся на реальном использовании чат-бота: то, как ИИ сдаёт тесты, не всегда коррелирует с его способностью выполнять повседневные задачи пользователей. ⏩Серьёзным улучшением стал увеличенный объём контекста, который Grok-1.5 способна воспринимать по сравнению с предыдущей версией. Как сообщают разработчики, Grok-1.5 может обрабатывать до 128 000 токенов, что позволит чат-боту выполнять более сложные запросы и лучше понимать входящие данные. ⏩«[Grok-1.5 способна] использовать информацию из значительно более объёмных документов, — пишет X.ai. — Более того, модель может обрабатывать более сложные запросы, сохраняя при этом способность следовать инструкциям по мере расширения контекстного окна» ⏩Модель Grok от X.ai отличается от других моделей генеративного ИИ способностью отвечать на вопросы по темам, которые обычно закрыты для других моделей, таким как заговоры и противоречивые политические идеи. Модели также отвечают на вопросы с «бунтарской жилкой», по словам Маска, и могут грубо выражаться, если их попросят. ⏩В ближайшее время доступ к Grok-1.5 получат участники программы раннего тестирования X. @data_analysis_ml

⁉️ Интересуетесь сферой Computer Vision? Разберите одну из важных тем на практике Приходите на бесплатный практический урок «Современные self-supervised подходы в computer vision: решаем задачи без обучения моделей» Otus, лекцию читает Борис Цейтлин — опытный CV-эксперт.  Segment Anything, DINO и другие foundational модели меняют ландшафт Computer Vision. На этом занятии вы узнаете, как ими пользоваться, в каких случаях можно вообще не обучать модели, а когда все-таки придется. 🔜 Встречаемся 4 апреля в 20:00 мск в рамках курса «Компьютерное зрение». Доступна рассрочка на обучение! 🟢 Пройдите короткий тест прямо сейчас, чтобы посетить бесплатный урок и получить запись: https://otus.pw/f0Fx/?erid=LjN8Kb2Jn

📌Временная сложность разных ML-алгоритмов И вспомним про некоторые алгоритмы ⏩Логистическая регрессия Где применять — там, где требуется несложная классификация малого числа объектов на малое число классов. ⏩K-means Может сгруппировать объекты по степени похожести. Где применять — поиск закономерностей, классификация объектов по нескольким параметрам. Работа с объектами, которые можно описывать набором переменных. ⏩Метод опорных векторов (SVM) Пытается построить такую линию, чтобы самым точным образом разделить между собой разные типы объектов. Где применять — классификация объектов. ⏩Байесовский классификатор Определяет класс, к которому принадлежит объект. В основе — расчет вероятности, с которой объект относится к тому или иному типу данных. Где применять — в задачах классификации, конечно же. Например, классическая задача — сказать, относится ли письмо к спаму или нет. 📎 А вот подробная статья по самым популярным ML-алгоритмам @data_analysis_ml

erid: LjN8Jy14X Как инженеру данных дорасти до уверенного мидла? Если у вас уже есть опыт работы, но вы хотите структурировать знания и восполнить пробелы, чтобы охватить весь стек и выделиться на фоне «джунов», присоединяйтесь к курсу «Инженер данных» от karpov.courses. За 5 месяцев вы освоите: — Проектирование DWH; — Реляционные и MPP СУБД; — Автоматизация ETL-процессов; — Big data; — Облачное хранилище; — Визуализация данных; — Big ML; — Управление моделями и данными. Авторы курса — топовые профи из «Яндекса», Ozon.Fintech, VK Cloud Solutions и Сбера. Старт программы 4 апреля — получите скидку 5% по промокоду DAML и расширьте свои навыки: https://clc.to/kUS3Xg Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

📌Python Data Science Bootcamp Держите мощное практическое видео по работе с Pandas, Matplotlib, NumPy, Seaborn, Scikit-learn, Plotly Ключевые моменты в видео: 01:28:00 — Pandas 02:54:02 — NumPy 03:05:26 — Визуализация данных с помощью Matplotlib 03:26:22 — Визуализация данных с помощью Seaborn 04:39:40 — Анализ данных 05:03:12 — Элементы ML, использование Scikit-learn 📎 Видео @data_analysis_ml

Постройте свою модель для прогнозирования цен на недвижимость, открыв двери в мир машинного обучения вместе с нами!   👉  Отус приглашает 2 апреля в 20:00 мск на бесплатный практический вебинар «Линейная регрессия — ваша первая модель»   Вебинар является частью полноценного онлайн-курса «Специализация Machine Learning»   ➡️ Регистрация на вебинар: https://otus.pw/yfj9/?erid=LjN8KXtxj   Спикером выступит: Игорь Стурейко — (к.ф.-м.н.) Teamlead, Data Scientist   В результате вебинара вы: ✅ познакомитесь с популярным алгоритмом машинного обучения — линейной регрессией; ✅ узнаете, как устроены алгоритм линейной регрессии и метод наименьших квадратов; ✅ освоите принципы решения задачи регрессии; ✅ построите свою первую модель предсказания цены на недвижимость.   Записывайтесь сейчас, а мы потом напомним. Участие бесплатно.