Анализ данных (Data analysis)

🦙 Lagent: A lightweight framework for building LLM-based agents Lagent - это легковесный фреймворк с открытым исходным кодом, который позволяет легко и эффективно создавать агентов на основе больших языковых моделей (LLM). Он также предоставляет некоторые типовые инструменты для расширения возможностей LLM. pip install lagent ▪Github @data_analysis_ml

Последний шанс поступить в онлайн-магистратуру МФТИ “Финансовые технологии и аналитика” Ближайшие даты экзаменов: 4 и 19 сентября  - Диплом очной магистратуры МФТИ гособразца по направлению 38.03.05 «Бизнес-информатика» - Онлайн-обучение из любой точки мира - Углубленная специализация в области финтех-разработки или аналитики - Гранты на запуск своего стартапа в области Data Science/AI/ML до 3 млн рублей - Более 5 проектов в портфолио: реальные задачи от Сбера, ВТБ, Ozon FinTech, Альфа-Банка и других Fintech-компаний уже с первого семестра - Возможность совмещать с работой и развивать корпоративный проект в качестве дипломного - Рассрочка под 3% от Сбера и Минобразования: платеж во время учебы до 900 руб/мес  Бесплатный подготовительный курс и запись прошедших консультаций по экзаменам доступны после регистрации. Оставить заявку, чтобы записаться на День открытых дверей и начать готовиться к экзаменам.

🔥 Дайджест полезных материалов из мира : Data Science за неделю Почитать: — Неструктурированные данные: примеры, инструменты, методики и рекомендации — Строим пайплайн в sсikit-learn — пошаговое руководство — Цифровая трансформация цементного завода (ч.9): автоматическая корректировка качества муки — MLOps от Gucci и оценка уровня Data Driven’ности в компании — Kaggle для футболистов. Разбираем подходы призеров соревнований по детекции столкновений (1 и 2 место) — Вам в хранилище или к озеру? Чем занимаются специалисты по работе с данными и как стать Data-инженером — Преобразование табличных данных в Python — Работа с матрицами в python — SRP: Refactoring the Data Science Beyond Classes — NumPy Tutorial #9: Array Join — How to use Kaggle for Climate Change studies — Apache Flink — Troubleshooting SQL Server Errors - A Comprehensive Guide — NumPy Tutorial #8: Array Iterating — How to handle datasets with missing values In machine learning — 5 FREE Machine Learning Online Courses — NumPy Tutorial #7: Array Reshape — The most important skills for data scientist Посмотреть: 🌐 How to use GitHub Codespaces for Coding and Data Science (⏱ 11:53) 🌐 Практика парсинга Python (⏱ 05:27) 🌐 Уроки Парсинга на Python Сравниваем Scrappy и bs4 (⏱ 10:06) 🌐 Большой гайд по парсингу на Python. Часть 3 Работаем с selenium (⏱ 06:14) 🌐 Уроки Golang с нуля /#24 - Тесты (⏱ 09:50) 🌐 Полный Гайд по парсингу на Python: от азов до продвинутых техниик,. Часть 1 (⏱ 07:04) 🌐 Полный Гайд по парсингу на Python: Практика. Часть 2 (⏱ 05:59) 🌐 ODSC APAC Keynote Talk "Infuse Generative AI in your Apps Using Azure OpenAI Service" (⏱ 24:32) 🌐 Lightning Interview "Confident Data Science" (⏱ 48:13) 🌐 ODSC APAC Keynote Talk "Navigating the Post Pandemic Credit Risk Landscape with AI/ML Innovation" (⏱ 23:24) 🌐 New AI Beats DeepMind’s AlphaGo Variants 97% Of The Time! (⏱ 06:01) 🌐 AI Mind Reading Experiment! (⏱ 05:47) Хорошего дня!

💛 Зачем нужен AutoGPT AutoGPT  —  это автономный агент, одна из форм ИИ, автономно решающая поставленную задачу. ✅AutoGPT использует модель GPT-4 для автоматизации многоэтапных проектов, требующих обратного взаимодействия. Это позволяет агенту AutoGPT объединять выводы и суждения независимо. ✅ Агент имеет доступ к интернету и может чтение/запись файлов. Агенты на базе AutoGPT должны сделать GPT-4 полностью автономным сервисом. Сейчас на Github представлены три наиболее популярных AutoGPT: 🟡BabyAGI от Йохеи Накадзимы; 🟡Auto-GPT Торана Брюса Ричардса, известного под псевдонимом Significant Gravitas; 🟡Jarvis от Microsoft. Запускать эти популярные AutoGPT можно после локальной установки. А для этого требуется определенный опыт программирования, поскольку агент работает на Python и требует ключей OpenAI и приложения Pinecone. 💛 Однако уже появились приложения AutoGPT, запускаемые в браузере, например AgentGPT и Cognosys. BabyAGI также может работать в браузере через пространство Hugging Face. Поскольку эксперимент находится в стадии разработки, можно ожидать, что AutoGPT скоро станет удобнее для пользователя, получит приятный и интуитивно понятный интерфейс. ⭐️ R&D лаборатория Adept AI разрабатывает модели ИИ для автоматизации выполнения задач и преобразования текстовых команд в действия. Они используются в различных сферах, таких как туризм (например, Expedia) и возможно в будущем и в медицине. Целью этих разработок является создание активных агентов ИИ, которые могут принимать самостоятельные решения. Это выводит ChatGPT на новый уровень и превращает ИИ в помощника человека. @data_analysis_ml

Как исследовать сырые данные, а на их основе находить решения? 💪 Пройди тест по аналитике данных и проверь свои знания. Ответишь — пройдешь на продвинутый курс "Аналитик данных" от OTUS по специальной цене. На курсе ты освоишь мощные навыки анализа данных: анализ требований + статистика + BI и получишь востребованную профессию. Курс доступен в рассрочку. ✍️ ПРОЙТИ ТЕСТ: https://otus.pw/P4EU/ Нативная интеграция. Информация о продукте www.otus.ru

🧑Использование библиотеки Facerecognition и фреймворка Django для распознавания лиц в реальном времени В этом посте рассмотрим, как использовать библиотеку Facerecognition для распознавания лиц на изображениях. Комбинируя ее с веб-фреймворком Django, мы покажем этапы создания веб-приложения пропускной системы. Здесь вы найдете простые и понятные инструкции, шаг за шагом, которые помогут создать свою собственную пропускную систему, способную распознавать лица и управлять доступом в компании. В процессе решения задачи было выделено 3 основных фреймворка для создания веб-приложений: Django, Flask и FastAPI. Рассмотрим особенности каждого из них. Одним из плюсов фреймворка FastAPI является поддержка асинхронных процессов. Такие процессы позволяют увеличить скорость обработки данных в разы. Также плюсом данного фреймворка является поддержка из коробки Websockets. Благодаря указанному протоколу пользователь может получать данные в режиме реального времени. 📌Читать дальше 📌Github @data_analysis_ml

🚀 Ruff Ruff - это #Python-линтер, написанный на Rust, который может быть использован для замены различных инструментов, таких как Flake8, isort, pydocstyle, yesqa, eradicate, pyupgrade и autoflake. Ruff также работает в 10-100 раз быстрее, чем существующие линтеры. pip install ruff ▪Github ▪Документация @data_analysis_ml

Курс «Английский для аналитиков» Яндекс Практикума Для специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков: 🗣 Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе. 🙌 Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании. 👨‍💻 Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков. 📈 Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли. 📝 Обсуждение решений по проекту. Генерация и аргументация идей, участие в мозговых штурмах. 🚀 Рефлексия и самоанализ. Ретроспектива, ревью, ответы на сложные вопросы. Запишитесь на бесплатную консультацию. Кураторы определят ваш уровень языка и расскажут подробнее про обучение.

⚡ Event-Driven Declarative Orchestrator Популярные библиотеки оркестровки потоков операций по обработке данных, такие как Airflow, требуют написания Python-кода для использования их возможностей, что усложняет код и затрудняет работу с проектом. Чтобы отделить код data science от логики оркестровки, используйте библиотеку Kestra. ▪Github ▪Демо @data_analysis_ml

Как подготовить IT-инфраструктуру к бизнес-сезону вместе с сервисами для Kubernetes Совсем скоро наступит осень, а значит, для компаний начнется жаркая пора — и в это время как никогда нужно быть уверенными в отказоустойчивости и надежности своей инфраструктуры. Решить эту проблему поможет переход на микросервисную архитектуру на базе кластеров Kubernetes. Благодаря этой методологии вы сможете выстроить гибкую и масштабируемую инфраструктуру для быстрого запуска новых продуктов на рынке. Кстати, 29 августа в 11:00 состоится вебинар про Kubernetes от команды провайдера облачных и AI-технологий Cloud․ru. В прямом эфире эксперты расскажут о: 😶‍🌫️преимуществах и сценариях применения сервиса для управления кластерами Kubernetes; 😶‍🌫️способах настройки сетевых доступов внутри кластеров Kubernetes;  😶‍🌫️вариантах настройки безопасного контура внутри кластера в облаке на примере реального приложения. Всем зарегистрированным участникам встречи будет доступна запись вебинара. 😶‍🌫️Зарегистрироваться на вебинар: https://sc.link/1Ieu 😶‍🌫️Подписаться на Телеграм канал: @cloudruprovider

🔍 Выявление неявных связей при анализе графов или как увидеть незримое Неявные связи в графах. Что это и как с ними работать, разберу на примерах. Граф — множество узлов, объединенных множеством ребер. С узлами все понятно, взяли города России, клиентов банка или компьютеры в сети, и получили множество объектов, которые и будут узлами для графа. Что же с ребрами? На первый взгляд все просто: города соединены дорогами, клиенты совершают переводы денежных средств, а компьютеры постоянно обмениваются информацией. Все, что было перечислено, относится к явным типам связей. Существует факт взаимосвязи между объектами: если дороги нет, то ребро между узлами отсутствует. Что же относится к неявным связям? Неявные связи сложнее, они могут зависеть от явных связей или же быть самостоятельными. Например, возьмем двух людей, которые работают на абсолютно разных работах, живут в разных концах города. На первый взгляд, они не имеют ничего общего, но при этом они оба по выходным приходят на матч любимой команды – это и есть неявная связь. Теперь перейдем к практическому примеру. Есть 2 файла: ◾️Данные о мошенниках, их номерах телефонов, а также периоды их активности; ◾️Данные о клиентах и номерах телефонов с периодами активности. ◾️Данные с номерами телефонов сложно найти в открытом доступе, придется сгенерировать их самостоятельно. Код для генерации необходимых данных расположен по ссылке. Следующим этапом будет создание графа. Для этой задачи понадобятся следующие python-библиотеки: ▪️Pandas – для работы с файлами; ▪️NetworkX – для создания графа связей, его визуализации; ▪️Matplotlib и Numpy – нужны для настройки визуализации графа; ▪️Datetime – для операций над временными данными. Перед созданием графа взглянем на данные, с которыми нам предстоит работать. Описание данных: 📍index – id клиента / мошенника; 📍numbers – номер телефона; 📍Date_start – начало периода активности; 📍Date_end – окончание периода активности. ➡️ Продолжение @data_analysis_ml

Что-то не джойнится, половины данных нет, АБ тест запустили криво, дашборд сломался. Рано или поздно каждый аналитик сталкивается с такими проблемами. О таких и многих других кейсах в своем канале рассказывает аналитик  -  Юрий Борзило В канале есть много клевых материалов: 1 Подборки: 💎 Подборка материалов по АБ тестам 💎 Подборка курсов по инструментам аналитика 💎 Подборка комплексных курсов по аналитике 2 Про работу аналитиком: 💎 Как ставить задачи аналитику 💎 Почему LTV плохая метрика 💎 Базовая схема сквозной аналитики Кроме полезнях в канале полно прикольных мемасов про анализ данных. Немколько рандомных мемасов: тык1, тык2, тык3 Ссылка на канал Юрия

👩‍🎓Получаем степень в области Data Science с лучшими бесплатными курсами. 📂 Python: http://cs50.harvard.edu/python/2022/ 📂 Machine Learning: http://developers.google.com/machine-learning/crash-course 📂 Deep Learning http://introtodeeplearning.com 📂 Data Analysis http://pll.harvard.edu/course/data-analysis-life-sciences-4-high-dimensional-data-analysis 📂 Линейная Алгебра http://pll.harvard.edu/course/data-analysis-life-sciences-2-introduction-linear-models-and-matrix-algebra 📂 Excel и PowerBI http://learn.microsoft.com/training/paths/modern-analytics/ 📂 Визуализация данных: http://pll.harvard.edu/course/data-science-visualization 📂 PowerBI http://learn.microsoft.com/users/collinschedler-0717/collections/m14nt4rdwnwp04 📂 Tableau: http://tableau.com/learn/training 📂 Statistics: http://cognitiveclass.ai/courses/statistics-101… 📂 SQL: http://online.stanford.edu/courses/soe-ydatabases0005-databases-relational-databases-and-sql @data_analysis_ml

Как устроены ChatGPT, Siri, Алиса и Маруся — и какие навыки нужны, чтобы запускать такие продукты? Узнайте у Владимира Васильева, руководителя направления из Сбера, разрабатывающего русскую версию ChatGPT. Регистрируйтесь на бесплатный онлайн-практикум от ТГУ и Skillfactory 29 августа в 17:00 мск. За 1,5 часа вы: — Изучите ключевые задачи и навыки для работы с NLP; — Погрузитесь в мировые тренды развития анализа естественного языка; — Поймете с чего начать карьеру в NLP. Регистрация по ссылке БЕСПЛАТНО: https://go.skillfactory.ru/&erid=2VtzquoArT1 Реклама ООО "Скилфэктори", ИНН 9702009530

☝️Низкое качество #данных может привести к неверным выводам и плохой работе модели. pandera предоставляет гибкий и удобный API для выполнения проверки данных на объектах типа dataframe, чтобы сделать конвейеры обработки данных более читаемыми и надежными. ▪Github ▪Документация @data_analysis_ml

Бесплатный практический интенсив, после которого вы точно разберётесь в статистике А всё потому что его проведёт Анатолий Карпов — тот самый автор «основ статистики», благодаря которым статистику поняли более 200 тысяч человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses. Что будет на интенсиве: • Узнаете, как спланировать исследование • Проанализируете данные A/B-теста • Поймёте что значат статистически значимые различия и при чём тут ошибка выжившего Задачи будут как для начинающих, так и для специалистов с опытом, поэтому будет интересно и полезно всем. Встречаемся 24 и 25 августа в 19:00 Зарегистрируйтесь на интенсив и получите гид по старту карьеры в Анализе данных: https://karpov.courses/analytics-intensive

🔥 Применение эффективного асинхронного web-парсинга при работе с Bigdata Парсинг или веб-скрапинг — это автоматизированный сбор и структурирование информации из открытых источников при помощи специальной программы, называемой парсером. Технически получить доступ к открытой информации можно с помощью API, но как правило доступ ограничен или требует вложения денежных средств. Рассмотрим принцип работы парсинга. Данный процесс происходит в несколько этапов: 1. Отправка HTTP-запроса на сервер. 2. Поиск необходимых данных. 3. Трансформация полученных данных. При отправке HTTP-запроса на сервер у нас есть два варианта: • отправить запрос и ждать, пока сервер даст ответ (синхронный запрос); • отправить запрос и продолжить работу. Когда данные будут получены, программа вызовет функцию обработчик события (асинхронный запрос). У каждой из представленных реализаций есть свои плюсы и минусы. Так, например, асинхронный запрос значительно увеличивает производительность кода, поскольку позволяет обрабатывать несколько запросов одновременно, но его довольно сложно реализовать. В свою очередь, синхронный запрос прост в разработке и отладке, но имеет низкую эффективность за счёт последовательной отправки HTTP-запросов. Основные проблемы парсинга Парсинг, как и любая технология, сталкивается с рядом проблем. Перечислим наиболее актуальные: • блокировка доступа к данным: использование CAPTCHA, блокирование IP-адресов и другое; • скорость выполнения: большой объем данных требует много ресурсов и времени; • сложность обработки ошибок: ошибки соединения, ошибки синтаксиса и другие; • работа с динамическим контентом: необходимо разрабатывать специальные инструменты для анализа сайтов, использующих технологии ajax и javascript. Реализация парсера на основе Beautiful Soup. Обзор возможностей. Beautiful Soup — это библиотека Python для извлечения данных из файлов форматов HTML и XML. Beautiful Soup (или BS4) использует DOM-модель (Document Object Model) для трансформации и извлечения данных. Основными возможностями BS4 являются: • поиск элементов на странице по тегу, классу, id и другим атрибутам; • извлечение текста и атрибутов элементов; • навигация по дереву элементов страницы; • манипуляции с HTML-кодом, такие как добавление, удаление или изменение элементов. Для извлечения данных из HTML-кода необходимо использовать конструктор BeautifulSoup(), который принимает два аргумента: разметку (HTML-код) и анализатор (необходим для обработки HTML-кода). BS4 поддерживает различные библиотеки для синтаксического анализа, включая стандартные html.parser, а также более быстрые, такие как lxml и html5lib. В нашем случае будем использовать lxml. Также, для отправки запросов на сайт воспользуемся библиотекой requests. Реализация кода на базе Beautiful Soup Для начала установим и импортируем библиотеки. # установка pip install beautifulsoup4 pip install requests pip install lxml # импорт from bs4 import BeautifulSoup import requests 📌 Продолжение @data_analysis_ml

🖥 AutoScraper: Умный, автоматический, быстрый и легкий веб-парсер на Python Если вы хотите автоматически спарить веб-сайт в нескольких строках кода на #Python, попробуйте autoscraper. С помощью autoscraper можно извлекать элементы с определенными шаблонами, просто предоставив текст с этим шаблоном. $ pip install autoscraper ▪Github @pythonl

Data Science — наука о данных, включающая инструменты и технологии, которые помогают обрабатывать большие массивы информации и обучать нейросети. На бесплатном мини-курсе вы узнаете, где востребован Data Science, как работают и сколько получают специалисты этой сферы. На практике познакомитесь с языками Python и SQL, нейросетями и визуализацией данных. Забудьте о затянутых лекциях и медленном старте в карьере. Мы знаем, как ценно время, поэтому предлагаем интенсивный мини-курс, который поможет быстро познакомиться с необходимыми навыками. 👉 Зарегистрируйтесь прямо сейчас и получите полезный материал «Как пользоваться ChatGPT и Midjourney»: https://epic.st/niIky В программе: 📌 Профессии в Data Science и язык Python. 📌 ML Engineer — пишем нейросеть для подбора новостных статей. 📌 Data Engineer — знакомимся с языком запросов SQL. 📌 Data Analyst — учимся визуализировать данные. Кому полезен мини-курс: — Тем, кто хочет влиться в IT. Познакомитесь с одним из самых востребованных IT-направлений и узнаете, как начать работать в Data Science, в том числе удалённо. — Тем, кто интересуется Data Science. На практике познакомитесь с основными направлениями и выполните несколько практических заданий, чтобы решить, какая специальность вам ближе. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🟡 Дайджест полезных материалов из мира : Data Science за неделю Почитать: — Опыт работы с данными или с чем может столкнуться аналитик — Кто, как и ради чего создаёт онлайн-образование в IT-сфере: истории пяти экспертов — Тестирование грамматики Llama Cpp, основанной на ограничениях выборки — 2 ВИЗУАЛИЗАЦИИ, КОТОРЫЕ ЛЕГЧЕ С ПИТОНОМ (по сравнению с TABLEAU) — Как получить real-time данные смарт-контракта, используя The Graph (пишем свой сабграф) — Apache Spark 3.4 для Databricks Runtime 13.0 — ML-искусство переживать проблемы: как избегать разочарований и находить аналоги товаров в периоды out-of-stock — Enhancing Database Performance: In-Depth Query Optimization with ApacheAGE — Step by step guide to becoming a Data Scientist in 2023 — Visual Language Processing: Bridging Vision and Language with Transformers — Guia Avançado do Método `merge` no Pandas com Exemplos — 8 Completely FREE Big Data Resources — CV-based self-diagnosis telemedicine application — A Powerful Tool for Data Engineers: Apache Doris 2.0.0 is Production-Ready! — Embracing Modularity: Template for Structuring Machine Learning Projects — ⛏ Get Mining into Data with These Top 5 Resources — Python Data Type Посмотреть: 🌐 Универсальный рецепт по написанию и аннотированию декораторов Python. 🌐 NVIDIA Omniverse: Virtual Worlds Come Alive 🌐 Lightning Interview "Hands-On Generative AI Applications" Хорошего дня! @data_analysis_ml