Python 🐍 Work With Data
Open in Telegram
A collection of books and articles on Python and various data manipulation tools. Overview of architecture of business intelligence systems, design and development of BI Reports, data processing in Python Pandas.
Show more1 608
Subscribers
No data24 hours
No data7 days
-230 days
Posts Archive
Pandas in 7 Days: Utilize Python to Manipulate Data, Conduct Scientific Computing, Time Series Analysis (eng)
Table of Contents
1. Pandas, the Python library
2. Setting up a Data Analysis Environment
3. Day 1 - Data Structures in Pandas library
4. Day 2 - Working within a DataFrame, Basic Functionalities
5. Day 3 - Working within a DataFrame, Advanced Functionalities
6. Day 4 - Working with two or more DataFrames
7. Day 5 - Working with data sources and real-word datasets
8. Day 6 - Troubleshooting Challenges wit Real Datasets
9. Day 7 - Data Visualization and Reporting
10. Conclusion – Moving Beyond
Python Cookbook (Коллектив авторов).pdf
На русском
В книге разобрано множествопримеров по следующим темам:
▫️Data Structures and Algorithms
▫️Strings and Text
▫️Numbers, Dates, and Times
▫️Iterators and Generators
▫️Files and I/O
▫️Data Encoding and Processing
▫️Functions
▫️Classes and Objects
▫️Metaprogramming
▫️Modules and Packages
▫️Network and Web Programming
▫️Concurrency
▫️Utility Scripting and System Administration
▫️Testing, Debugging, and Exceptions
▫️C Extensions
The 40 Best JavaScript Libraries and Frameworks for 2022
https://kinsta.com/blog/javascript-libraries/
Complete Data Engineer’s Vocabulary | by Kovid Rathee | Towards Data Science
https://towardsdatascience.com/complete-data-engineers-vocabulary-87967e374fad
10 Python Mistakes That Tell You’re a Nooby | by Frank Andrade | Geek Culture | Medium
https://medium.com/geekculture/10-python-mistakes-that-tell-youre-a-nooby-359487f22c97
Repost from LEFT JOIN
📌 Диаграммы в Python ↩️
Это, конечно, дело вкуса и привычки, кому-то больше нравится создавать визуализации вручную. Но я, например, люблю решать с помощью кода любые задачи, которые таким способом можно решить (например, верстка статей или презентаций с помощью latex – улет, по крайней мере с точки зрения визуальной составляющей результата, про сам язык, конечно, этого не скажешь!).
Так вот, новый пакет diagrams для Python (который работает на базе
graphviz) позволяет нарисовать архитектуру облачной системы в коде Python. Изначально, пакет был создан для создания прототипа новой или уже существующей системной архитектуры без каких-либо инструментов проектирования. В настоящее время Diagrams поддерживает такие инструменты как AWS, Azure, GCP, Kubernetes, Alibaba Cloud, Oracle Cloud, а также локальные узлы, SaaS и основные платформы и языки программирования.
На сайте примеры диаграмм, которые созданы с помощью этого пакета, как вам?atoti is a free Python BI analytics platform for Quants, Data Analysts, Data Scientists & Business Users to collaborate better, analyze faster and translate their data into business KPIs.
https://github.com/atoti/atoti
SimpleMDE - Markdown Editor
A simple, beautiful, and embeddable JavaScript Markdown editor. Delightful editing for beginners and experts alike. Features built-in autosaving and spell checking.
https://github.com/sparksuite/simplemde-markdown-editor
Делюсь шаблоном для создания RoadMap развития аналитики в компании по 4м направлениям.
Суть в следующем:
1. Выбираем ключевые направления, в которых мы хотим делать улучшения (в файле это BI Environment, ETL & Data Management, Data-Driven Value, Analytics & Self-Service BI)
2. Далее составляем список задач в этих категириях
3. Затем перетаскиваем эти задачи/проекты на матрицу Business value - Necessity for BI Team
4. После распределяем отобранные задачи/проекты на матрицу.
Целевая матрица была подсмотрена у Qlik (следующей картинкой приложу).
Рубрика "бла бла бла"
Что может случиться, если в компании принимается решение об единообразной платформе развертывании контейнерных приложений? Например, в компании на высшем уровне договорились развертывать все контейнерные приложения для всех подразделений только на kubernetes. В таком случае будьте готовы, что это решение повлияет на развитии внутренних сервисов компании негативным образом.
Почему? Мощности подразделения DevOps могут быть ограничены, а работать с K8S могут быть подготовлены не все сотрудники. Призыв "А ну-ка изучите kubernetes" у многих может вызывать отторжение, хотя бы потому, что в свободное от работы время учить не хочется дополнительный инструмент, а в рабочее время - аврал и надо бежать делать другие задачи. Лично у меня еще срабатывает желание подтянуть Docker, а не идти еще учить k8s, который еще и сложнее на порядок.
Лучшим на мой взгляд решением является принятие единой технологической платформы только для критически важной инфраструктуры (в т.ч. сервисов, приносящих деньги). А для других подразделений можно предоставить выбор k8s или docker. При этом тем, кто выбрал docker оказывать необходимую поддержку (возможно даже нанять отдельного devops инженера с хорошими знаниями docker).
Такое решение поспособствует развитию локальных экспертиз отдельных команд, плюс развитие внутренних продуктов компании только ускорится. Не каждый сотрудник, изучив Docker готов пойти изучать еще и kubernetes.
---
Как это может повлиять на отдел аналитики? Например, сейчас я бы хотел развернуть в компании Apache Airflow, Apache NiFi и DataHub Project, но все это придется поднимать на kubernetes. Дополнительным условием является поднятие сразу двух сред prod и stage. Т.к. datahub еще состоит из множества сервисов, то связываться с ним devops не захотят. Какой результат? Правильно - никакой. Фактически внутри ИТ приняты договоренности, которые препятствуют развитию инструментария для работы с данными.
Да, можно выпросить Linux машину и все поставить самостоятельно сбоку. Но тогда возникает ситуация, при которой вроде договорились использовать k8s, а все равно сбоку отпочковываются сервисы на Docker. Плюс машины Linux админят разработчики, что не безопасно.
---
Резюмируя, хочу сказать следующее: прежде чем вводить ограничения внутри компании, подумайте стоит ли их распространять повсеместно. В ином случае наймите достаточное количество DevOps инженеров, которые бы делали бы все необходимые работы по k8s.
Паттерны разработки на Python TDD, DDD и событийно-ориентированная архитектура (Гарри Персиваль, Боб Грегори)
Многие разработчики проявляют интерес к высокоуровневым паттернам проектирования, таким как чистая и событийно-управляемая архитектура и паттерны предметно-ориентированного проектирования (DDD). Но их адаптация под Python не всегда очевидна. Гарри Персиваль и Боб Грегори познакомят вас с проверенными паттернами, чтобы каждый питонист мог управлять сложностью приложений и получать максимальную отдачу от тестов.
• «Инверсия зависимостей» и ее связи с портами и адаптерами (гексагональная/чистая архитектура).
• Различия между паттернами «Сущность», «Объект-значение» и «Агрегат» в рамках DDD.
• Паттерны «Репозиторий» и «UoW», обеспечивающие постоянство хранения данных.
• Паттерны «Событие», «Команда» и «Шина сообщений».
• Разделение ответственности на команды и запросы (CQRS).
• Событийно-управляемая архитектура и реактивные расширения.
Repost from karpov.courses
Начинающие аналитики часто сталкиваются со стандартными ошибками в построении пути до файла в Pandas. Чтобы вам было легче разобраться, мы записали видео с разбором основных способов построения пути на примере курса «Аналитик данных».
Голая статистика. Самая интересная книга о самой скучной науке (Чарльз Уилан).pdf
Статистика помогает принимать важные решения, находить скрытые взаимосвязи между явлениями, лучше понимать ситуацию в бизнесе и на рынке. Автор книги профессор Чарльз Уилан с юмором и блестящими наглядными примерами рассказывает о том, как это происходит.
Эта книга будет полезной для студентов, которые не любят и не понимают статистику, но хотят в ней разобраться маркетологов, менеджеров и аналитиков, которые хотят понимать статистические показатели и анализировать данные а также для всех, кому интересно, как устроена статистика.
Luxoft Tableau Style Guide
byAlex Barakov
https://public.tableau.com/app/profile/alexandr.barakov/viz/LuxoftTableauStyleGuide6/Hello
Теоретический минимум по Computer Science. Сети, криптография и data science (Феррейра Фило Владстон, Пиктет Мото).pdf
