Это разве аналитика?
Привет, я Андрей @ab0xa, bi аналитик/de Пишу об анализе данных и визуализации, собираю интересные ссылки, вакансии, уроки, юмор) Личный опыт тернистого пути в профессию Стек технологий Python, SQL, Tableau, Knime, Yandex.Облако, Yandex DataLens
Більше3 084
Підписники
+824 години
+737 днів
+21530 днів
- Підписники
- Перегляди допису
- ER - коефіцієнт залучення
Триває завантаження даних...
Приріст підписників
Триває завантаження даних...
Repost from On-chain diver 🤿
❗️⏩Большой гайд по он-чейн аналитике⏪❗️
Друзья, я сделал гайд по он-чейн аналитике
Он в значительной степени основан на постах в канале и обсуждениях в чате
На данный момент это идеальная точка входа для новичков и удобная база знаний без необходимости проматывать посты канала и что-то там искать. Все в одном месте
По всем вопросам и предложениям просьба писать в личку @inventandchill или в наш чатик @on_chain_divers_chat
Краткое оглавление на данный момент:
📚 Практические мини гайды
- Вкатываемся в продвинутый ончейн анализ не умея ничего, в частности имея 0-скилл в программировании (bitquery.io)
- Получение и простой анализ сделок на децентрализованных биржах в сети эфира с использованием индексера bitquery.io, обладая околонулевыми навыками программирования на python
- Разбираемся на практике с он-чейн анализом Солана-мемкоинов, обладая базовыми познаниями в айти
🔍 Мини ресерчи
- Накрутчики объемов на рынке мемкоинов соланы
- Бектестинг покупки всех выходящих токенов-мемкоинов на солане через минуту после старта торгов
📖 Полезные подборки
- Информационные тг-боты для солана мемкоин-трейдинга
- Информационные тг-боты для Base мемкоин-трейдинга
🔎 Платформы он-чейн анализа
- Arkham intelligence (бесплатная)
- Nansen.ai (платная)
🚀 Проекты участников чата
- TracEVM. Тул для частичного символьного трекинга состояния эвм
💼 Наши услуги и сервисы
- Индексер сделок на Raydium solana с прямым доступом к базе clickhouse со всеми возможностями
- Кастомная нода соланы, которая позволяет отправлять транзакции сразу через Jito
Ссылка на гайд:
https://on-chain-diver.notion.site/a163174e695f46f2b145072ba5770b10?pvs=4
Большой гайд по ончейн аналитике | Notion
Вступление
👍 3🔥 2
Repost from mizinov.pro
https://observablehq.com/@mizinov/venn-area-diagram
На одном из последних проектов возникла идея показать пересечения категорий с помощью диаграмм Венна. Но не просто сам факт пересечений, а с учётом площадей как числовых значений категорий и их пересечения.
Площадь усечённого круга достаточно легко посчитать, соответственно легко посчитать и площадь пересечения двух кругов. И это правда... пока вам нужно считать прямую задачу: есть два круга, посчитайте площать их пересечения. Но когда вам нужно решить обратную задачу: есть площадь пересечения, посчитайте положение кругов — тут задача нелинейная, и строгого решения не существует. 🤔 Однако, можно решить с помощью приближений, например, методом бисекции или подобным подходом. Конечно, решение получается в пределах заданной погрешности, но этого вполне достаточно для датавиза.
В общем, собрал небольшой инструмент, чтобы строить площадные диаграммы Венна для двух категорий — вводите три параметра — сохраняете вектор или растр. 🧐
#observable #код
Площадная диаграмма Венна для двух множеств
👍 4❤ 1🔥 1
Подборка кейсов использования apache airflow и вообще об оркестрации дата пайплайнов в системе подготовки данных.
Ламода
Леруа Мерлен
Теле2
Газпромбанк
Билайн
Яндекс.Go
Ашан
М-видео
Как мы оркестрируем процессы обработки данных с помощью Apache Airflow
Всем привет! Меня зовут Никита Василюк, я инженер по работе с данными в департаменте данных и аналитики компании Lamoda. В нашем департаменте Airflow играет роль оркестратора процессов обработки...
❤ 6👍 2🔥 2
Repost from Data Explorers Hub
How We Migrated Our Data Warehouse from Snowflake to DuckDB
В этом посте разработчики из Definite верхнеуровнево рассказывают о том, как они мигрировали со Snowflake на DuckDB.
В отличие от Snowflake, который может поддерживать множество конкурентных процессов, DuckDB проектировался как single-user workloads и становится заблокированным, когда выполняются другие операции с базой.
Чтобы избежать этой проблемы, было принято решение развернуть 2 инстанса write-to database and a read-only database.
🛑Write-to Database: DuckDB installed on a VM with a persistent disk attached to it. All write operations such as INSERT, CREATE, UPDATE, etc are actioned on this database first.
🛑Read-only Database: Duckdb also installed on a VM but has read access to replica database files stored in cheap blob storage. After edits to the write-to DuckDB instance are finished, the new/changed tables are synced to GCS which the read-only DuckDB has access to. When a user wants to query the database (SELECT...), the query is routed to the read-only DuckDB which in turn fetches the data from GCS and returns it.
Достаточно интересный кейс использования DuckDB.
Definite: How We Migrated Our Data Warehouse from Snowflake to DuckDB
👍 2
Фото недоступнеДивитись в Telegram
🚀 Научись применять бизнес-анализ и аналитику для повышения эффективности своих проектов!
📢 Присоединяйся к открытому вебинару «Аналитики в бизнесе» 5 июня в 20:00 по мск, где мы расскажем о ключевых аспектах анализа и аналитики, представим карту компетенций аналитиков в бизнесе🌟
🎯 Вебинар будет особенно полезен продакт-менеджерам, маркетологам, руководителям любого уровня, владельцам малого бизнеса
📚 Событие приурочено к старту курса «Аналитика для руководителей и менеджеров». Участие абсолютно бесплатное. 🎁 Все участники живого эфира смогут записаться на июньский поток курса по welcome-цене
➡️ Регистрация по ссылке
Не упусти шанс улучшить свои знания и навыки! Активно внедряй и развивай Data Driven культуру для повышения конверсий своих digital-витрин. Ждем на вебинаре!
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, Erid 2VtzqxMMbYa
👍 3
Repost from Data Explorers Hub
Фото недоступнеДивитись в Telegram
LLM Zoomcamp
Бесплатный онлайн-курс о реальном применении LLM. За 10 недель вы узнаете, как создать бота с искусственным интеллектом, который сможет отвечать на вопросы о вашей базе знаний.
Для прохождения курса необходимы:
🛑базовые знания Python
🛑умение работать с командной строкой
🛑базовое знание Docker
🛑знания AI или ML не обязательно
Дата старта курса 17 июня.
Подробная информация и регистрация здесь
👍 5🔥 2❤ 1
Repost from Сделай это красиво
Как понять, что вы правильно визуализировали данные
Когда я оцениваю графики, то всегда начинаю с вопроса: какая была цель? Все дизайнерские решения должны работать именно на неё.
Рассмотрим этот принцип на примере. Вот — две картинки, на которых показаны разные составы Госдумы. Очевидно, задача авторов — помочь читателям сравнить присутствие разных партий в парламенте. Какой из вариантов позволяет вам сделать это быстрее?
Думаю, что не первый 🌚. Здесь неудобно расположена легенда, а для сравнения нужно сопоставлять фигуры сложной формы или пересчитывать кружочки.
Второй график — более удачный, хотя и не самый лучший. Например, я не уверен, что здесь стоило показывать долю от 100%.
Вот главные признаки верно выбранного типа визуализации:
1. График решает задачу (сравнить одно с другим, увидеть рост или падение чего-либо, оценить масштабы чего-либо),
2. Из графика можно сделать вывод — ответить на внутренний вопрос «И что?»,
3. График не надо долго изучать, чтобы понять, какую задачу он решает и какой вывод транслирует.
А как бы вы визуализировали такие данные? Пишите в комментариях, что бы поправили.
👍 6
Repost from data будни
🍅 middle →→→ senior
https://seattledataguy.substack.com/p/how-to-grow-from-mid-level-to-senior
y Seattle Data Guy гостевой пост про то с какой стороны подходить к прыжку от мидла к синьору. Резонирует с тем что я вижу вокруг и как представляю свой путь в сторону помидорства
⌘⌘⌘
в первую очередь от синьора ожидают, что он автономно решает проблемы — от предложения рабочего решения до его имплементации, включая переговоры (!) с нужными сторонами и развитие коллег
✓ непрекращающееся развитие — всегда готов научиться чему-то новому и рассказать об интересном
✓ действительно крутые штуки делаются вместе, поэтому развитие команды — ключевая необходимость
→ направления на подумать: вдумчивые и развивающие код-ревью, парное программирование и другие сессии обмена опытом; улучшение процесса онбординга
⌘⌘⌘
работать над действительно важными для компании штуками: ведь неважно сколько кафок с куберами задействовано, если пользователей — ноль
→ направления на подумать: интересоваться целями компании, смотреть вширь от проекта: апстрим и даунстрим
⌘⌘⌘
овнершип и ответственность. Увидел проблему — взял и решил. Не скидывать ответственность на других.
→ направления на подумать: оставлять поляну после себя чуть лучше, чем была до; планомерная работа над документацией проекта; помогаешь преодолевать блоки у задачи
⌘⌘⌘
да! и не забыть рассказать тимлиду про свои хотелки, составить и провалидировать конкретный план с явными сроками; а после — не забыть задокументировать результаты своей бурной деятельность
→ направления на подумать: вести список достижений и сделанных задач, брать инициативу на 1:1 встречах с лидом, искать самые больные места и предлагать решения
How to grow from a mid-level to senior Data Engineer
Or Software Engineer!
❤ 4👍 2
Repost from Data Explorers Hub
Фото недоступнеДивитись в Telegram
Наверное многие видели мем, который называется - The SQL Iceberg.
Энтузиасты решили разобрать каждый уровень этого мема на примере PostgreSQL.
Получилась такая шпаргалка на основе мема в которой кратко рассказывают про основные термины.
Roadmap - который мы заслужили)
Получилось круто 🔥
тык
🔥 23👍 2😁 1