Аналитика данных / Data Study
رفتن به کانال در Telegram
Помогаю аналитикам расти в профессии и доходе Курс по продвинутому SQL и автоматизации потоков данных https://datastudy.ru/ По всем вопросам: @daniildzheparov Моя жизнь, опыт, аналитика и инженерия данных
نمایش بیشتر9 472
مشترکین
-224 ساعت
-237 روز
-1730 روز
آرشیو پست ها
Как составить индивидуальный план развития
В статье хорошо описаны моменты, которые помогут составить эффективный план индивидуального развития.
Это можно применять в любой сфере, главное не пренебрегать составлением плана и относится к нему как к инструменту, который поможет структурировать ваше развитие, определить сильные и слабые стороны.
Статья
5 полезных постов для тех, кто хочет прокачаться в визуализации данных.
Если вам важно, чтобы ваши отчёты с первого взгляда давали полную картину происходящего, вам точно стоит подписаться на «анонимные аналитики»
Вот 5 примеров полезных постов с канала:
❗️Виды отчётов и дашбордов https://t.me/analyst_club/614
❗️4 качества хорошего дашборда https://t.me/analyst_club/680
❗️Как отвязать карточки KPI от таблицы в Excel https://t.me/analyst_club/618
❗️20 идей как улучшить визуализацию данных https://t.me/analyst_club/573
❗️Как сделать буллет-чарт в Excel https://t.me/analyst_club/551
Подписывайтесь на канал, читайте другие посты и прокачивайтесь в визуализации данных! https://t.me/analyst_club
Привет!
В вышке есть центр развития карьеры, где можно найти полезные материалы по поиску вакансий, стажировок, оформлению резюме и подготовке к собеседованиям.
Рекомендую посмотреть в раздел «Полезные материалы», там можно найти даже рекомендации по оформлению CV для разных стран.
📍Правила оформления резюме
📍Рекомендации по написанию сопроводительного письма
📍Инструкция по подготовке к интервью
📍Поиск работы за рубежом
Оставлю ссылку здесь
Exploratory Data Analysis (EDA)
Разведочный анализ данных (EDA) - это набор техник, которые позволяют исследовать датасет (таблицу) перед решением аналитической задачи, чтобы
📍оценить главные характеристики данных
📍определить качество данных
📍выявить взаимосвязи и корреляции между признаками в данных
📍определиться с дальнейшим способом анализа данных для решения поставленной задачи
Во время EDA производится следующая работа над данными:
- проверка на дубликаты
- проверка на пустые значения (заполнение пустых значений)
- поиск корреляций между признаками
- поиск аномалий и выбросов в данных (и их очистка, если необходимо)
- сбор статистики по датасету (максимальные, минимальные, средние и медианные значения, распределение данных)
- стандартизация и нормализация
Есть 2 части хорошей статьи с примерами проведения EDA, также доступны python ноутбуки для скачивания и тренировки
Статья часть 1
Статья часть 2
Data Contracts или контракты данных
Довольно новый подход в работе с данными создавать data контракты, которые позволяют фиксировать условия и требования к данным (в том числе и к их качеству), которые забираются из множества источников.
Подробнее можно почитать в статье "В чем преимущества контрактов о передаче данных"
Также интересно почитать статью "Data Contracts — ensure robustness in your data mesh architecture"
Data Secrets — первый журнал в области науки о данных.
Machine Learning, Data Science, AI - знакомые слова, но считаешь, что это очень сложно? Здесь мы на практических примерах освещаем последние достижения в этой области и учим азам:
— рекомендательные системы
— прогнозирование временных рядов
— генерирование фото/видео
Присоединяйся: @data_secrets
Учебный проект - Аналитическая Платформа Данных
Привет!
Я обещал вам рассказывать про проект, который буду делать в ближайшее время. Написал первый пост, переходите и смотрите что уже было сделано и что планируется сделать ⤵️
Учебный проект - Аналитическая Платформа Данных
Привет!
Последнее время очень мало времени остается на отдых и написание постов.
📍активная фаза проекта на работе (анализ и разработка идут полным ходом🔥)
📍ведение учеников на курсе по основам анализа данных (закончилась практика по моделям данных, сегодня начали изучать SQL - дальше еще много практики 👨💻)
📍собственная учеба в магистратуре (кстати, вроде бы согласовал тему проекта с преподавателем, чуть позже поделюсь с вами 😉)
📍разработка плана и уроков для онлайн-курсов
В ближайшее время есть в планах создать курс по Apache Superset и визуализацию данных (недавно рассказывал про этот инструмент здесь). Сегодня написал план курса, получилось около 10 объемных блоков. Сейчас буду расписывать материал и записывать уроки.
Так что в скором будущем для всех желающих будет доступен курс по Apache Superset
1. Настройка и установка Apache Superset
2. Подготовка данных, создание витрин
3. Подключения к источникам, настройка источников
4. Датасеты внутри Superset
5. Визуализации (кастомизации, настройки)
6. Создание дашбордов
7. Настройки фильтров
8. Настройки ролевой модели
9. Ограничения Superset
10. Аналитика и дополнительные возможности Superset
Big Data - действительно полезный блог для всех, кто работает с данными.
- огромный набор бесплатных наборов данных
- инструменты для работы с данными
- обучающие материалы для датасаентистов
- лучшие практики Машинного Обучения
- перевод книг и статей
🔥 Подписаться
Несколько советов на старте поиска работы за рубежом
1. Оформить свой профиль на LinkedIn
Это социальная сеть для поиска работы, общения по интересам и профессионального обучения.
Это ваша визитная карточка, на которую будут смотреть HRы и другие специалисты из компаний. Не пренебрегайте вашей страничкой, заполните информацию:
📍 о ваших навыках
📍опыте работы
📍уровне обучения
Также добавляйтесь в контакты к людям, которые работают в тех компаниях, куда вы хотите попасть работать. Подписывайтесь также на HR специалистов.
2. Оформите Резюме на английском
Это банально, но иногда люди задумываются о поиске работы abroad без заранее подготовленного резюме на английский язык. Также будет полезно перевести резюме на национальный язык той страны, куда вы хотите релоцировать или устроится удаленно (некоторые внутренние сотрудники предпочтут читать ваше резюме на их локальном языке). Если сомневаетесь в своем английском для корректного перевода резюме, найдите специалиста по переводу резюме или оформлению резюме на английском для 1-2 занятий.
3. Подготовьте Curriculum Vitae (CV)
В России CV и Резюме обычно не разделяют друг от друга и используют всегда резюме. В зарубежных компаниях от вас могут попросить два документа: CV и Resume. Если кратко, то Resume включат краткое описание вас как специалиста, где подчеркиваются ваши сильные стороны, навыки и компетенции (объем 1-2, максимум 3 страницы). CV - это ваша профессиональная биография, которая более подробно описывает ваш путь с момента обучения или первой работы и вплоть до текущего места. CV чаще применяется в академической деятельности.
Более подробно про различие Resume и CV можете почитать здесь
4. Подготовьте скрипты для прохождения собеседований
Под скриптами подразумеваются некоторые подготовленные предложения или даже абзацы. Например, скрипты можно написать чтобы:
📍 представиться в начале собеседования (2-3 предложения) (Hello everyone, my name is Daniil. Currently, I am working as a Senior BI Analyst in company .... I am interested in data analysis task, projects of building analytical platforms ...)
📍перечислить свои сильные стороны (I have a deep experience with SQL, BI solutions like Tableau...)
📍рассказать про свой текущий или прошлый проект: позиция, задачи, используемые инструменты, результаты проекта
📍ответить на behavioral questions (I had some bad experience in some of my previous projects... If I face with similar situation, I would act in such steps ....)
Это поможет вам сократить время на подготовку к каждому отдельному собеседованию, снизит ваш уровень стресса во время интервью и также поможет подтянуть ваш английский 😉
Несколько сайтов для поиска вакансий:
1. LinkedIn https://linkedin.com/
2. Hired https://hired.com/
3. Indeed https://www.indeed.com/
4. Cyprus Jobs https://www.cyprusjobs.com/
5. Relocate https://relocate.me/
Ставь реакции, если пост был полезен)
Всем привет!
Есть ознакомительный фрагмент книги "Airflow и конвейеры обработки данных", в котором дается хорошее описание принципов работы Airflow. Что такое Airflow и зачем он нужен, как работает DAG, что такое Task и как строятся автоматические конвейеры по обработке данных.
Для первого знакомства с инструментом будет очень полезно прочитать.
Кстати, сегодня в рамках курса с учениками будем тоже обсуждать ETL/ELT процессы и различные инструменты: Kafka, Airflow, Spark, dbt
Все больше компаний в качестве BI тула внедряют Superset
В компании Леруа, где я работал раньше, тоже его внедрили на слое построения отчётности для бизнеса. Раньше там большинство дашбордов были на Tableau.
На самом деле просматривает тренд миграции с лидеров BI рынка таких как Tableau и Power BI на открытые решения. В России это явно оправдано, учитывая санкции и лицензирование. Но и зарубежные компании тоже стремятся к open source.
Аналитики и BI разработчики, если хотите оставаться в тренде, присмотритесь к Superset 😉
Статья про платформу данных в Леруа
Привет!
Сегодня на работе помимо обсуждения проекта и задач поговорили с коллегой про темы для дипломной магистерской работы.
Диссертация должна быть с научной новизной и направлена на практическое применение. В области бизнес-анализа и работы с большими данными таких тем можно найти огромное количество, главное взять то, что конкретно для меня будет наиболее интересно.
Буду думать наверно в сторону руководства данными и менеджмент данных в компаниях и как это связано с архитектурными подходами построения аналитических платформ.
А вот в ближайшие 2 месяца на учебе ещё нужно реализовать отдельный практический проект. Темы пока нет, но есть идея делиться шагами выполнения проекта с вами.
Накидайте 🔥 если вам будет интересно читать про реализацию проекта и возможно в будущем дипломной работы
УДАЛЁНКА
Решил немного разбавить бочку мёда, которой поливают обычно удаленный формат работы, ложечкой дёгтя. Расскажу немного про те минусы, которые удалось мне заметить в удаленке
1. Меньше человеческого общения с коллегами
Отсутствие очного общения сказывается на том, что у вас нет возможности установить контакт с человеком и поговорить на отдаленные от работы темы. Например, сходить с командой коллег на обед, поздравить с днём рождения и поесть всем вместе пиццу, поздравить женскую и мужскую половину с их праздниками в марте и феврале. Даже банально корпоративов нет или из максимально мало
2. Мало физической подвижности
По сравнению с поездками в офис, хождением по разным комнатам переговоров и походами на обед, дома все замыкается в площади квартиры. А заставить себя делать зарядку увы не получается. Как итог, бОльшая часть дня проходит в сидячем состоянии, что точно скажется на физическом здоровье
3. Ненормированное время
Здесь хочется сказать именно про навык управления своим временем и постановки границ между работой и личным временем.
Если возникают мысли «ну вот ещё часик полтора поработаю вечером чтобы все закончить», будьте внимательны, не растягивается ли этот «часик» на 2,3 или на весь вечер.
С офисом в таком случае все проще - встал с рабочего места, положил ноут в рюкзак и поехал домой не думая о работе до завтра.
Но всё же в удаленке есть явно больше плюсов, чем минусов, о которых явно многие из вас слышали и наслаждаются ими каждый день.
А минусы можно проработать и превратить в плюсы 😉
Интересная статья про внедрение системы учета посещаемости на основе искусственного интеллекта и алгоритмов ML по распознаванию лица
Еще в прошлом году от кого-то в университете слышал про запуск подобного учебного проекта для студентов. Возможно, все осталось на этапе идеи, а возможно ведется активная деятельность и скоро посещаемость на парах будет учитываться не опросом студентов и не ведением ручных ведомостей, а все будет автоматизировано через камеры наблюдения или специальные приборы учета.
А может быть и пропуски заменят с пластиковых карт на распознавание лица возле турникетов))) Тогда не придется переводить кучу пластика и производить эти карты, также никто не сможет забыть пропуск 😉
Оправдано это или нет, нужно считать и анализировать
А вот что могу сказать точно, это то, что при учете посещаемости за последний месяц у меня бы стоял круглый 0 😂
Хочешь научиться кодить на Python, но не хочешь платить за это?
На Python можно сделать многое, в том числе и самый крутой тренд 2022-го — нейросети, тоже пишутся на нём.
Есть способ учиться БЕСПЛАТНО — канал с задачами по Python и машинному обучению, на котором только практика!
Каждый день там публикуют новые задачи — решать их полезнее, чем смотреть видео от очередной онлайн школы.
7 полезных книг по Python для старта и развития навыков
1. Марк Лутц "Изучаем Python"
2. Наталья Самойленко "Python для сетевых инженеров"
3. Билл Любанович "Простой Python. Современный стиль программирования"
4. Лучао Ромальо "Python. К вершинам мастерства"
5. Дэвид Бизли, Брайан К. Джонс "Python. Книга Рецептов"
6. Бейдер Дэн "Чистый Python. Тонкости программирования для профи"
7. Гарри Персиваль и Боб Грегори "Паттерны разработки на Python"
Более подробно про книги рассказано в статье ⤵️
Читать статью
اکنون در دسترس! پژوهش تلگرام ۲۰۲۵ — مهمترین بینشهای سال 
