Аналитика данных / Data Study

ЧТО БУДЕТ ПРОИСХОДИТЬ С IT В БЛИЖАЙШЕЕ ВРЕМЯ? Обстановка на рынке в РФ очень сильно поменялась и будет продолжать меняться. Многие компании временно или полностью останавливают свою деятельность. IT-специалисты, чью компанию затронула обстановка, скорее всего видят перед собой 2 варианта: 1. Менять работу и искать другую вакансию на рынке 2. Релокация в другую страну, если компания поддерживает это и позволяет работать дальше Каждый решает сам по своим личным обстоятельствам как поступать. Оба варианта сильно повлияют на дальнейшее развитие рынка IT в стране. На мой взгляд сценарий будет выглядеть следующим образом: - из-за большого оттока специалистов зарубеж ещё больше возрастёт нехватка спецов внутри страны - спрос от компаний будет увеличиваться, следовательно будут привлекать новых работников любыми способами - бонусы, премии, большой соц. пакет (сюда также относятся новости про льготные ипотеки и про отказ от налогов для IT) - будет рост зарплатных ожиданий, т.к. в сильной позиции чтобы "поторговаться" на интервью будет соискатель, а не работодатель - получать ЗП в валюте станет сложнее находясь внутри страны, еще один мотиватор для релокации ИТОГ: Кто хочет попасть в IT, учитесь и повышайте свои навыки, чтобы получить классный оффер от работодателя. Текущая ситуация совсем не повод опускать руки и перечеркивать все свои планы. Это мотиватор вкладывать как можно больше в себя и в свое развитие.

Если вы часто работаете в Excel, но у вас есть потребность учить Python, можно познакомиться с библиотекой Mito. Mito позволяет представить данные в виде привычной таблицы и выполнять с ними все те же операции что и в Excel. При этом автоматически будет генерироваться Python код всех операций, выполненных с данными https://towardsdatascience.com/how-to-analyze-data-using-mito-in-python-4bf817092367

Полезные материалы для развития навыков коммуникации для аналитиков (Soft skills) https://vc.ru/hr/367462-kak-it-specialistu-razvit-kommunikativnye-navyki-20-poleznyh-materialov

ЧТО ИЗМЕНИТСЯ В НАЙМЕ КАНДИДАТОВ В IT в 2022 https://vc.ru/hr/368749-chto-izmenitsya-v-it-rekrutinge-v-2022-godu-osnovnye-trendy

ЧТО ТАКОЕ ТРАНЗАКЦИЯ В БАЗЕ ДАННЫХ 🔎 Транзакция — это неделимая (атомарная) операция, которую вы можете произвести с базой. Неделимая — это значит, что база рассматривает операцию как единое целое. Она или выполняется полностью, или не выполняется вообще. При этом транзакция может содержать в себе несколько операций. Например, вы можете вставить несколько строк в базу, и всё это будет считаться единой транзакцией. В случае если произошла ошибка, и только часть строк была вставлена в базу, транзакция "откатится", то есть все внесённые изменения будут отменены. Когда мы выполняем несколько операций в коде, в конце нужно сделать коммит (commit), то есть показать системе, что мы должны выполнить предыдущие операции как единое целое. Каноничный пример транзакции в реальном мире — перевод денег с одного счета на другой в банке. Как происходит перевод: Система снимает деньги с одного счета. Система добавляет деньги на другой счет. Если бы операция перевода не являлась транзакцией, то в случае ошибки между 1 и 2 этапом деньги пропали бы безвозвратно. На самом деле дело не только в защите от ошибок при удалении, но и, например, в защите от неконсистентности данных. Что это значит? Допустим, вы переводите деньги с одного счета на другой. Допустим, вы хотите заплатить с первого счёта в магазине. Если транзакция еще не завершила первый этап, вы можете случайно подумать (во время другой параллельно идущей операции снятия денег), что денег у вас больше, чем есть на самом деле. Транзакции подчиняются принципу ACID: 📍Atomic (атомарность) — если произошел коммит, значит, все операции были выполнены; 📍Consistent (консистентность) — можно сделать коммит, только если он удовлетворяет всем ограничениям (например, NOT NULL); 📍Isolated (изолированность) — снаружи транзакции не видно, что происходит внутри, пока не произошел коммит; 📍Durable (долговечность) — независимо от ошибок в системе, транзакция, которая была совершена (то есть, был коммит) останется совершённой, даже если сразу после коммита сервер упадет.

PYTHON ДЛЯ РАБОТЫ С ДАННЫМИ 🔎 Python - язык программирования, который широко используется и применяется на проектах, связанных с обработкой и анализом данных. Он удобен, прост в понимании и чтении кода, имеет множество полезных функций и библиотек для работы с данными. 1. Pandas Библиотека позволяет загружать, очищать и обрабатывать данные, загружать данные из различных файлов и преобразовывать их в “датафрейм”, с которым в дальнейшем идет работа и его трансформация. Данные представляются в понятном и читаемом виде таблицы, а множество функций и методов позволяют проводить простые и сложные трансформации данных. 2. Pandas Profiling Еще одна библиотека, которая позволяет в более автоматическом режиме сделать исследование датасета и собрать все базовые метрики. 3. Requests и BeautifulSoup Библиотеке requests позволяет извлекать данные с помощью запросов API (Application Programming Interface) к приложениям, либо отправлять различные команды приложению через python скрипт. BeautifulSoup позволяет работать с web-страницами формата HTML и XML. Обе библиотеки дают хороший инструментарий для парсинга и извлечения данных. 4. NumPy Библиотека позволяет использовать математические расчеты и работу с массивами в вашем проекте. Это больше подходит для Data Science задач, где нужны математические инструменты. 5. Plotly и Matplotlib Библиотеки plotly и matplotlib дают огромный инструментарий построения различных графиков, диаграмм, чартов и т.д. Некоторые графики можно построить с помощью одной строчки кода и предоставить визуализацию коллегам. 6. SciKitLearn, Keras, Pytorch, Tensorflow Все эти библиотеки используются для работы с машинным обучением. SciKitLearn подойдет больше для построения простых алгоритмов и моделей машинного обучения, в то время как Keras или Pytorch дают более широкий спектр функций для построения нейронных сетей, моделей компьютерного зрения или обработки естественного языка. 7. SQLAlchemy Библиотека позволяет подключаться к базам данных. Можно создавать, изменять таблицы, писать запросы, извлекать/вставлять данные. Библиотека позволяет работать с базой данных с помощью объектно-ориентированного кода, не используя SQL-запросы.

КАК НАЙТИ ВАКАНСИЮ В IT Существует множество ресурсов и способов поиска работы в IT. ❓Но на что обращать внимание при поиске вакансии? 1. Описание компании и проекта Смотрите на то, чем занимается компания, в какой проект открыта вакансия и самое главное, совпадают ли ваши интересы с той областью, в которой предстоит работать. Бывает, что в вакансии не описан конкретный проект - это нормально. Компании обычно ищут сотрудников на длительное сотрудничество и набирают штат не на определенные проекты, а просто в компанию, чтобы потом по необходимости и интересам сотрудника определить его на тот или иной проект. 2. Описание обязанностей Важный пункт, который даёт понять кандидату, что от него ждут и какими навыками нужно обладать кандидату. Если обязанности расписаны общими словами: “быть ответственным и выполнять работу всегда качественно” - это не всегда полезное описание. Такие обязанности должны восприниматься как само собой выполняемые, вы должны обращать внимание на именно те задачи и обязанности, которые вы будете делать на работе. Например, «общаться с бизнес-пользователями, документировать требования в виде ТЗ для команды разработки». Здесь становится понятно, какие навыки нужно применять на данной работе. 3. Инструменты и стек применяемых технологий Читая эту часть вакансии, задавайте себе вопрос: умею ли я работать с этими инструментами или мне нужно подтянуть свои знания? Самый простой пример: вы умеете работать в Power BI, а для вакансии требуются знания Tableau. Можно попробовать до интервью посмотреть обзоры и почитать документацию необходимых инструментов, если знания нужны только начальные и вас будут готовы обучить. Но если требуется именно специалист, то скорее всего нужно отложить эту вакансию в сторону или взяться всерьёз за обучение инструменту. 4. Предложение для соискателя Ну и конечно тот пункт, который привлекает ваше внимание и иногда выглядит очень сладко. Обязательно обрати внимание на - Официальное оформление по ТК РФ - График работы - Условия получения ЗП, премий и бонусов - Социальный пакет - Все остальное, что для ВАС важно

ХРАНИЛИЩЕ ДАННЫХ vs ОЗЕРО ДАННЫХ Часто ли вы слышали понятия Хранилище данных и Озеро данных в своей жизни? А знаете чем они отличаются между собой? Нет? - А зря, ведь это один из базовых вопросов на собеседовании аналитиков, инженеров, менеджеров, которые рассматривают работу на проектах, связанных с Data и Business Intelligence. Данные генерируются во всех транзакционных системах и системах управления предприятиями или компаниями (ERP, CRM, BPM…) каждую секунду. ❓Возникает вопрос: а где хранить такие большие объемы данных и получать от них пользу и профит для компании? Тут на помощь приходят технологии аналитических хранилищ данных, или OLAP Systems - Online Analytical Processing Systems. С развитием технологий появилось несколько подходов хранения и обработки больших объемов данных в компаниях: 📍Хранилище данных (Data Warehouse) 📍Озеро данных (Data Lake) Существуют также гибридные методологии вида Data Vault, Delta Lake, Lake House.

ЧТО ТАКОЕ AGILE Большинство проектных и продуктовых команд сейчас работают по Agile. 🔍 Agile - это набор методик и подходов для гибкого управления проектом по разработке программного обеспечения. Сам подход Agile зародился еще в 2001 году, тогда был создан так называемый “Agile манифест”. Манифест описывает ценности Agile, вот некоторые из них: “Люди и взаимодействие важнее процессов и инструментов. Работающий продукт важнее исчерпывающей документации. Сотрудничество с заказчиком важнее согласования условий контракта. Готовность к изменениям важнее следования первоначальному плану." ❗️ Если вы работаете по Scrum, Kanban, у вас есть спринты, но вы не понимаете в чем ценность всего процесса - обязательно почитайте ценности Agile. Например, по методологии Scrum есть довольно общее деление команды на роли: - Владелец продукта - Scrum мастер - Команда разработки Команда разработки считается кросс-функциональной, где не выделяются отдельные роли каждому члену команды. ❓ В чем же ценность аналитика в такой команде? Аналитик будет связующим звеном, скрам команды и бизнес заказчиков. И будет особенно нужен в случае недостатка времени у стейкхолдеров, или отсутствия владельца продукта. Многие разработчики не имеют желания или времени общаться с бизнес-заказчиками, ведь им нужно писать код, реализовывать новый функционал и устранять баги. Здесь как раз и приходит на помощь аналитик, который позволит эффективно использовать разработчиков, но при этом не снижая качество общения с бизнесом. Также, аналитик будет центром накопления знаний о предметной области продукта, контролировать качество продукта, проводить review продукта, подготавливать данные для уточнения бэклога и т.п.

В ЧЕМ СИЛА SQL Вы часто спрашиваете: «Нужно ли аналитику данных знать какие-либо языки программирования?» Мой ответ - ДА, самым основным инструментом data аналитика является SQL. 🔍 SQL (Structured Query Language) - язык структурированных запросов, позволяющий работать с реляционными базами данных (БД) и выполнять различные манипуляции с данными. Это инструмент, с помощью которого можно общаться с базами данных и давать некие инструкции системе. С помощью SQL можно: 📍получать и давать доступ к данным, таблицам 📍описывать данные и их структуру 📍добавлять, удалять и изменять данные в БД 📍использовать другие языки программирования с помощью специальных библиотек 📍создавать и удалять объекты в БД 📍искать данные Все команды SQL принято классифицировать: 1️⃣ DDL (Data Definition Language) - язык определения данных Основные команды: CREATE - создает объекты в БД (таблицы, представления и т.п.) ALTER - изменяет существующие объекты в БД DROP - удаляет объекты из БД 2️⃣ DCL (Data Control Language) - язык управления данными Основные команды: GRANT - наделить пользователя правами (например, просматривать данные в определенной таблице) REVOKE - забрать у пользователя права 3️⃣ DML (Data Manipulation Language) - язык изменения данных Основные команды: INSERT - добавлять данные в БД UPDATE - обновлять или изменять данные DELETE - удалять данные SELECT - извлекать или осуществлять поиск данных Это лишь часть основных команд, которыми богат SQL. ⁉️ А вы знаете, что больше 80% данных вокруг являются неструктурированными, т.е. не могут быть записаны в виде таблицы со столбцами и строками? Например, это все медиафайлы (видео, музыка, картинки), обычный книжный текст и даже этот написанный пост) Поэтому помимо работы с реляционными базами данных и SQL все больше набирает популярность работа с неструктурированными данными и так называемыми “Озерами Данных”. Для работы с ними используется язык NoSQL (Not only SQL).

КАК ПИСАТЬ ТРЕБОВАНИЯ Одной из основных задач работы аналитика является выявление и формирование требований. Требования бывают разные: - бизнес задачи и бизнес-требования - Функциональные требования (описывают сценарии, по которым с системным продуктом взаимодействует пользователь) - Нефункциональные требования Требования - это задокументированный формат Бизнес-анализ затрагивает полностью всю тему требований, начиная от Discovery фазы проекта с выявлением бизнес-целей, и заканчивая написанием User story - пользовательских историй или сценариев, которые имеют четкую структуру и используются командами разработки. Я хочу расписать постановку требований со стороны аналитика данных, где работа с требованиями заключается в сборе и исследовании данных. Процесс работы с требованиями выглядит следующим образом: 1. Выявление требований Помимо подходов бизнес-аналитики по выявлению требований, таких как интервью, воркшопы, запуск опросов и запись пожеланий клиентов, аналитик данных можете использовать другие инструменты: - Python или другой язык программирования для сбора данных (Data Mining) с сайтов и получения первичной статистики - Google analytics или другой подобный инструмент, который собирает и описывает всю информацию по использованию веб-ресурса - SQL, если данные уже собираются в транзакционную базу данных или даже передаются в аналитическое хранилище данных - Инструменты BI отчетов, где можно динамично анализировать разные метрик и выявлять по ним требования для дальнейшего улучшения процесса/системы 2. Уточнение требований Здесь подойдут такие подходы как: - построение mind map - Root cause analysis - Анализ 5 почему 3. Планирование изменений На данном этапе важно понять, где проект находится сейчас (As-is) и к чему вы хотите его привести (To-be) Для описания подойдут различные методологии и нотации: BPMN, Sequence diagram, Business architecture, Conceptual data model 4. Декомпозиция требований Сначала нужно разделить требования на функциональные требования и прописать сценарии пользователя. Для этого отлично подходят - User story - User story map ( все user story связаны между собой единым развитием и сценарием пользователя) - Use cases - пошаговое описание действий пользователя Далее функциональные требования разбиваются на системные требования, которые data аналитик может оформлять в виде - Data flow diagram - ER-diagram - Conceptual/Logical/Physical data model

ВОЗМОЖНЫЕ ОШИБКИ В КАРЬЕРЕ АНАЛИТИКА 1. Страх неудачи Боязнь ошибиться в чем-то или взять на себя большую ответственность за выбор решения присуще не только аналитикам, но и людям в других управляющих профессиях. Первое о чем нужно думать - каждый человек может ошибаться и это нормально. Ошибки и неудачи помогают набираться опыта и двигаться вперед. Главное, нужно извлекать ценность из каждой ошибки и предотвращать ее повторное появление. Золотое правило IT-шников - делай сначала на тесте, а потом переноси на прод. 2. Негибкость в работе Аналитические решения должны быть построены на Agile-подходе. Первая цель Agile - гибкость и готовность к быстрым изменениям. Второе правило - качественный и ценных продукт для заказчиков. Заказчики могут менять требования в процессе работы, и к этому ты должен быть готов, чтобы пересмотреть и оценить требования и само решение. 3. Делать работу без понятных требований Довольно часто начинающие аналитики приступают к работе и написанию задач для разработки без четко сформулированных требований. Как следствие, заказчик может получить совсем не тот продукт, который хотел. Чтобы избежать недопониманий, необходимо провести большую работу по формулированию требований с заказчиком и их согласование. В итоге, должно сложиться полное взаимопонимание между IT и бизнесом в том, что они двигаются в одном направлении. 4. Горящие сроки проекта Ты можешь поспорить, что аналитик не должен отвечать за сроки проекта, а это работа менеджера или владельца продукта. Однако, менеджер первым делом приходит узнавать приблизительные сроки выполнения работ к аналитику. Аналитик должен понимать, какая задача и сколько она примерно может потребовать ресурсов для исполнения. Для оценки времени задач существует множество методик и инструментов, которыми я обязательно поделюсь в следующих постах

НАВЫКИ АНАЛИТИКА ДАННЫХ Каждый специалист должен в той или иной мере обладать hard (жесткие) и soft (мягкие) навыками. Hard skills (жесткие навыки) - профессиональные навыки или технические компетенции, связанные со знанием инструментов, программ или методологий, которые человек умеет применять в работе. Для аналитика данных к hard skills относится: - Знание SQL и СУБД (Система управления базами данных) - Умение программировать (Python или R) - Построение модели данных - Построение Data flow (описывает откуда, куда и через какие инструменты идут данные) - Архитектура хранилища данных (DWH) или озера данных (DL) - Построение витрин данных (Data Marts) - Работа в инструментах BI В зависимости от уровня аналитика, список hard навыков должен расти. К нему могут добавляться знания конкретных инструментов или системных решений, с которыми работает аналитик. Также, hard skills могут сильно отличатся от проекта или места работы (к примеру, один аналитик данных может более детально погружаться в процесс создания архитектуры хранилища данных, другой аналитик будет работать с визуализацией данных, витринами и инструментами BI) Чем лучше и обширней у тебя прокачены hard skills, тем более профессионально и эффективно ты можешь подбирать инструменты для задач и выполнять их более качественно. Soft skills (мягкие навыки) - социальные навыки, к которым относиться умение эффективно коммуницировать с людьми, строить диалог, активно слушать, отстаивать свою точку зрения. Помимо этого, к soft навыкам относится самоорганизованность, умение распределения задач, time-менеджмент, умение работать в команде, решать конфликтные ситуации и адаптироваться под новые реалии. Soft skills позволяют аналитику вести коммуникацию с заказчиком, командой разработки, стейкхолдерами и пользователями. Кроме того, мягкие навыки помогают демонстрировать себя на интервью как настоящего профессионала, проходить экзамены на повышение квалификации - это путь наверх по карьерной лестнице. Soft навыки изначально у всех зависят от нашего характера, воспитания и окружения. Однако, каждый навык можно проработать в свою пользу и усилить для достижения целей. Дальше я буду делиться своим опытом как я прорабатывал hard и soft скилы, дам полезные источники информации и помогу тебе прокачаться в аналитике данных

ЗАЧЕМ Я ПОШЁЛ В IT Иногда я задаю себе вопрос «Что меня привлекает в моей работе?» Я выделил для себя плюсы и минусы работы аналитика. В моём случае плюсы явно перевесили в свою сторону и именно они являются мотивирующими факторами для меня. 1. Востребовательность на рынке труда Сейчас во всем мире очень высокий спрос на труд IT специалистов, в частности аналитиков. Каждый бизнес имеет своё IT подразделение, которое играет очень большую роль в развитии бизнеса. К тому же, профессия аналитика уже который год входит в различные топы профессий будущего и самых востребованных профессий с высоким спросом на специалистов. 2. Время Цифровой трансформации Этот пункт коррелирует с первым. Компании трансформируют свою деятельность, опираясь на технологии в IT. Это значит, что у аналитиков есть очень много интересных и амбициозных задач в работе. 3. Высокая оплата труда Ни для кого не секрет, что IT-шники могут зарабатывать хорошие деньги на своей работе. Высокий заработок даёт возможность путешествовать, проходить платные обучения и просто баловать себя приятными вещами. Вся мировая система построена на деньгах и чтобы что-то получить (товар или услугу), нужно заплатить. 4. Широкие возможности онлайн-обучения Все знания, которые нужны аналитику, можно получить онлайн. Для этого есть множество обучающих ресурсов, только бери и учись. Далеко не каждой профессии можно обучиться онлайн, особенно если нужно применять физический труд или дополнительные инструменты в работе. 5. Возможность работать дистанционно Сейчас почти все IT-специалисты в той или иной мере работают удаленно. Не нужно ездить в офис, вставать рано, тратить свое время на дорогу. Достаточно встать, умыться, сделать себе вкусный кофе и включить компьютер для работы. Это позволяет распоряжаться своим временем более гибко и работать там, где тебе комфортно.

КНИГИ ПО АНАЛИТИКЕ Для любой профессии важны базовые навыки, которые обычно мы ищем в книгах. Топ 3 книги, которые помогут вам войти в аналитику: 1. Аналитическая культура. От сбора данных до бизнес-результата / Карл Андерсон Эта книга посвящена управлении бизнесом на основе данных. Автор показывает все аспекты работы и построения аналитической культуры, главным компонентом которой являются данные. Книга очень полезна к прочтению чтобы ответить себе на главные вопросы: Что такое данные? Как данные могут повлиять на развитие компании? Как работать с данными, чтобы иметь возможность превратить данные в знания. 2. System analysis and design / Alan Dennis Книга поможет разобраться во всех стадиях жизненного цикла разработки ПО. В книге сделан упор на бизнес-анализ и построение диаграмм бизнес-процессов, а также автор описывает как правильно писать бизнес и системные требования вместе и описывать test-cases и use-cases. 3. Спроси маму / Роб Фицпатрик На самом деле эта книга не совсем про аналитику, и тем более не про аналитику данных – книга про коммуникацию и про то, как правильно задавать вопросы, чтобы получить развернутые ответы. Книга будет полезна как аналитикам, так и менеджерам проектов и людям, в часть работы которых входит коммуникация с заказчиком.