IT analysis

Высшее образование - важный фактор в карьере ? Часть 2.👨‍💻 Во время обучения студент приобретает не только так называемые hard skills, но и ещё развивает soft skills: найти билеты до начала сессии (навык ведения переговоров), коллективно подготовиться к экзамену (навык работы в команде), защитить дипломный проект (навык презентации проекта). Сейчас везде пишут, что в карьере soft’ы выходят на первое место, т.к. обучиться ЛЮБОМУ hard навыку можно на онлайн-курсе всего за условный месяц. Ещё высшее образование позволяет НАУЧИТЬСЯ УЧИТЬСЯ.💪 Этот навык сейчас мега важен в условиях меняющего мира (особенно если мы говорим про IT) - самостоятельно изучить новую технологию, разобраться в документации - всё тоже самое делают студенты при подготовке к экзаменам. Я считаю, что ценность высшего образования не в том, чтобы научиться какой-то конкретной профессии, а в том, чтобы НАУЧИТЬСЯ ДУМАТЬ. 🧐 Ведь именно тот, кто мыслит не как все и не боится принять ответственное решение, тот и добивается успеха (хотя понятие успех у всех может быть разным). Подводя итог, хочу сказать, что не важно где Вы получаете те или иные знания и навыки. Важно то, что обучаться нужно ПОСТОЯННО, и делать это в течении всей своей жизни. Тогда Вы точно будете востребованным специалистом. Успехов в карьере!

Высшее образование - важный фактор в карьере ? Часть 1 👨‍💻 Многие здесь не знают, но автор этого канала является недавним выпускником ВУЗа. Примерно год назад я выпустился из Бауманки. Во время обучения я часто задавал себе вопрос: как могут пригодиться знания из университета в дальнейшем ? В университете было много неинтересных для меня пар, мало прикладных знаний. И если быть честным, то знания из университета мне пока и не пригодились 👍🤦‍♂️ НО! Давайте не будем делать поспешных выводов и обесценивать высшее образование, а разберёмся действительно-ли высшее образование не важно ? Мне понравилась цитата одного из моих преподавателей, звучала она примерно так: ”Возможно, знания, которые вы здесь получите, вам в дальнейшем не пригодятся. Возможно, после выпуска из университета никто из вас не пойдет работать по специальности. Но мы вас учим не только решать задачи, а ещё и таким навыкам как стрессоустойчивость, дисциплинированность, пунктуальность и т.д.” Продолжение в посте ниже...

Как моделировать бизнес-процессы в нотации BPMN ? 📒 Давайте на примере разберем последовательность шагов при моделировании бизнес процессов в BPMN. Будем рассматривать процесс разработки веб-сайта. Итак, первым шагом выделим основные роли в нашем процессе и создадим дорожку для каждой роли. Я выделил следующие роли: 1. Бизнес-заказчик 👩‍💼 2. Аналитик 🧑‍💼 3. Разработчик 🧑‍💻 4. Тестировщик 👩‍💻 Вторым шагом нужно определить артефакты. В нашем процессе участвуют следующие артефакты: 1. Бриф на разработку сайта 📜 2. ТЗ (тех. задание) 📝 3. Разработка (исходный код) 📇 На третьем шаге можно приступать к процессу разработки потоков и действий. С этими элементами можно ознакомиться на BPMN модели процесса во вложении. Таким образом, можно довольно быстро построить простой бизнес процесс в нотации BPMN. Хочу отметить, что в примере использовались лишь самые базовые элементы из нотации (в описании нотации насчитывается более 100 различных элементов 😳). #моделирование_процессов #bpmn

Вчера был на конференции IT Purple от ФПМИ. Выдали такую интересную брошюру с распределением ролей между участниками IT команд. Из аналитиков на этой брошюре есть бизнес, системный и продуктовый аналитик. На картинке можно посмотреть какие обязанности есть у каждой роли в командах. Как по мне - прикольная вещь, показывает на каких этапах разработки какой специалист требуется. Позволяет посмотреть на всю картину разработки сверху в разрезе конкретной роли.

Друзья, привет! В статьях выше писал о том, что такое spark, зачем он нужен и как его применяют в работе аналитики, data engineer'ы и data scientist'ы. Сегодня делюсь подборкой материалов, по которым изучал Spark. Ставьте реакции, если хотите чтобы подобные подборки публиковались в канале чаще 😊 Книги: Для изучения batch обработки данных на spark: 1. Learning Spark: Lightning-Fast Data Analytics 2. High Performance Spark: Best practices for scaling and optimizing Apache Spark Для изучения потоковой обработки данных на spark: 1. Stream Processing with Apache Spark: Mastering Structured Streaming and Spark Streaming Курс по spark (scala): В курсе довольно понятно объясняют основные понятия spark-а и его преимущества + есть практические задания к темам: https://www.coursera.org/learn/scala-spark-big-data Лайфхак: курс можно проходить бесплатно слушателем (если не нужен сертификат) и без оформления заявки на денежную помощь, для этого на странице курса нужно нажать enroll for free, далее выбрать audit only.

Этот пост не про технические навыки и компетенции в IT, а про такой навык как целеполагание. Для достижения определённого результата важно ставить правильные цели. Карьера. Доход. Отношения. Социальные достижения. Не важно какая сфера. Всё начинается с правильной постановки цели. Но что такое правильная цель? Существует много разных фреймворков для постановки цели. Самый популярный - SMART. В соответствии со SMART цель должна быть: 1. Specific - конкретной 2. Measurable -измеримой 3. Attainable -достижимой 4. Relevant - значимой 5. Timebound-ограничена во времени. Приведу пример своей цели на 2024 год в соответствии с этим фреймворком. Моя цель: до конца 2024 года (timeboud) пробежать 10км (specific) из 37:40 (measurable). Достижима (attainable) ? Да! Т.к. личник в прошлом году был 39:30 Relevant (значима)? Да! Доказать, самому себе что всё в жизни достижимо. Первый старт на 10км будет уже в марте. Посмотрим на результаты!

Как Spark может ускорить скорость вычислений в 10 раз? Недавно столкнулся с задачей оптимизации загрузки данных в хранилище. Был уже готовый поток загрузки данных, который прогружал 1 день исторических данных за 5 часов. Требовалось перегрузить 5 месяцев исторических данных. По расчётам поток грузил бы данные 30 дней. Проблема такой долгой загрузки данных была в том, предварительно данные предобрабатывались отдельным Bash скриптом на одной ноде (с использованием мощностей всего лишь одной машины) без распараллеливания вычислений. Здесь как раз на помощь пришёл spark. Использовалась строка кода с регулярным выражением. После переноса всего лишь одной этой строки кода на spark скорость вычислений увеличилась в 10 раз. Поток стал отрабатывать за 30 минут. Как использование spark'a помогает получить такие результаты? Во-первых, Spark использует мощности не одной машины, а мощности всего кластера (то есть нескольких машин, работающих параллельно) Во-вторых, Spark позволяет кастомизировать загрузку данных под каждую задачу. Это достигается благодаря гибкой настройки параметров. В-третьих, все вычисления в spark происходят в оперативной памяти. Это позволяет выполнять вычисления за короткий промежуток времени. На прошлом посте набралось 15 🔥. Если наберём под этим постом 25 🔥, то поделюсь своей подборкой материалов для изучения spark. #hard_skills

Что такое распределенные вычисления? При работе с большими данными специалисты сталкиваются с проблемой, что вычисления с использованием одной машины становятся неэффективными. В таком случае компании стараются внедрить инструменты для работы с большими данными, такие как Hadoop, Spark и т.д. Основная идея таких инструментов - это использование мощностей нескольких машин (или нескольких "нод"). Вычисления на каждой ноде выполняются параллельно, что позволяет в несколько раз быстрее выполнить расчёты. Как я написал выше, один из инструментов для работы с большими данными - это spark. Использование spark'a позволяет кратно уменьшить время вычислений. Если хотите узнать о том за счёт чего достигается такая скорость вычислений в спарк - ставьте 🔥 на эту запись. И в следующем посте я расскажу вам об этом, а ещё поделюсь своей историей о том как мне удалось в 10 раз оптимизировать загрузку данных с использованием spark (изменив при этом всего 1 строку кода 😁) #hard_skills

Остались последние часы уходящего 2023 года, самое время подвести итоги года и поставить цели на новый 2024 год. (да, я не забыл про свой канал, на 2024 год у меня на него большие планы:) ) Итак, мои итоги 2023 года: 1. Стал более техническим специалистом. Что я имею ввиду? В середине 2023 перешёл в другую компанию на позицию инженера данных. До этого работал с данными исключительно как аналитик. Но сейчас разработка стала скорее дополнением к моим обязанностам, так как обязанности аналитика всё равно остались. 2. Изучил новые для себя инструменты работы с большими данными, новые языки программирования. 2. Написал несколько статей на хабр Скорее всего большинство участников канала как раз оттуда:) 3. Стал вести этот канал Хоть и с перерывами)) 4. Пробежал 2 старта за год полумарафон и 10км. Обновил личник на полумарафоне и на 10км. 5. Улучшил английский. Сейчас уровень B2. В новом 2024 году хочу довести английский до С1. Хочу всем пожелать в Новом году ставить амбициозные цели и достигать их. С Наступающим 2024 годом!