Аналитика данных / Data Study

Привет! Заключительный пост про учебный проект построения платформы данных. Сам проект закончил писать еще недели 2 назад, а до написания поста с итогами руки дошли только сейчас. В конце поста делюсь ссылкой на репозиторий с кодом и инструкцией) Учебный проект - Аналитическая Платформа Данных (Итог)

Многие из вас знают, что для работы с данными важно знать язык структурированных запросов SQL. Однако при работе с нереляционными базами данных применяется концепция NoSQL. NoSQL позволяет работать с данными и базами данных в разных структурах: - документах - словарях вида ключ-значение - графах - колоночных семействах Нашел отличную статью про NoSQL с примерами в картинках. Также есть сравнение SQL и NoSQL для еще более детального понимания подходов работы с данными Читать статью

Многие знают, что для работы с данными одним из главных навыков является работа с языком SQL.

Если кто-то хочет пройти курс по аналитике от крупных компаний, то вот здесь собрана информация о доступных учебных программах на будущее. Многие из них бесплатны, но требуют предварительной подготовки и прохождения отбора в виде интервью и тестирований.

Полезная статья по разворачиванию Apache Superset в VK Cloud разными способами Сегодня протестировал установку Superset в облаке через Docker, благо там есть еще бесплатный баланс на сервисы 😁😁😁 Думаю, что в будущем попробую перевести свой учебный проект платформы данных в облако. Ну и еще хочется освоить работу с Kubernetes на уверенном уровне работы с кластером. Сейчас почему-то через раз получается подключиться к кластеру в облаке по kubectl, нужно точно глубже погружаться в тему. Читать статью

На вечер пятницы только такой контент 😂😂😂 Всем отличных выходных 😉

Базы данных & SQL - сборник материалов по базам данных, СУБД, языкам запросов, методам сбора и обработки данных. На канале вы найдете: теоретические материалы, статьи, новости, курсы, видеоуроки, профессиональную литературу и полезные шпаргалки. Несколько постов для знакомства с каналом: • Серия видеоуроков по PostgreSQL • Лучшие вопросы средней сложности по SQL на собеседовании аналитика данных • Изучаем SQL с нуля: курсы, книги, полезные ссылки • Шпаргалка по SQL Подписывайтесь: @db_in_it

Очень подробная статья про написание чистого и качественного кода на SQL. Главный тезис ещё раз подтвердил для себя: Если код приятен для чтения и понятен -> его можно без сложностей проверить на качество или расширить его функциональность при необходимости.

Как быстро и просто сгенерировать себе датасет любого объема Привет! Вчера для целей проекта делал датасет с данными, которые были созданы синтетически. Решил поделиться примером. Подход генерации данных довольно простой и очень быстрый. При этом можно создать любое количество атрибутов с разной выборкой значений и дальше пользоваться этими данными для тестовых целей. Покажу пример создания датасета из 3 полей: date, client_name, trans_amount Ссылка на файл ноутбука

Привет! Вчера провел последний урок на текущем потоке курса "Основы анализа данных" Ученики все замотивированы на получение новых знаний. У многих помимо учебы есть основная работа, дети, семья. Но они все равно находят время заниматься, получать новые знания, слушать уроки и выполнять практику. Впереди у нас с ними еще будет защита проектов, уверен там будет много чего интересного и познавательного. Проекты будут частью портфолио учеников. А я решил поделиться немного отзывами, все таки это важный показатель для развития обучения дальше 😉

Вигерс Карл, Битти Джой / Разработка требований к программному обеспечению "Эта книга — подробное руководство по разработке качественных требований к программному обеспечению. Здесь описаны десятки проверенных на практике приемов выявления, формулирования, разработки, проверки, утверждения и тестирования требований, которые помогут разработчикам, менеджерам и маркетологам создать эффективное ПО. Настоящее издание дополнено новыми приемами, посвященными разработке требований в проектах гибкой разработки (agile)." Скачать книгу

Must have для аналитиков и специалистов, кто работает с требованиями к ПО

11 soft-skills для аналитика "Помимо профильных профессиональных навыков существуют и так называемые мягкие навыки или soft-skills. Это неспециализированные навыки, необходимые для продуктивной работы, но не связанные с конкретной предметной областью. Сегодня мы поговорим о том, какие soft-skills необходимы аналитику вне зависимости от профиля работы." Читать статью

Как повысить эффективность бизнес-операций с Task Mining? Ответ на этот и другие вопросы можно получить на совместном вебинаре Банка Уралсиб и Инфомаксимум, который состоится 15 декабря в 16.00. Программа: – Особенности технологии Task Mining (16:00 – 16:20) – Аналитика бизнес-операций в банке Уралсиб (16:20 – 16:40) – Сессия вопрос-ответ (16:40 – 16:55) Спикеры: 🔹 Александр Бочкин, генеральный директор Инфомаксимум 🔹 Максим Сарычев, руководитель процессного офиса Банка Уралсиб Участие бесплатное, зарегистрироваться можно по ссылке: https://t.me/infomaximum_it_bot

Привет! Всю текущую неделю я болею, видимо какой-то вирус. Температура 4 дня держалась 38 пока не начал пить антибиотики, сейчас стало полегче. Состояние конечно же нерабочее, еле как в течение рабочих дней соображал что нужно сделать по проектным задачам. Занятия с учениками на курсе и занятия в рамках менторства с консультациями пришлось переносить. Зато за эти дни посмотрел много новых фильмов, хочу вам их порекомендовать: 1. Предложение Легкая комедия с отличным юмором и сюжетом про брак по расчету, который может перейти во что-то большее Ссылка на фильм 2. Отпуск по обмену Кто ищет новогоднее настроение - обязательно обратите внимание на фильм, ведь он есть почти в каждой подборке новогодних фильмов Ссылка на фильм 3. Дворецкий Фильм может показаться с самого начала очень жестоким, не прерывайте просмотр, если действительно хотите посмотреть картину после описания или трейлера. Фильм описывает историю борьбы за рассовое равноправие и гражданские права чернокожих в США, и как на это влияли разные президенты. Мне очень понравился фильм, пробивает на эмоции Ссылка на фильм 4. По соображениям совести Я думаю, что многие смотрели его про подвиг военного медика на фронте. Я лично его пересматривал уже в который раз Ссылка на фильм 5. Лулу и Бриггс Фильм про взаимоотношения между служебной собакой и бывшим солдатом. Есть нотки комедии вместе с сильной драмой Ссылка на фильм 6. Военный наряльщик В фильме показывают опять же проблему рассового различия в США. Также эта история основана на реальных событиях одного военного ныряльщика, который благодаря своей силе воли и упорству смог достичь больших результатов и заслуг Ссылка на фильм Все фильмы на Кинопоиск имеют высокий рейтинг, что точно отражает их ценность. P.S. Сейчас у вас есть подборка фильмов на чудесный вечер воскресенья 😉

Лучшие вопросы средней сложности по SQL на собеседовании аналитика данных Хорошая статья для повторения тем по SQL перед собеседованием Статья

Искусственный интеллект захватит мир, но ты будешь к этому готов 🤖 На канале MTS AI ты узнаешь самые актуальные новости технологий, увидишь эксклюзивные выступления экспертов и присоединишься к профессиональному сообществу разработчиков. 👉 Подпишись и прикоснись к будущему

Метаданные 🔎 Метаданные – это данные и документация, которые описывают способ, формат, структуру хранения всех данных на уровне таблицы, базы данных, системы или даже целой организации. Для понимания давайте посмотрим пример из жизни о библиотеке 📚📚📚. В библиотеке есть множество книг, где каждая книга - данные. Если книги будут разбросаны по библиотеке, то читателю будет сложно найти нужную ему книгу, будет беспорядок. А вот если все книги расставить по полкам, разделить полки по жанрам, еще и упорядочит все по алфавиту, в таком случае гораздо проще будет искать нужные книги. Полочки и подписи жанров на полках - это метаданные, они помогают все структурировать. Другой пример про фотографии 📷📸 Если зайдете в галерею фото своего телефона, на каждом фото в дополнительной информации есть метаданные - формат фото, его разрешение, дата создания, локация и т.д. Само фото - данные Информация о фото - метаданные Метаданные делят на несколько видов: 📍Бизнес-метаданные Описание содержания и состояния данных, необходимо для корректного использования данных в будущем. ➡️ бизнес-правила и расчетные формулы ➡️ классы конфиденциальности ➡️ происхождение данных из источников 📍Технические метаданные Описание технических характеристик хранения и перемещения данных ➡️ описание процесса ETL ➡️ права доступа ➡️ описание физической модели данных 📍Операционные метаданные Описание процессов обработки данных и ролевой модели доступа, а также получение системной информации из журналов ошибок и логирования ➡️ журналы логов и ошибок ➡️ расписание обработки данных ➡️ результаты аудита В одном из следующих постов посмотрим примеры разных метаданных на практике

Когда команда JUG Ru Group готовила новую конференцию Flow, стало понятно, что разные компании по-разному понимают роль аналитика, а правильная терминология этой области — предмет горячих споров. С самого начала команда ориентировала Flow на аналитиков, архитекторов, тестировщиков, и в докладах углублялась в техническую конкретику, а не в софт-скиллы. И теперь JUG Ru Group приглашает вас посмотреть свою первую конференцию по системному и бизнес-анализу. Сделать это можно в рамках Community Day 30 ноября. Community Day — это свободный доступ для всех желающих к части докладов второго дня конференции Flow 2022. В расписании доклады Community Day будут помечены тегом #comday. Для участия в Community Day нужно только зарегистрироваться на flowconf.ru

Привет! Работа по моему учебному проекту идёт полным ходом, а значит пора выложить вторую часть поста про прогресс по задачам. Учебный проект - Аналитическая Платформа Данных (Часть 2)