Аналитика данных / Data Study

не нужно доводить людей с админским доступом к базе данных 😅

Как организовать безоблачное долгосрочное хранение неструктурированных данных на серверах компании? ⏰ 21 марта в 16:00 МСК ⚡️ Регистрация: https://bit.ly/3TdQ2f1 Обсудим реализацию архитектуры растянутого хранилища на несколько ЦОДов на примере продукта Cloud Storage. Рассмотрим кейс миграции более 150 ТБ хранимых данных в объектное хранилище от VK, в контуре компании, с протоколом доступа S3 API. Расскажем: 🔹Как обеспечить надежность хранения данных и удовлетворить требованиям регуляторов, 🔹Какие есть плюсы, минусы и подводные камни существующих типов систем хранения данных, 🔹Какие варианты хранения доступны в текущих условиях и как выбрать наиболее подходящий. Регистрация: https://bit.ly/3TdQ2f1

Дорогие девушки, поздравляю вас с 8 марта! 🌷🌷🌷🌷🌷 Желаю вам тепла, заботы, внимания, успехов в достижении своих целей и профессионального развития! Любите и будьте любимы 😉

🔔 Last Call HomeHack: 29 февраля – заключительный день регистрации 💥 Прими участие в онлайн-хакатоне HomeHack от Хоум Банка и Sk Fintech Hub с 1 по 6 марта 2024 и поборись за призовой фонд 1 000 000 рублей. Зарегистрироваться и узнать подробности можно по ссылке: https://cnrlink.com/hhdatastudylc 👤 К индивидуальному участию в мероприятии приглашаются системные аналитики, аналитики данных и разработчики Oracle любого уровня подготовки со всей России. 🎯 Участникам предстоит создать решение в одном из двух треков: 1. Эффективное управление клиентской документацией: предложи решение для реализации новой системы хранения и обработки данных для оптимизации пространства и обеспечения безопасности; 2. SQL Сhallenge: покажи свои навыки SQL и PL/SQL! Решай захватывающие задачи и докажи, что ты настоящий мастер в работе с данными. 👉 Успей подать заявку на участие до 29 февраля на онлайн-платформе Codenrock: https://cnrlink.com/hhdatastudylc Реклама. ООО "ХКФ БАНК". ИНН 7735057951. erid: LjN8Jwbru

Сегодня в голову пришла идея для реализации одной интересной работы - разработка AI-ассистента для проверки домашних работ учеников на курсе с обратной связью. Интересно будет получить результат чтобы AI не только сверял задание с правильным и отмечал "верно" или "не верно", но чтобы еще давал развернутый комментарий по улучшению или оптимизации решения. Например, бывают кейсы, что задание решено верно, но стиль и формат написания SQL запросов можно улучшить. Или одна и та же задача может быть решена разными способами, тогда AI в обратной связи может указать другой способ решения. В общем кажется интересным опыт создания такой штуки для своего курса, т.к. все работы я проверяю сам и вижу как должен выглядеть весь процесс от и до. Сомневаюсь только что даже при успешном результате такой ассистент будет внедрен полностью вместо ручной проверки. Потому что все таки живая обратная связь более информативна и более детальна, плюсом бывают моменты, когда прямо в задании ученики задают вопросы, на которые тоже нужно давать ответ. Думаю начну делать такой проект в рамках обучения prompt-инжинирингу как вспомогательного ассистента для курсов Data Study и потестируем его вместе с учениками/выпускниками

🚀 Data Jobs - вакансии и фриланс-проекты для дата саентистов. 📖 MachineLerning - здесь мы публикуем гайды, уроки, инструменты машинного обучения с разбором кода. ⚡ Machine interview - разбор вопросов и ответов с собеседований Data Science. 🔝 Маст-хэв папка для всех, кто любит и изучает машинное обучение: https://t.me/addlist/qht-ouKSGaQwNjcy

Подборка SQL-тренажеров для практики решения задач 📍sql-academy.org 📍sql-ex.ru 📍sqltest.online 📍stratascratch.com 📍stepik.org (Интерактивный тренажер SQL) 📍sql-practice.com 📍schoolsw3.com 📍pgexercises.com

Продуктовые аналитики, какие планы на выходные? 2 и 3 марта Тинькофф проведет Weekend Offer для специалистов с опытом от 2 лет. Можете пройти собеседование и попасть в команду за пару дней. Если устроитесь, будете решать сложные финтех-задачи, развивать продукты для миллионов, пользоваться бенефитами и расти. Оставьте заявку до 28 февраля и участвуйте онлайн. Реклама. АО «Тинькофф Банк», ИНН 7710140679

Питер Брюс, Эндрю Брюс / Практическая статистика для специалистов Data Science "Книга рассчитана на специалистов в области Data Science, обладающих некоторым опытом работы с языком программирования R и имеющих предварительное понятие о математической статистике. В ней в удобной и легкодоступной форме представлены ключевые понятия из статистики, которые относятся к науке о данных, а также объяснено, какие понятия важны и полезны с точки зрения науки о данных, какие менее важны и почему. Подробно раскрыты темы: разведочный анализ данных, распределения данных и выборок, статистические эксперименты и проверка значимости, регрессия и предсказание, классификация, статистическое машинное обучение и обучение без учителя." Скачать книгу

Как построить аналитическую инфраструктуру уровня PRO своими руками или с небольшой командой? Анонс для тех, кто устал вручную выгружать и сводить данные из разных источников. На деле ситуация серьезней, чем кажется. Часто компании работают с разными источниками данных с собственной логикой. Каждая выгрузка превращается в хоррор-квест и отнимает много времени и сил. Формально аналитика работает, но все понимают, что можно лучше. Облегчить жизнь команде аналитики поможет правильная инфраструктура, и ее можно собрать по готовому алгоритму. А где его взять? 28 февраля в 17:00 МСК архитектор VK Cloud Алексей Белозерский проведет вебинар. Там он покажет, как с помощью облачных сервисов и открытого ПО организовать хранение, обработку и доставку данных до конечных пользователей. В программе: 🔹Основные принципы и этапы работы с данными: DWH, ETL, BI. 🔹Проектирование системы: создание DWH, передача и обработка данных с помощью Apache Airflow и DBT, подключение BI-систему Redash. 🔹Live-demo: эксплуатация системы. Подключаем источники, редактируем витрины, обогащаем дашборды в Redash дополнительными данными. 🔹 QA-сессия. Посетите вебинар дата-инженеров , старших аналитиков и разработчиков DWH, а также менеджеров продуктов, ориентированных на data-driven подход. У VK Cloud большой опыт в построении различных инфраструктур. Поэтому добавьте событие в календарь. ⏰ 28.02.2024, 17:00 МСК Зарегистрироваться

OpenAI выкатили модель Sora для генерации видео из текстового описания. ИИ развивается семимильными шагами, даже человеку работающему в сфере data-анализа иногда ИИ-продукты кажутся мистикой 🪄🔮

интересно, только в консалтинге джунов за сеньоров продают… 😅

Отпуск нужен не для отдыха… Сейчас нахожусь в отпуске и меня посетила следующая мысль, что отпуск дает тебе мотивацию возвращаться к работе и повышать свой доход. Работать и зарабатывать чтобы повышать свое качество отдыха, позволять себе больше чем сейчас: останавливаться в более дорогих отелях, ужинать в самых лучших ресторанах, проводить активный отдых со всеми предлагаемыми развлечениями для туристов. Во время отдыха вы тратите больше денег чем в повседневной жизни за более короткий срок. И отпуск в одном и том же месте можно провести с бюджетом отличающимся в разы, от этого явно и эмоции будут разные. Поэтому после таких мыслей хочется возвращаться на работу, развиваться дальше как профессионалу, повышая при этом свой income 💰💸 Значит отпуск нужен не просто для отдыха, а для перезагрузки и дополнительной мотивации работать дальше) У кого такие же мысли приходят во время отпуска?

💥 Прими участие в онлайн-хакатоне HomeHack от Хоум Банка и Sk Fintech Hub с 1 по 6 марта 2024 и поборись за призовой фонд в 1 000 000 рублей. Регистрируйся до 29 февраля по ссылке: https://cnrlink.com/hhdatastudy 👤 К индивидуальному участию в мероприятии приглашаются системные аналитики, аналитики данных и разработчики Oracle любого уровня подготовки со всей России. 🎯 Участникам предстоит создать решение в одном из двух треков: 1. Эффективное управление клиентской документацией: предложи решение для реализации новой системы хранения и обработки данных для оптимизации пространства и обеспечения безопасности; 2. SQL Сhallenge: покажи свои навыки SQL и PL/SQL! Решай захватывающие задачи и докажи, что ты настоящий мастер в работе с данными. 🏆 Регистрируйся, побеждай, обменивайся опытом с экспертами, получи кейс в портфолио и стань членом команды Хоум Банк. 👉 Успей подать заявку на участие до 29 февраля на онлайн-платформе Codenrock: https://cnrlink.com/hhdatastudy Реклама. ООО "ХКФ БАНК". ИНН 7735057951. erid: LjN8KJnVY

Ребята из HRData собрали в одном месте все ресурсы по data и продуктовой аналитике, включая телеграм -каналы, экспертов, YouTube-каналы, подкасты. Данные собирали исходя из опросов аналитиков, чтобы собрать такую единую базу знаний. Молодцы, респект 👍 Приятно, что мой канал туда тоже включен) Ссылка на таблицу

Знакомые попросили опубликовать классную вакансию, я и сам начинал свой путь в IT из системного аналитика, было интересно 😃⤵️ Компания Riverstart в поисках Системного аналитика Riverstart — на рынке с 2012 года. Аккредитованы в Минцифры. 12 побед в отраслевых федеральных конкурсах в 2023 году. Делаем крупные веб-сервисы и порталы с большим количеством интеграций, сервисы аналитики, финансовой отчетности и сбора данных. Работаем с проектами в сферах: спорт и туризм, госсектор, строительство и недвижимость, e-commerce и ритейл, образование, crypto и web3, machine learning и AI. Зп - 150 000 - 250 000 рублей Чем предстоит заниматься: - анализом и моделированием бизнес-процессов IT-продуктов; - сбором, систематизацией и формализацией требований к ПО; - формированием и декомпозицей задач для разработчиков; - сопровождением разработчиков в части уточнения требований и реализации функционала; - ведением документации по проекту; - участием в анализе хранения и обработки данных; - работой с базами данных, составлением запросов к БД; - составлением пользовательских сценариев и описанием интерфейса; - разбором и описанием задач по интеграции; - анализом нефункциональных требований Для нас важно: - опыт работы в аналогичной должности не менее 3х лет; - опыт сбора требований и их формализации (Use Cases, User Story, CJM, User Story Map и т.п); - знание нотаций UML, BPMN, EPC; - знание инструментов моделирования БП (например, Draw.io, Visio); - понимание процесса разработки ПО; - анализ данных с использованием SQL, Excel; - умение работать с Git и/или Postman; - умение работать с MS Excel (сводные таблицы, формулы); - понимание форматов и протоколов обмена данными. Опыт работы с JSON, API, SOAP, REST; - опыт в построении и анализе ER-моделей и диаграмм классов; - опыт работы с системами коллективной разработки ( Jira, Confluence и их аналогами); Будет плюсом: - умение работать с базами данных NoSQL; - знание основ информационной безопасности и защиты персональных данных; - знание основ языков программирования и разметки XML, HTML; - опыт формирования запросов на Python ; - участие в тестировании функционала продуктов. Условия: - возможность работать в офисе в центре г. Нижнего Новгорода или удалённо; - гибкий график; - дополнительное премирование за вклад в командную работу; - разнообразные проекты и заказчики. По всем вопросам пишите @ValeriBondareva Ребята ждут вас в своей команде!

Радовать менеджеров - работа технарей 😉

On-premise или Cloud для Хранилища Данных? Сегодня ученица на курсе написала такой вопрос. Решил поделиться ответом не только в чате учеников, но и здесь ⤵️ Выбор On-premise или Cloud решения зависит от бизнес-потребностей компании и множества других факторов: 📍какими данными компания обладает, 📍какие объемы данных нужно хранить, 📍нефункциональные требования к хранилищу данных (безопасность, отказоустойчивость, надежность...) 📍выделяемый бюджет ➕плюсы облачного решения: - быстро настраивается, т.к. есть уже готовые продукты в облаке - не нужно держать большую команду инженеров для настройки и поддержки серверов - в зависимости от нужных ресурсов может быть более выгодно чем покупать свой сервер и думать где его установить. некий pay as you go ❌ минусы облачного решения: - зависимость от вендора (облачного провайдера). все сбои вендора влияют на тебя. лишняя прослойка поддержки между компанией и вашим техническим решением - ограниченные ресурсы предоставляемых продуктов. т.е. если у вас есть много данных или нужны большие вычислительные мощности, они могут не обеспечиваться лимитами облака - не все данные можно безопасно хранить в облаке, либо компании просто не готовы взять риски чтобы положить конфиденциальные данные в облако. хоть и провайдеры имеют лицензию на хранение конфиденциальных данных (паспортные данные например), но здесь нужно юридически проверять можно ли хранить например данные банковской тайны ➕плюсы on-premise решения ("свой купленный железный сервер"): - в первую очередь решение всех минусов облака) - неограниченное количество ресурсов для масштабирования (покупай ресурсы сколько хочешь на свой сервер) - дается возможность хранить любые данные внутри сети компании, НО за безопасность данных отвечает сама компания и никто больше - on-premise обычно быстрее работает, опять же зависит от ресурсов сервера, но еще важно что сервер стоит обычно где-то недалеко (возможно прямо в центральном офисе), что влияет на скорость работы ❌ минусы on-premise - обычно это дорого и платить нужно сразу большую сумму в моменте (даже для небольших компаний стоимость может исчисляться десятками млн. рублей) - своя команда инженеров для настройки и поддержания работоспособности - ответственность за все ложится на плечи компании и команды инженеров в том числе (информационная безопасность, доступы, настройки сети, безопасное хранение данных)

Как выбрать график для отчета? Для этого нужно ответить себе на вопрос, что я хочу показать или какую историю рассказать с его помощью. Существуют различные виды графиков, которые решают определенные задачи. Можно показать динамику, можно части целого, а может быть необходимо отразить зависимость между переменными. Чтобы проще было подобрать необходимый график существует различные шпаргалки. Одной из таких поделились Financial Times. Было это четыре года назад, но информация не теряет своей актуальности и сегодня. Его можно использовать как интерактивный справочник. А можно распечатать плакат и повесить в офисе или на рабочем месте.

Предлагают курс записать, только жаль что на все времени не найти 🤔