Системный Аналитик
Канал для системных аналитиков и не только: подборки полезных материалов на все случаи жизни. Реклама и сотрудничество @radale
Mostrar más10 098
Suscriptores
+4124 horas
+1977 días
+75030 días
- Suscriptores
- Cobertura postal
- ER - ratio de compromiso
Carga de datos en curso...
Tasa de crecimiento de suscriptores
Carga de datos en curso...
Как отличить хорошего продакта от плохого?
Плохой продакт зациклен на процессах, дейликах, митингах и бумажной волоките. Он игнорирует риски и фокусируется на метриках тщеславия типа MAU, DAU и новых зарегистрированных пользователей.
Хороший продакт фокусируется на реальных результатах. Он понимает, как его работа влияет на весь бизнес, и делает так, чтобы продукты и проекты «выстреливали» и зарабатывали.
Хотите грамотно вести проекты и приносить бизнесу максимальную пользу? Подписывайтесь на канал сооснователя careerspace Ярослава Хромова. Узнайте, как работать с продуктом, метриками и людьми, чтобы зарабатывать больше и расти по карьерной лестнице.
Топ постов:
— Почему «дерево метрик» — слабая концепция и прошлый век?
— Почему в B2B продукты более отсталые, чем в B2C?
— Подборка лучших постов про карьерный рост и бизнес — фактически пошаговый гайд, как зарабатывать больше и расти быстрее.
Это отличный продуктовый канал от настоящего практика. Подпишитесь, чтобы ваша карьера летела вверх: @firstanalyticsguide.
Реклама ООО «Карьерное пространство», ИНН 9715410393
👎 11👍 9🔥 2
✨ Денормализация в БД и не только
Ранее мы рассказывали про нормализацию в БД, рассмотрим обратный процесс.
Денормализация — внесение избыточности в БД путём объединения таблиц, чтобы упростить структуру и ускорить чтения данных
Отличие от нормализации
Нормализация нужна для устранения избыточности данных; для разделения информации по отдельным таблицам, чтобы обеспечать целостность и упростить обслуживания БД
😀Увеличивает количество джойнов при выполнении запросов и может замедлять чтение данных
Денормализация, наоборот, вводит избыточность обратно в БД, объединяя таблицы и дублируя информацию
😀Запросы становятся проще, операции чтения быстрее. Но могут возникнуть трудности с поддержкой и обновлением из-за риска несогласованности
✨ Когда применяется
😀для ускорения чтения данных за счет сокращения количества джойнов
😀в системах с большим объемом операций чтения и минимальным количеством обновлений, где производительность чтения критична
😀для ускорения разработки и оптимизации работы приложений
✨ Методы
😀 Добавление избыточных данных: дублирование данных в нескольких таблицах для сокращения соединений при запросах
😀 Добавление производных или агрегированных столбцов: включение полей с предварительно вычисленными значениями, например, общей суммы заказа.
😀 Объединение таблиц: слияние смежных таблиц в одну для уменьшения операций соединения
😀 Денормализация иерархических структур: дублирование информации о верхних уровнях иерархии на нижних для упрощения запросов
😀 Использование материализованных представлений: хранение результатов сложных запросов в виде отдельной таблицы для быстрого доступа
😀 Введение таблиц сумм и счётчиков: создание отдельных таблиц для хранения суммарной информации, например, общее количество товаров, проданных за день, или общее количество посетителей сайта. Позволяет избежать необходимости агрегации больших объёмов данных при каждом запросе
✨ Примеры
😀Агрегация данных: в таблице заказов хранится не только идентификатор клиента, но и агрегированная информация о клиенте, например, общая сумма покупок. Это избавляет от необходимости соединять таблицы заказов и клиентов для расчета общих покупок клиента
😀Кэширование результатов запросов: в таблице с продуктами может храниться не только информация о продукте, но и предварительно рассчитанное количество продуктов на складе. Это снижает нагрузку на СУБД за счет уменьшения количества вычислений при каждом запросе
✨ Недостатки
— избыточность данных может привести к проблемам с их согласованностью, когда изменение информации в одном месте потребует её обновления и во всех остальных денормализованных таблицах. Это увеличивает сложность поддержки и может привести к ошибкам
— увеличивается объём хранимых данных
— замедление других операций, может замедлить процессы вставки, изменения и удаления данных
✨ Совет
Используйте денормализацию целенаправленно, не применяйте как универсальное решение. Важно создать механизм обновления избыточных данных, чтобы поддерживать их актуальность и согласованность.
✨ Денормализация в других областях
😀Data Warehouse: улучшает производительность аналитических запросов через агрегированные структуры данных для быстрого выполнения запросов OLAP
😀NoSQL базы данных: для оптимизации горизонтального масштабирования и ускорения доступа к данным, храня связанные данные вместе
😀Frontend-разработка: при проектировании состояния приложений, например в Redux для React, для упрощения доступа к данным и улучшения производительности
😀Микросервисы: улучшает независимость и отказоустойчивость сервисов, храня данные, необходимые каждому микросервису в его собственной базе
⭐️ Подборки материалов по этой и другим темам доступны в закрытом канале
#бд
👍 21❤ 8🔥 5👏 2
Photo unavailableShow in Telegram
Оплачиваемая стажировка и трудоустройство без опыта — ну ничего себе 😳
Все возможно с Добровольным квалификационным экзаменом! Это бесплатный проект Правительства Москвы, где ты можешь показать свои знания по специальности, запомниться потенциальным работодателям и получить оффер в престижные компании Москвы.
Тебя ждет всего три шага:
1️⃣ Пройди тест
После регистрации на сайте ДКЭ тебе будет доступно 70 профессий по 7 направлениям. Выбирай тест по своей специальности и проверь уровень своих знаний!
2️⃣ Реши кейс
Если ты успешно сдал тест, тебя пригласят на следующий этап, где ты с другими участниками в команде будешь решать реальный кейс одного из работодателей.
3️⃣ Стань победителем
Окажись в числе лучших по общему количеству баллов за оба этапа и получи шанс попасть на оплачиваемую стажировку с дальнейшим трудоустройством.
Готов проявить себя? Регистрируйся и начинай проходить тест — https://dke.moscow
Реклама. АНО "РАЗВИТИЕ ЧЕЛОВЕЧЕСКОГО КАПИТАЛА", АНО "РЧК". ИНН 7710364647. erid: LjN8JvhfP
❤ 5👎 3🔥 2
Photo unavailableShow in Telegram
Привет! Мы — команда GPTZATOR, создаем ИИ-сервис для бизнес-аналитиков.
В сервисе уже доступны навыки, помогающие автоматизировать отрисовку диаграмм и подготовку требований. И мы предлагаем вам их оценить.
Нам важно, чтобы наш инструмент был полезен и помогал экономить время широкому кругу бизнес-аналитиков. Поэтому сейчас мы открываем доступ к демоверсии, чтобы вместе с пользователями доработать и расширить набор навыков для бизнес-анализа.
C GPTZATOR вы получите:
🔘непротиворечивые, однозначные и тестируемые требования
🔘диаграммы UML, ERD, DFD и их описание на языке PlantUML
🔘доступ к ChatGPT без VPN и зарубежной сим-карты
Делегируйте рутинные задачи искусственному интеллекту без потери качества.
Сложность проекта не важна. Наш ИИ-ассистент работает с любой сферой заказчика, объемом работ и спецификой.
Зарегистрируйтесь в GPTZATOR по ссылке, введите промокод
analyst
и получите 250 токенов, которые вы сможете потратить на использование навыков, а также общение с последней версией ChatGPT, 4o.
Реклама. ООО "ЛАД-Эйр". ERID 2VtzqwQQmpK👍 12🔥 5❤ 2
Photo unavailableShow in Telegram
Проклинаешь рекрутера за фидбэк, которого нет? Бог тебя услышал.
аналитик от бога — яркий и честный канал про карьеру и проф развитие для аналитиков и тимлидов👨💻
Рекомендуем почитать самые популярные посты на канале:
✅ Топ-12 самых частых ошибок аналитика
✅ Лучшие книги и курсы по проектированию REST API
✅ Разбор заданий с Tinkoff Solution Cup 2024
✅ Прожарка резюме системных аналитиков
Еще больше годноты для аналитиков всех грейдов ты найдешь у @godnolytika
👍 13🤡 9❤ 4👎 2🔥 2
Хранимые процедуры и пользовательские функции в БД
📌Кратко
Хранимые процедуры предназначены для выполнения действий, а пользовательские функции - для вычислений и возврата значений.
✔️ Хранимые процедуры
Это набор инструкций, которые выполняют любые операции с данными, сложную логику или задачи на стороне сервера БД
🟡компилируются один раз и хранятся на сервере
🟡могут содержать циклы, условные операторы
🟡как в обычном коде в языках программирования, можно реализовать логику работы с данными
🟡могут принимать параметры и возвращать результаты, но могут и не возвращать
Как используются?
🔘выполнение сложных операций (сортировка, фильтрация и агрегация), сложной бизнес-логики
🔘могут включать несколько операций, которые выполняются как одна транзакция
🔘последовательное выполнение нескольких SQL-команд
🔘регулярно выполняющихся операций, требующих быстрого повторного исполнения
🔘обеспечивают защиту, выполняясь на стороне сервера БД, а также контролируют доступ и выполнение операций. С помощью процедур можно реализовать логику доступа, проверки прав и аутентификации пользователей
Примеры
⏩процедура принимает ID сотрудника в качестве входного параметра и возвращает его имя из таблицы Employees
⏩процедура принимает данные о новом заказе (например, клиент, товары, количество) и добавляет соответствующую запись в базу данных.
⏩входной параметр -- ID заказа, процедура извлекает информацию о товарах в заказе и вычисляет стоимость всех товаров.
〰️ Минусы
💩 когда сложны, тяжело поддерживаемы, возникают проблемы с рефакторингом
💩могут создавать зависимость от конкретной СУБД — затрудняет масштабирование
💩хранение бизнес-логики в PLSQL ведет к созданию монолита. Его дальнейшее разбиение затрудняется
💩 отладка не всегда удобна, логирование и обработка ошибок выполняется вручную
✅ Пользовательские функции
Это фрагменты кода, предназначенные для выполнения конкретных операций или вычислений над данными
🔵принимают входные параметры, выполняют определенные вычисления и всегда возвращают результат
🔵не предназначены для изменения данных или выполнения транзакций
Как используются?
🔘 для сложных логических или арифметических операций
🔘возвращаемые значения используются в др. запросах / выражениях
🔘для использования операторах SQL (SELECT, WHERE и тд) для вычисления значений
🔘фильтрации данных, поиска определенных значений или обработки данных по заданными условиями
🔘для работы с текстовыми данными (разбиение строк, поиск подстрок, замена символов и тд)
Пример:
⏩преобразование даты в определенный формат или вычисление дополнительных параметров на основе входных данных.
⏩входные параметры -- ID пользователя и ID ресурса, в ответе булевое значение, указывающее, имеет ли пользователь доступ к этому ресурсу
〰️ Минусы
💩не эффективны в сложных запросах
💩на больших объемах данных могут привести к низкой производительности
💩отладка может быть трудной из-за изоляции от основного кода
💩могут зависеть от контекста сессии или окружения, что может привести к неожиданным результатам
✔️ Основные различия
Назначение
🟡процедуры -- для выполнения последовательности операций и изменения данных в БД
🔵функции -- для выполнения вычислений и возвращения результата
Возвращаемые значения
🟡процедуры могут возвращать 0 или более значений или изменять состояние БД
🔵функции возвращают только одно значение
Типы вызовов
🟡процедуры -- как отдельными операторами SQL, так и из других процедур и функций.
🔵функции -- вызываются обычно внутри запросов SQL или в выражениях, где нужно вычислить значения
ХП и пользовательские функции могут использоваться не только в БД, а еще в:
🟣приложениях на стороне сервера: могут быть частью серверных приложений, написанных на Java, C#, Python и др. Используются для обработки данных на сервере перед отправкой их клиенту.
🟣интеграциях в веб
🟣интеграциях с внешними системами, такими как API, сервисы и внешние БД, чтобы обрабатывать данные и для взаимодействия между приложениями и платформами.
⭐️ Подборки материалов по этой и другим темам доступны в закрытом канале
#бд
👍 27❤ 12🔥 8👏 3🤡 3
Photo unavailableShow in Telegram
20 июня, четверг
Санкт-Петербург, Казанская улица, 7, пространство Freedom
Сбор гостей в 19:00
Всем привет! На связи команда системных аналитиков Positive Technologies. Нас объединяет любовь к сложным технологическим задачам, которые вырастают в крутые продукты в области информационной безопасности.
У нас есть возможность пробовать все самое вкусное, что есть в разработке ПО:
📍 использовать возможности искусственного интеллекта,
📍 внедрять гибкие процессы разработки,
📍 проектировать сложные алгоритмы работы с данными и функциями.
Если вам это близко, присоединяйтесь к нам 20 июня.
👉 Программа
👉 Регистрация
👍 9❤ 1
Repost from Библиотека Системного Аналитика
Apache Kafka. Потоковая обработка и анализ данных
✍️ Авторы: Гвен Шапира, Тодд Палино, Раджини Сиварам, Крит Петти
🗓 Год издания: 2023
🔤 Язык: русский
📚 Объём: 512 стр.
Второе издания бестселлера о Kafka.
При работе любого корпоративного приложения образуются данные: файлы журналов, показатели, информация об активности пользователей, исходящие сообщения и другие. Правильное управление этими данными не менее важно, чем сами данные. Если вы архитектор, разработчик или инженер-технолог, но вы пока не знакомы с Apache Kafka, то из этой обновленной книги вы узнаете, как работать с потоковой платформой Kafka, позволяющей обрабатывать потоки данных в реальном времени. Дополнительные главы посвящены API AdminClient от Kafka, транзакциям, новым функциям безопасности и изменениям в инструментарии.
Инженеры из Confluent и LinkedIn, ответственные за разработку Kafka, объясняют, как с помощью этой платформы развертывать производственные кластеры Kafka, писать надежные управляемые событиями микросервисы и создавать масштабируемые приложения для потоковой обработки данных. На подробных примерах вы изучите принципы проектирования Kafka, гарантии надежности, ключевые API и детали архитектуры.
5 причин добавить эту книгу в свою библиотеку:
1. Авторы — разработчики Kafka.
2. Лучшие практики развертывания и настройки Kafka.
3. Шаблоны и требования для обеспечения надежной доставки данных.
4. Паттерны построения конвейеров данных и приложений с помощью Kafka.
5. Правильные мониторинг, настройка и обслуживание Kafka в рабочей среде.
#интеграции
Apache_Kafka_Потоковая_обработка_и_анализ_данных.pdf8.23 MB
👍 34❤ 7🔥 6⚡ 2👏 2
Photo unavailableShow in Telegram
Интересуетесь, как создаются и развиваются популярные сервисы вроде Яндекс Браузера или Алисы? Про это Яндекс Образование организовали лекторий, посвященный 10-летию факультета компьютерных наук ВШЭ.
Продакт-менеджеры компании рассказали, какой путь прошли, чтобы заниматься технологичными продуктами, какие навыки им в этом пригодились, а также как их профессия меняется с развитием искусственного интеллекта.
Посмотреть лекторий будет полезно всем, кто планирует строить карьеру в IT или работать в крупных компаниях.
Переходите по ссылке и вдохновляйтесь историями лучших!
👍 6👎 1
Elige un Plan Diferente
Tu plan actual sólo permite el análisis de 5 canales. Para obtener más, elige otro plan.