SQLpedia | Базы данных

Когда твой ПМ в очередной раз меняет условие задачи

Если вы задумываетесь о магистратуре, интересуетесь аналитикой и работой с данными, не пропустите день открытых дверей Академии Data Science! Это первая образовательная программа Центрального университета, о запуске которого недавно объявил Тинькофф. На мероприятии вы узнаете о профессии: какие бывают аналитики, чем различаются их задачи и какие навыки требуются. А также поучаствуете в аналитической игре и познакомитесь с тем, как организован учебный процесс в Центральном университете. Если вы в Москве, то приходите очно 15 августа в 19:00 в московский офис Тинькофф в бизнес-центре «Водный». Также будет онлайн-трансляция на Youtube. Не забудьте зарегистрироваться, количество офлайн-мест ограничено: https://l.tinkoff.ru/mc_analyst.2023

​​Использование функций регулярных выражений в PostgreSQL / Greenplum О том, как именно использовать регулярки, написано уже много статей и туториалов. Другой вопрос, что сами по себе регулярные выражения являются параметром, подающимся на вход какой-нибудь функции. Именно функция осуществляет поиск по указанному регулярному выражению. О функциях, использующих регулярки мы сегодня и поговорим. Перейти к статье | SQLpedia

ИТ + научпоп + музыка = большой ИТ-пикник в Москве 💛 2 сентября Тинькофф, CodeFest и Мельница собирают большой благотворительный ИТ-фестиваль. Встречаемся в Коломенском на максимально летнем вайбе. В программе: ИТ- и научпоп-лектории, выступления топовых спикеров, воркшопы, интерактивные зоны и вишенка на торте — музыкальные перформансы от Антохи MC, Zoloto, Therr Maitz, The Hatters, «Сироткина», а также секретного хедлайнера. Как думаете, кто им может быть? Для участия нужно выбрать благотворительный фонд из списка и сделать донат от 1000 рублей. Подробности и регистрация — тут. Реклама. АО "Тинькофф Банк"

​​Логмайним Оракл Перед нашей командой была поставлена задача осуществить миграцию из Oracle в PostgreSQL большой (несколько десятков терабайт) работающей базы с нагрузкой порядка 20 миллионов dml-операций в час и генерацией 2ГБ редо-логов в минуту. Особенность задачи состояла в том, что миграция должна была происходить не один-в-один, а по частям в разные шарды. Перейти к статье | SQLpedia

​​Проблемы студентов курсов при работе с реальными данными В этот статье автор бы хотела отметить важные моменты из работы с базами данных с помощью SQL, которые не изучают на курсах, но которые могут быть актуальны с самого начала карьеры для эффективной работы. Примеры в статье будут приведены для базы PostgreSQL. Перейти к статье | SQLpedia

Освойте весь актуальный стек Middle Data Engineer. На курсе «Инженер данных» от школы karpovꓸcourses под руководством опытных практиков из VK, Яндекс Go, Sbermarket и Ozon за 5 месяцев вы научитесь: ● Работать с реляционными и MPP базами данных ● Автоматизировать ETL-пайплайны ● Проектировать традиционные и облачные хранилища ● Применять ML-модели на больших данных ● Разрабатывать дашборды для мониторинга DWH платформы Здесь вас ждут интересные проекты и настоящая инфраструктура: Greenplum, Hadoop, Kubernetes, Spark, Hive, Kafka, Airflow, Tableau. По итогам обучения вы станете крепким Middle специалистом с широким набором прикладных навыков, а наш HR обязательно доведёт вас до оффера в хорошую компанию. Стартуем 10 августа. Ждём вас на курсе! [Записаться]

​​Аналитики с диапазонами дат в MS SQL Развернув обратно разработчику очередной Pull Request с поиском по аналитике, принимающей разные значения в разные промежутки времени, я решил на планерке обсудить этот вопрос. И был удивлен, что подавляющее большинство разработчиков не понимают, как эффективно искать на SQL в таких случаях. Погуглив, ради интереса, обнаружил, что этот вопрос как-то обходится стороной сообществом. В итоге решил написать статью, заодно ссылаясь на нее самому. Перейти к статье | SQLpedia

Первая задача на новой работе

Новый релиз платформы Tantor 3.0 от «Тантор Лабс» (входит в ГК «Астра»)! Больше отказоустойчивости баз данных с помощью поддержки кластеров Patroni! 🔥 Tantor 3.0 – это простое и эффективное решение для всех, кто хочет обеспечить высокую доступность и надежность своих баз данных PostgreSQL. Ключевым нововведением стал инструмент Patroni, который автоматически переключает работу на резервные узлы при сбоях, сохраняя целостность данных и избегая потери информации. С помощью Tantor 3.0 и нового интерфейса PatroniAPI, внедрение и управление кластерами стало намного проще. Новая версия позволяет: 🗄Управлять жизненным циклом кластера Patroni; 🗄Мониторить состояние кластера с помощью готового набора метрик и графиков; 🗄Получать оповещения о нештатных ситуациях в работе инстанса. 🗄Каждый новый релиз платформы Tantor – это шаг вперед в развитии возможностей работы продуктов в экосистеме программного обеспечения ГК «Астра». Подробнее о Tantor 3.0 узнавайте на канале ГК «Астра».

​​pgmig — история разработки инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway В этой статье описывается особенность инструмента "pgmig", который позволяет создавать пустую базу данных на любой коммит ветки git и проводить тестирование на этой базе данных. Также упоминаются другие проблемы, связанные с разработкой баз данных и предлагаются способы их решения. Перейти к статье | SQLpedia

​​Всегда ли хорош Index Only Scan? Среди применяемых в PostgreSQL методов доступа к данным Index Only Scan стоит особняком, считаясь у многих разработчиков "волшебной пилюлей" для ускорения работы запроса - мол, "Index Scan - плохо, Index Only Scan - хорошо, как только получим его в плане - все станет замечательно". Как минимум, это утверждение неверно. Как максимум, при определенных условиях может вызвать проблемы чуть ли не на ровном месте. Перейти к статье | SQLpedia

​​Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом Как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet? Давайте рассмотрим это на простом примере. Перейти к статье | SQLpedia

Я смотрю на себя в маленьком окошке видеозвонка, пока все остальные разговаривают на важном совещании

​​Используем sequence в MySQL В этой статье рассказывается о том, как создать сквозной монотонно возрастающий целочисленный идентификатор в MySQL. Это полезно, когда в системе есть разные сущности с разными атрибутами и жизненным циклом, и нужно их уникально идентифицировать в рамках системы. Перейти к статье | SQLpedia

​​SQL HowTo: «простое» прогнозирование Статья обсуждает возможности использования SQL для прогнозирования значений на основе данных предыдущих периодов. Авторы отмечают, что для бизнеса важно иметь возможность заглянуть в будущее и спрогнозировать значения каких-то величин, например, выручки или количества продуктов. Перейти к статье | SQLpedia

❗️Хотите научиться эффективно работать с базами данных? Наращивайте объем знаний и навыков на вебинарах, приуроченных к старту онлайн-курса «Базы данных» в OTUS. ✅ 1 августа — «Системные таблицы PostgreSQL» Изучим основные системные таблицы и их устройство. ✅ 16 августа — «MySQL NDB cluster» Рассмотрим шардинг и особенности архитектуры 🎁 На занятии 16 августа спикер Евгений Аристов, архитектор баз данных PostgreSQL, разыграет свою книгу «PostgreSQL 14. Оптимизация, Kubernetes, кластера, облака». 👉 РЕГИСТРАЦИЯ https://otus.pw/0pEb/ Нативная интеграция. Информация о продукте www.otus.ru

​​Путеводитель по резервному копированию баз данных Статья рассказывает о том, что такое резервное копирование баз данных, зачем оно нужно и как его правильно делать. В статье описываются три задачи, которые решает резервное копирование, и проблемы, связанные с горячим сохранением файлов базы данных. Перейти к статье | SQLpedia

​​Приручаем Liquibase. Как скормить базе данных список из 10К офисов, чтобы потом не писать костыли? В этой статье автор хочет поделиться своим опытом создания миграций файлов с большим списком данных при помощи Liquibase. Cтолкнувшись с такой задачей на проекте, он был сильно удивлен тому, как мало материалов написано по этой теме, даже на английском. Поэтому описал то, что удалось собрать и проверить на собственном опыте. Перейти к статье | SQLpedia

Станьте аналитиком в Академии Data Science Научим находить инсайты в данных и поможем построить карьеру финансового аналитика. По окончанию программы вы получите магистерский диплом по направлению «Математика и компьютерные науки». Оставьте заявку до 10 августа.