SQL и БД Learning

Трамплин в карьере для системных аналитиков 🚀 Есть опыт работы от года и желание развиваться в профессии? Приходи на онлайн-интенсив в Открытые школы Т1! 🎓Открытые школы — это обучение с возможностью попасть в штат Холдинга Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг. Всего за полгода мы выпустили 500+ специалистов, лучшие из которых уже присоединились к командам финтех-разработки и разработки ИТ-продуктов. Также выпускников ждут в юнитах облачных сервисов, развития ИИ-решений, интеграции и консалтинга. Что в программе? — курс по работе с требованиями, — проектирование REST API, — понимание банковской специфики. ⌛️ Быстрое обучение: 1 месяц. 💻Гибкий формат: все этапы онлайн, занятия по вечерам. Врывайся в бигтех и подавай заявку до 22 августа!  Старт бесплатного интенсива: 28 августа. Реклама. ООО "Т1". ИНН 7720484492.

Трамплин в карьере для системных аналитиков 🚀 Есть опыт работы от года и желание развиваться в профессии? Приходи на онлайн-интенсив в Открытые школы Т1! 🎓Открытые школы — это обучение с возможностью попасть в штат Холдинга Т1 — крупнейшей ИТ-компании в России по версии RAEX 2023, в портфеле которой 800+ масштабных проектов и 70+ продуктов и услуг. Всего за полгода мы выпустили 500+ специалистов, лучшие из которых уже присоединились к командам финтех-разработки и разработки ИТ-продуктов. Также выпускников ждут в юнитах облачных сервисов, развития ИИ-решений, интеграции и консалтинга. Что в программе? — курс по работе с требованиями, — проектирование REST API, — понимание банковской специфики. ⌛️ Быстрое обучение: 1 месяц. 💻Гибкий формат: все этапы онлайн, занятия по вечерам. Врывайся в бигтех и подавай заявку до 22 августа!  Старт бесплатного интенсива: 28 августа. Реклама. ООО "Т1". ИНН 7720484492.

StarRocks — высокопроизводительная БД для аналитики StarRocks, проект Linux Foundation, — это база данных MPP OLAP нового поколения с быстрой обработкой данных для сложных аналитических кейсов, включая многомерную аналитику, аналитику в реальном времени и не только. Быстрый старт с помощью Docker:

docker run -p 9030:9030 -p 8030:8030 -p 8040:8040 -itd \
--name quickstart starrocks/allin1-ubuntu

🖥 GitHub 📔 Доки

Dolt — первая в мире база данных SQL с контролем версий. Для достижения этой цели Dolt использует Prolly Tree-хранилище схемы и данных, представленных в виде графа. Таким образом достигается контроль версий базы данных на уровне хранилища. Контроль версий БД в стиле Git предоставляет ряд полезных фичей: — Мгновенный откат к любому предыдущему состоянию — Полный журнал аудита с возможностью запроса, содержащий все данные с момента их создания. — Несколько развивающихся ветвей данных — Возможность объединения ветвей данных — Быстрая синхронизация с удаленными версиями для резервного копирования или децентрализованной совместной работы. — Запрашиваемые различия (т. е. различия) между версиями Механизм хранения Dolt построен на графе коммитов Prolly Trees в стиле Git. Схема таблицы и данные хранятся в Prolly Trees. Корни этих деревьев Prolly вместе с другими метаданными хранятся в графе коммитов, чтобы обеспечить контроль версий в стиле Git. Подробнее можно почитать на официальной страничке Github

Начните обучение в магистратуре в Центральном университете уже на 3-м курсе бакалавриата! Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Учебу реально совместить с последними курсами бакалавриата или действующей работой. Обучение занимает 20 часов в неделю в вечернее время в первый год, а занятия проводят в центре Москвы профессоры из МГУ, МФТИ, РЭШ и практики из индустрии. Обучение в университете построено по принципам ИТ-компаний, со средой, способствующей росту и развитию. У каждого студента будет: личный ментор по траектории обучения; доступ к карьерному центру с коучами и консультантами; опыт работы в проектах 30+ компаний-партнеров уже во время обучения; диплом гособразца. Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке! erid:2VtzqwezZhm Реклама, АНО ВО «Центральный университет», ИНН 774341802

Начните обучение в магистратуре в Центральном университете уже на 3-м курсе бакалавриата! Центральный университет — современный вуз, созданный при поддержке ведущих компаний России: Т-Банка, Авито и других. Учебу реально совместить с последними курсами бакалавриата или действующей работой. Обучение занимает 20 часов в неделю в вечернее время в первый год, а занятия проводят в центре Москвы профессоры из МГУ, МФТИ, РЭШ и практики из индустрии. Обучение в университете построено по принципам ИТ-компаний, со средой, способствующей росту и развитию. У каждого студента будет: личный ментор по траектории обучения; доступ к карьерному центру с коучами и консультантами; опыт работы в проектах 30+ компаний-партнеров уже во время обучения; диплом гособразца. Участвуйте в онлайн-отборе, чтобы выиграть грант на обучение до 1,2 млн рублей. Больше подробностей про университет и конкурс грантов по ссылке! erid:2VtzqwezZhm Реклама, АНО ВО «Центральный университет», ИНН 774341802

MySQL ускорение SQL запросов Ускорение SQL запросов в MySQL может быть достигнуто следующими способами: 1. Индексы: использование индексов может ускорить поиск и сортировку данных в ваших таблицах. 2. Оптимизация структуры таблиц: важно убедиться, что структура таблиц оптимизирована для выполнения запросов. 3. Оптимизация запросов: проверьте ваши запросы на оптимизацию, убедитесь, что вы используете правильные операторы JOIN и индексы для улучшения производительности. 4. Кэширование данных: использование кэширования данных может ускорить выполнение повторяющихся запросов. 5. Использование представлений: использование представлений может упростить запросы и улучшить их читаемость. 6. Ограничение размера выборки: используйте оператор LIMIT, чтобы выбрать только необходимые данные, это уменьшит время выполнения запроса. 7. Минимизация дубликатов данных: дубликаты данных могут увеличить размер таблицы и уменьшить производительность запросов. Удаляйте дубликаты данных или используйте оптимизированные структуры данных, такие как нормализованные таблицы. 8. Оптимизация памяти: оптимизируйте использование памяти вашей базы данных, чтобы уменьшить время обработки запросов. 9. Мониторинг производительности: важен для определения причин низкой производительности и для поиска способов ее улучшения. Он включает в себя слежение за показателями, такими как загруженность процессора, использование памяти, время ответа на запросы и т. д. 10. Использование индексов: используйте индексы, чтобы ускорить поиск данных в таблице. Обеспечьте, чтобы ваши индексы были актуальными и эффективными. 11. Оптимизация объединений: используйте оптимальные методы объединения, такие как внутреннее или внешнее объединение, чтобы ускорить выполнение запросов. 12. Использование хранимых процедур: хранимые процедуры могут ускорить выполнение повторяющихся запросов. 13. Использование кеширования: используйте кеширование, чтобы ускорить выполнение запросов и уменьшить нагрузку на базу данных. 14. Оптимизация конфигурации сервера: оптимизируйте конфигурацию сервера, такую как количество памяти и число потоков, чтобы улучшить производительность базы данных. 15. Оптимизация структуры таблиц: периодически оценивайте структуру таблиц и выполняйте необходимые изменения, чтобы улучшить производительность. 16. Оптимизация запросов: проверяйте и оптимизируйте свои SQL-запросы, чтобы улучшить их производительность. 17. Ограничение данных: ограничивайте количество возвращаемых данных, чтобы улучшить производительность. 18. Мониторинг производительности: мониторинг производительности поможет вам выявить проблемы и найти способы их устранения. 19. Обновление ПО: регулярно обновляйте ПО, используемое вашей базой данных, чтобы воспользоваться последними улучшениями производительности. 20. Использование индексов: правильное использование индексов может существенно улучшить производительность SQL-запросов. Обратите внимание, что нет единого решения для улучшения производительности SQL-запросов, и каждый случай может быть уникален. Важно понимать причины низкой производительности и применять соответствующие техники для улучшения.

Не знаете, как эффективно управлять конфигурацией и обеспечивать консенсус данных? Ваши проекты сталкиваются с проблемами масштабируемости и надежности? А теперь представьте, что ваши системы работают как часы, координация и синхронизация на высшем уровне, а конфигурация управляется легко и без ошибок. Вы освоили Apache Zookeeper и ваши проекты достигают новых высот надежности и масштабируемости! Присоединяйтесь к открытому вебинару 21 августа в 20:00 мск. Там мы решим все эти проблемы и ответим на возникающие вопросы. 👨‍💻🛠👨🏻‍💻 Урок будет полезен разработчикам, DevOps-инженерам, администраторам систем и сетей, архитекторам ПО и всем, кто хочет глубже понять работу Apache Zookeeper. 🔴 Запишитесь прямо сейчас, чтобы не пропустить мероприятие: https://clck.ru/3CLo9A Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🖥 Google почти всегда задает вопросы по SQL во время собеседований на вакансии Data Analytics, Data Science и Data Engineering. Поэтому, если вы готовитесь к собеседованию по SQL, решите эти 11 РЕАЛЬНЫХ вопросов для собеседования Google по SQL. https://datalemur.com/blog/google-sql-interview-questions

💬 Регулярные выражения Язык SQL поддерживает работу с регулярными выражениями (regular expressions или RegEx). Это специальный язык, позволяющий достаточно точно определить шаблоны поиска в строке. Для работы с регулярными выражениями используется оператор SIMILAR TO вместо LIKE. Вернемся к нашей задаче — нужно выбрать пользователей, чье имя начинается на 'A' и 'B'. Чтобы решить ее, нужно применить такой шаблон: SELECT * FROM users WHERE first_name SIMILAR TO '[AB]%'; Разберем примененный шаблон [AB]%. В квадратных скобках перечисляются допустимые символы, а далее следует знакомый нам символ %. Этот запрос вернет пользователей с именами Abigale, Andy, Brayan, и так далее. Представим, что нам нужно найти пользователей, у которых username заканчивается любой буквой. Это можно сделать таким шаблоном: %[abcdefghijklmnopqrstuvwxyz]. Согласитесь, такая запись неудобна для чтения и записи. А что, если мы случайно пропустим какую-то букву? В квадратных скобках можно использовать символ - для перечисления. Если записать в квадратных скобках начальный символ, поставить "-" и указать конечный символ, то такой шаблон вернет любой символ из диапазона от начального до конечного. Напишем запрос, который вернет всех пользователей у которых username заканчивается любой буквой, будет выглядеть так: SELECT * FROM users WHERE username SIMILAR TO '%[a-z]'; Точно так же можно работать и с русскими буквами: '%[а-я]%'. Такой запрос поможет найти пользователей, у которых в поле username есть русские буквы: SELECT * FROM users WHERE username SIMILAR TO '%[а-я]%'; Чтобы выбрать все цифры, используем шаблон [0-9]: SELECT * FROM users WHERE username SIMILAR TO '%[0-9]'; Такой запрос вернет всех пользователей, чей username заканчивается на любую цифру. Комбинируя правила, мы можем создавать достаточно сложные шаблоны. Например, проверим, что в поле email введены корректные адреса электронной почты. Корректная почта должна содержать адрес, который состоит из: *️⃣Имени с любым количеством любых символов — например, my_email *️⃣Символа @ *️⃣Домена с любым количеством любых символов — например, gmail *️⃣Точки *️⃣Указания национальной зоны — например, com Запрос на поиск корректных адресов будет таким: SELECT username, email FROM users WHERE email SIMILAR TO '%@%.%'; Такой запрос выведет имена пользователей с корректными адресами электронной почты, однако нам интереснее найти ошибки. В этом случае частица NOT позволит найти строки, которые не соответствуют шаблону: SELECT username, email FROM users WHERE email NOT SIMILAR TO '%@%.%'; Теперь выберем все адреса электронной почты, у которых национальная зона состоит ровно из двух символов — например, ru, su, io и так далее. При этом исключим зоны, состоящие из трех и более символов — например, com. Это можно сделать так: %.[a-z][a-z]. Но удобнее воспользоваться еще одним спецсимволом — подчеркиванием _. Символ подчеркивания обозначает ровно один любой символ, необязательно букву. Наш запрос будет выглядеть так: SELECT username, email FROM users WHERE email SIMILAR TO '%.__'; Чтобы вывести пользователей с адресами электронной почты оканчивающимися на 3 символа, нужно добавить еще одно подчерктивание в наш шаблон: SELECT username, email FROM users WHERE email SIMILAR TO '%.___'; Мы рассмотрели наиболее полезные и часто используемые возможности регулярных выражений в SQL, но они ими не ограничиваются.

#Вопросы_с_собеседования ❓Что делает оператор MERGE? Ответ: MERGE позволяет осуществить слияние данных одной таблицы с данными другой таблицы. При слиянии таблиц проверяется условие, и если оно истинно, то выполняется UPDATE, а если нет - INSERT. При этом изменять поля таблицы в секции UPDATE, по которым идет связывание двух таблиц, нельзя.

Gephi — один из наиболее функциональных и доступных инструментов для всех, кто изучает социальные сети и графы. Gephi Lite — это его облегчённая веб-версия. Пользователи могут видеть все параметры сети, использовать фильтры, настраивать визуализацию графа, сохранять и экспортировать файлы. gephi.org/gephi-lite

Gephi — один из наиболее функциональных и доступных инструментов для всех, кто изучает социальные сети и графы. Gephi Lite — это его облегчённая веб-версия. Пользователи могут видеть все параметры сети, использовать фильтры, настраивать визуализацию графа, сохранять и экспортировать файлы. gephi.org/gephi-lite