Data Science. SQL hub

Сбер расширяет географию своих ивентов: 6 октября в Тбилиси состоится первый технологический митап, посвящённый разработке рекомендательных систем 👨‍💻 На RecSys MeetUp вы познакомитесь с экспертами Сбера, станете частью одного из крупнейших IT-комьюнити и узнаете о: ✔️ Технологических трендах в области искусственного интеллекта и машинного обучения. ✔️ Устройстве современных стримингов компаний-партнёров Сбера. Гарантируем: будет интересно и безумно полезно каждому DS-специалисту. Регистрируйтесь по ссылке, встречаемся 6 октября в 18:30 по адресу: Тбилиси, Ресторан на 6 этаже отеля «Golden Palace», переулок Агмашенебели 62 💚

Использование рекурсивных запросов для управления иерархиями данных Некоторые таблицы в SQL могут иметь неявный вид иерархии данных. Например, в нашей таблице сотрудников для каждого сотрудника имеется идентификатор manager_id. У нас есть менеджер, который отвечает за других менеджеров, которые, в свою очередь, отвечают за других сотрудников, и так далее. При такой организации мы можем иметь иерархию различных уровней. В каждой строке столбец manager_id относится к строке, находящейся на непосредственном верхнем уровне иерархии. В таких случаях хорошим запросом является получение списка всех сотрудников, подчиняющихся генеральному директору компании (который в данном случае имеет идентификатор employee_id, равный 110). Для этого используем следующий запрос WITH RECURSIVE subordinate AS ( SELECT employee_id, first_name, last_name, manager_id FROM employee WHERE employee_id = 110 -- id of the top hierarchy employee (CEO) UNION ALL SELECT e.employee_id, e.first_name, e.last_name, e.manager_id FROM employee e JOIN subordinate s ON e.manager_id = s.employee_id ) SELECT employee_id, first_name, last_name, manager_id FROM subordinate ; В этом запросе мы создали рекурсивный CTE под названием subordinate. Он является ключевой частью запроса, поскольку проходит по иерархии данных, переходя от одной строки к строкам иерархии, расположенным непосредственно под ней. Есть два подзапроса, соединенных между собой UNION ALL; первый подзапрос возвращает верхнюю строку иерархии, а второй запрос возвращает следующий уровень, добавляя эти строки к промежуточному результату запроса. Затем снова выполняется второй подзапрос, возвращающий следующий уровень, который снова добавляется к промежуточному результату. Этот процесс повторяется до тех пор, пока в промежуточный результат не будет добавлено ни одной новой строки. Наконец, главный запрос возвращает данные в том виде, в котором мы ожидаем. @sqlhub

Многие хотят стать аналитиками данных, но не у многих получается Мы не понаслышке знаем, как трудно ворваться на рынок труда и хотим поделиться нашими советами на бесплатном вебинаре. Вы узнаете: - Какие навыки нужны для старта карьеры, и что изменилось за последние годы - Как найти первую работу или стажировку? - Обязательно ли профильное высшее образование для работы аналитиком? - Можно ли начать карьеру после 30? Вебинар проведёт Анатолий Карпов — тот самый автор курсов на степике, которые обучили основам анализа данных более 200 тыс. человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses. 🕖Вебинар пройдет 28 сентября в 19:00 Регистрируйтесь по ссылке Реклама. ООО "Карпов Курсы". Erid: LjN8KNZ3W

🖥StereoDB Сверхбыстрая и легкая база данных внутрипроцессной памятм, написанная на языке F#, поддерживающая: транзакции, вторичные индексы, персистентные структуры данных и инструменты управления памятью. StereoDB поддерживает создание Stateful Services (API или ETL Worker), которые хранят все данные в памяти и могут обеспечить миллионы запросов в секунду для RPS с одного узла. • Github @sqlhub

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Искусство ETL. FAQ по Data Cooker ETL — Microsoft предлагает БЕСПЛАТНЫЕ онлайн курсы с сертификацией — Clickhouse — непростая жизнь в продакшене — MySQL в Google Colab: Бесшовная интеграция — Искусство ETL. Пишем собственный движок SQL на Spark [часть 5 из 5] — Bamboolib : Инструментарий для интеллектуального исследования и анализа данных — 7 шагов по контейнеризации Python-приложений — Understanding Joins in SQL — My Experience learning Python and SQL — SQL 50–1683. Invalid Tweets — Tudo que você precisa saber sobre SQL — Select transactions — Temp table in SQL Server — Memory behind Postgres — Discover the Hidden Powers of PostgreSQL: Lateral Joins and JSON Columns Decoded! — Bitmap Scan in YugabyteDB — SQL 50–1148. Article Views I Посмотреть: 🌐 Вся база SQL для начинающих за 1 час 🌐 SQL For Web Developers - Complete Database Course 🌐 Python Matplotlib. Визуализация данных на PRO уровне. (⏱ 24:43) 🌐 Устраиваемся на работу. Решаем тестовое задание на позицию Python Junior. (⏱ 20:28) 🌐 Уроки Golang с нуля /#29 - Дженерики/обобщения (⏱ 10:52) 🌐 Уроки Golang с нуля /#30 - Горутины (⏱ 08:09) 🌐 Как защитить телеграм бота от атак и перегрузок. (⏱ 08:29) Хорошего дня! @sqlhub

❗️ Хардкорный тест для разработчиков MS SQL Server Вырвитесь из однотипных задач. Освойте продвинутые подходы.  Ответьте на 20 вопросов и проверьте, насколько вы готовы к обучению на углубленном курсе «MS SQL Server Developer» https://otus.pw/0u1i/ ⏰ Время прохождения теста ограничено 30 минут ⚠️ Курс создан для разработчиков, которые хотят понять, как устроены БД, научиться писать сложные запросы или заниматься проектированием на SQL профессионально.  👉 ПРОЙТИ ТЕСТИРОВАНИЕ https://otus.pw/0u1i/ Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963. erid: LjN8K6PRA

🖥 SQL-запросы, которые вы рано или поздно погуглите, часть 2 На сей раз я использую таблицу subject_selection, которая описывает изучаемые студентами предметы: |student_id|subject|semester|student_name| |----------|-------|--------|------------| |eb1490a6 |Физика |2 |Иван | |1c5bf433 |Физика |4 |Андрей | |b16a764b |Тервер |1 |Ирина | |48b3a7f6 |Матстат|2 |Мария | |c179c5cc |Тервер |2 |Сергей | |6306ceed |Матстат|1 |Инна | |5853f444 |Иняз |3 |Эрик | |… |… |… |… | |550ca6a5 |Тервер |2 |Елена | Запросы исполнены на диалекте BigQuery. WHERE + LIKE: найти все таблицы с определенным столбцом Допустим, администратор университетской базы данных управляет большим хранилищем и уже не тратит усилия на запоминания всех структур таблиц. Он хочет вспомнить, в каких наборах упоминались студенты. Во многих СУБД на базе SQL существует information_schema с метаданными, к которой можно обращаться с запросами. Вот так, к примеру, она выглядит в BigQuery (документация): *в изображении. Вы также можете обратиться к: ▪️резервной копии таблицы (TABLE_SNAPSHOT); ▪️перечню запросов, выполненных определенным сотрудником (JOBS_BY_USER); ▪️частоте использования расшаренных датасетов (SHARED_DATASET_USAGE). Чтобы получить искомый список таблиц, содержащими столбец с подстрокой ‘student’, нужно запустить такую команду: SELECT * FROM `project.tutorials.INFORMATION_SCHEMA.COLUMNS` WHERE column_name LIKE '%student%' В результате мы получим список с 20+ параметрами. Располагая также данными о типе столбца, возможности пропусков в нем и прочих интересных настройках вы сможете управлять своими данными на новом уровне: ведь по любому из полей можно производить фильтрацию, модификацию и проч. 📌 Читать весь разбор @sqlhub

«Ты не можешь остановить восстание машин, но ты можешь его возглавить» 13 ноября в Слёрм стартует поток «Профессия Data Scientist». Эксперты курса: ⚡️Иван Аникин, Team Lead Yandex.Edadeal ⚡️Владимир Бугаевский, Team Lead СберМаркет Они расскажут, как создавать алгоритмы, которые автоматизируют труд и заставляют компьютеры «думать» самостоятельно. Посмотреть подробную программу можно на сайте Слёрм На курсе вы сможете научиться: ✔️анализировать и визуализировать большие объёмы данных; ✔️сводить бизнес-задачу в задачу машинного обучения; ✔️работать с данными разных типов. Мы поможем уверенно стартовать в профессии: в конце обучения вы сможете сделать итоговый проект на реальных данных. Записаться на курс можно по ссылке Реклама. ООО «Слёрм» г. Лиски, ОГРН 1193668020545

🖥 usql usql – универсальный командный интерфейс для работы с SQL и NoSQL базами данных usql предоставляет простой способ работы с базами данных SQL и NoSQL через командную строку, созданную на основе psql от PostgreSQL. usql поддерживает большинство основных возможностей psql, таких как переменные, обратные знаки, команды обратной косой черты, и имеет дополнительные возможности, которых нет в psql, такие как поддержка нескольких баз данных, копирование между базами данных, подсветка синтаксиса и завершение на основе контекста. $ brew install xo/xo/usql 🖥 Github ✔️ Установка #github #Go #sql #nosql @sqlhub

Семь раз проверь: Х5 Tech проведет Data Quality Meetup На онлайн-митапе 27 сентября выступят спикеры из X5 Tech, чтобы поделиться своим опытом и обсудить темы, касающиеся качества и надежности данных: ➖ Каким прибором измеряется качество данных и для чего нужен этот показатель ➖ Всё для удобства менеджеров DQ: что такое базовые проверки и сколько их нужно для счастья 🔔 27 сентября в 18:00 Участие бесплатно, нужна регистрация Реклама. ООО "Корпоративный центр ИКС 5", ИНН 7728632689 , erid: LjN8KRxDd

📊Python Matplotlib. Визуализация данных на PRO уровне. 📌 Видео 📌 Код и полезные ресурсы @sqlhub

Команда VK Cloud недавно запустила новый канал о работе с данными — Данные на стероидах. В нем ребята публикуют подборки интересного контента по темам Data science, ML и Big Data. Например, рассказывают, про планирование и жизненный цикл ML-проектов, из-за чего происходят и как избежать утечек при работе с ML, или как создавать футуристичные графики с помощью Python. Помимо прочего, в канале много полезной информации о работе с данными, архитектуре дата-решений и новостей российского и международного Data-сообщества. 👉🏻 Подписывайтесь на канал Данные на стероидах, будет интересно!

🖥 SQL Translator - это инструмент для преобразования запросов на естественном языке в SQL-запросы с помощью искусственного интеллекта. Этот проект является 100% бесплатным и с открытым исходным кодом. git clone https://github.com/whoiskatrin/sql-translator.git ▪Github ▪Проект @sqlhub

Попробуйте свои силы в Data Science на бесплатном мини-курсе, который подходит для любого уровня подготовки. Вас ждут 4 задания для отработки знаний на практике, полезные материалы, подарки и живое общение со экспертом. Зарегистрируйтесь прямо сейчас и получите гайд «Как пользоваться ChatGPT и Midjourney из России и Беларуси»: https://epic.st/iIRG3 В программе знакомство с профессиями в Data Science и практика: — ML Engineer — пишем нейросеть для подбора новостных статей. — Data Engineer — изучаем основные конструкции SQL на примере базы данных заказов. — Data Analyst — визуализируем данные индекса счастья c помощью Python. — Изучаем основы Python и SQL. После просмотра видеоматериалов будет онлайн-встреча с Анастасией Борневой — руководителем направления по исследованию данных в Сбере. Разберём пройденный материал и обсудим актуальные вопросы профессии. 🎁 Вас ждут подарки: — год изучения английского бесплатно; — персональная карьерная консультация; — 5 полезных чек-листов для старта карьеры; — сертификат на скидку 10 000 рублей на любой курс Skillbox. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🚀 Бесплатный курс. Специализация Data Science Fundamentals with Python and SQL Создайте основу для своей карьеры в области Data Science. Получите практический опыт работы с Jupyter, Python, SQL. Выполнять статистический анализ на реальных массивах данных. • Курс @sqlhub

🖥 SQL-запросы, которые вы рано или поздно погуглите Отвечу на вопросы, которые возникают у новичков в SQL, в частности в PostgreSQL и BigQuery. Мы не будем обсуждать совсем базовые SELECT, CREATE или DROP. Для удобства восприятия будем использовать тестовые данные. Первая таблица players содержит данные о пользователях и дате установки мобильной игры: |playerId|name |installationDate|game |os | |--------|----------------|----------------|----------|----------| |9e8a0174|Трофимова Алёна |2023-07-30 |basketball|iOS 16 | |3e2e04ad|Семенова Алиса |2022-07-21 |consumer |iOS 13 | |642eafb2|Абрамова Диана |2022-06-06 |curtain |iOS 15 | |8c231f49|Ефимова Ульяна |2022-06-21 |conductor |Android 12| |a085caf1|Захаров Михаил |2023-04-11 |appear |Android 11| |c4deb869|Николаева Марта |2022-03-31 |possible |iOS 11 | вторая, levels, — даты прохождения игроком с определенным ID того или иного уровня: |playerId|level|completionDate| |--------|-----|--------------| |7b50274d|6 |2023-05-17 | |b0c9a9da|20 |2022-02-19 | |09b3d5b5|15 |2022-07-22 | |52b3bfa9|11 |2022-02-18 | |3e2e04ad|17 |2022-08-17 | |642eafb2|17 |2022-04-14 | |8c231f49|20 |2022-05-30 | |a085caf1|20 |2023-02-24 | |36545ec1|16 |2022-08-10 | |44e9653f|3 |2023-06-02 | Я буду верстать в BigQuery на таком же датасете, так что использую соответствующий диалект. INNER JOIN Это тип объединения по умолчанию, и он оставит наименьшее число строк. Слово INNER можно опустить: SELECT p.playerId, installationDate, game, level, completionDate FROM `project.tutorials.players` AS p JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId; Посмотрим, что здесь происходит: • В строках 1-6 мы выбираем только необходимые столбцы; • 7-8: командой AS задаем псевдонимы таблицам; • 8: определяем логику объединения по совпадающим playerId. Это означает также, что мы сохраним данные только об первом попавшемся уровне. Получим всего четыре строки: |playerId|name |installationDate|game |level|completionDate| |--------|--------------|----------------|---------|-----|--------------| |3e2e04ad|Семенова Алиса|2022-07-21 |consumer |17 |2022-08-17 | |642eafb2|Абрамова Диана|2022-06-06 |curtain |17 |2022-04-14 | |8c231f49|Ефимова Ульяна|2022-06-21 |conductor|20 |2022-05-30 | |a085caf1|Захаров Михаил|2023-04-11 |appear |20 |2023-02-24 | OUTER JOIN Этот тип объединения, напротив, куда «добрее» и в случае FULL-объединения сохранит записи обо всех игроках и всех пройденных уровнях: SELECT p.playerId, installationDate, game, level, completionDate FROM `project.tutorials.players` AS p FULL OUTER JOIN `project.tutorials.levels` AS l ON p.playerId = l.playerId; У нас появятся записи, где playerId пуст, поскольку попросили мы идентификаторы только из первой таблицы: 🔍 Читать

Python+SQL. Операции с записями ▪Видео ▪Часть2 ▪Часть 1 @sqlhub

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Проектирование БД и почему важен SQL для системного аналитика: гайд по улучшению качества требований — Тестирование производительности на Python: Пошаговое руководство с Flask — Искусство ETL. Пишем собственный движок SQL на Spark [часть 3 из 5] — Вы вообще нормальн… нормализованный?? — SQL HowTo: ближайший общий предок в дереве (LCA) — 7 аргументов почему UUID лучше, чем автоинкрементные идентификаторы — MSSQL: Rebuild vs Reorganize в высоконагруженных системах — Как я писал сервер на NodeJS для базы Firebird 3.0 — Harness the Power of SQL CASE - Your Ultimate SQL CASE Statement Guide — Transaction Internals: Fast Path vs Multi-Shard — The cost of additional secondary indexes in PostgreSQL & YugabyteDB — Dominando a função WITH: Criando Consultas Temporárias no SQL — Database Review: Top Five Missing Features from Database APIs — SQL Roadmap for Data Analysts[Step-by-Step] — Offline auth with Electron + SQLite + React — SQL concept for Beginners — Implementing hassle-free audits in the SQL database — Simple and Efficient Full Text Search using Django and Postgres Посмотреть: 🌐 Невероятная нейросеть переводит любое видео на другие языки с сохранением оригинального голоса. (⏱ 00:55) 🌐 Python анализ данных с Pandas. PandaSQL (⏱ 12:13) 🌐 Управление жестами всегда было в ваших часах, просто его нужно было активировать. (⏱ 00:11) 🌐 Python анализ данных с Pandas. Join, merge, concat в Pandas (⏱ 19:25) 🌐 Python+SQL часть2 создание таблиц. (⏱ 05:15) 🌐 Уроки Golang с нуля /#28 - Встраивание типов (⏱ 06:16) 🌐 Python анализ данных с Pandas. (⏱ 17:04) 🌐 Уроки Golang с нуля /#27 - Bufio. Чтение и запись (⏱ 10:35) Хорошего дня! @sqlhub

Бизнес-аналитика вызывает интерес? Поучаствуйте в бесплатном интенсиве Skillbox «3 дня в роли бизнес-аналитика: основы профессии и первый кейс» с 18 по 20 сентября в 19:00 по московскому времени! Регистрируйтесь 👉: https://epic.st/-PkE0 📋 Сразу после регистрации получите два чек-листа: «Бизнес-аналитик: начинаем карьеру с нуля» и «Ключевые качества и навыки». На интенсиве вы: ✔️ Узнаете, чем занимаются бизнес-аналитики ✔️ Поймёте, почему они особенно востребованы в нестабильное время ✔️ Изучите инструменты бизнес-анализа ✔️ Попрактикуетесь на реальных задачах — соберёте данные о деятельности структурного подразделения и проанализируете бизнес-процесс Интенсив ведёт генеральный директор компании Business Set, аналитик с опытом более 20 лет — Антон Антипин. Он ответит на вопросы и даст обратную связь по домашним заданиям. 🎁 Никто не уйдёт без подарков: электронная книга Скотта Беркуна «Сделано» издательства МИФ и сертификат на скидку 10 000 рублей на любой курс Skillbox — каждому, кто будет онлайн! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🐘🤘 Hydra Hydra - это Postgres с открытым исходным кодом, ориентированный на работу с колонками. Вы можете мгновенно запрашивать миллиарды строк без изменения кода. Генерации аналитики за минуты, а не за недели. Можно запустить Hydra локально. git clone https://github.com/hydradatabase/hydra && cd hydra cp .env.example .env docker compose up psql postgres://postgres:hydra@127.0.0.1:5432 • Github • Проект @sqlhub