Data Science. SQL hub

12 октября в 11:00 приглашаем вас на Deep cloud dive — первую дискуссионную конференцию beeline cloud о будущем российских облаков. Погрузитесь в атмосферу происходящего, задайте вопрос любому спикеру в онлайн и не пропустите возможность выиграть брендовый мерч. Что вас ждет На одной площадке встретятся эксперты ведущих компаний рынка, чтобы обсудить тренды, затронуть наболевшие проблемы и наметить пути их решения: Три дискуссионных блока 11:10 — 12:00 Cloud: Локализация рынка облаков и вызовы перед отечественными продуктами. 12:00 — 12:50 Data: Демократизация ИИ и больших данных. Примеры внедрений и перспективы. 13:20 — 14:10 Security: Актуальные угрозы и прогнозы на 2024 год. Регистрируйтесь на конференцию здесь — и до встречи на Deep cloud dive! Реклама. ООО "ДАТАФОРТ". ИНН 7713606615. erid: LjN8KChv2

🐍Как Snowflake повышает эффективность dbt-моделей на Python dbt — это инструмент, помогающий управлять всеми трансформациями данных, которые выполняются в базах данных с использованием SQL. Допустим, у вас есть таблица с общим числом клиентских заказов, и нужно подсчитать, сколько из них пришлось на праздничные дни. Выполнить эту задачу можно с помощью двух SQL-запросов. 1. Добавить столбец is_holiday в таблицу sf100_orders, объединив ее с all_holidays. Назвать полученную таблицу sf100_orders_annotated. 2. Подсчитать строки, для которых is_holiday=true в таблице sf100_orders_annotated. Эти два шага объединяют исходные данные, визуализированные с помощью dbt: в изображении. Производный граф: из двух исходных таблиц составляется таблица count_holidays Используя dbt, можно записать эти две трансформации в виде “dbt-моделей”, которые представляют собой файлы, содержащие SQL и некоторую конфигурацию dbt (при необходимости): -- sf100_orders_annotated.sql {{ config(materialized='table') }} select a.*, b.date is not null is_holiday from {{ref('sf100_orders')}} a left join {{ref('all_holidays')}} b on a.o_orderdate = b.date -- count_holidays.sql {{config(materialized='table')}} select count(*) total_days , count_if(is_holiday) holiday_count , holiday_count/total_days ratio from {{ref('sf100_orders_annotated')}} Эти два файла выглядят как типичный SQL, но с некоторым отличием. Вместо ссылок на таблицы dbt позволяет ссылаться на другие “модели” с помощью аннотаций {{ref(‘sf100_orders_annotated’)}}. Таким образом, dbt определяет связь и зависимости между всеми трансформациями, через которые проходят данные. 📌 Продолжение @sqlhub

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней. Ближайшее мероприятие: • 7-8 октября — Fast Track для дата-аналитиков, офер за 2 дня в команду Фудтеха. Зарегистрироваться Реклама. ООО "Яндекс". erid:2VtzqwaYy5b

🖥 Интерактивная SQL шпаргалка @sqlhub

🔥 Дайджест полезных материалов из мира SQL за неделю Почитать: — Небольшой тест нескольких БД при работе с многими таблицами — Визуализация распределений вероятностей в Python. — 15 лучших бесплатных курсов по Linux — Погружаемся в базы данных и SQL: полезные материалы и инструменты от сотрудников Selectel — Optimizing SQL Performance with Execution Plans — Data Analysis with SQL — Dominando la Preparación de Datos para Análisis: Funciones y Técnicas Esenciales — Autoscout24 SQL Analysis — SQL Pro tips : Oracle SQL CROSS JOIN with UNPIVOT — SQL Pro tips : Oracle XE Quick Start — Leveraging Apache Age for Advanced Data Analytics — Choosing an OLAP Engine for Financial Risk Management: What to Consider? — SQL Window Functions — Parallels and MSSQL Server Посмотреть: 🌐 Django начало работы. (⏱ 08:18) 🌐 Go - SQL Databases in Golang with the database/sql package 🌐 Популярная задача с собеседования в Яндекс #python #задача #программирование #собеседование (⏱ 01:00) 🌐 Новые функции в IOS 17 (⏱ 00:29) 🌐 TokenFlow редактирование видео с помощью текстового описания (⏱ 00:22) 🌐 Парсер телеграм каналов на Python. Гайд по написанию мощного бота. (⏱ 11:58) 🌐 Задача из Собеседования в Яндекс с зарплатой 85000 рублей #python #собеседование #задача #yandex (⏱ 00:59) 🌐 Асинхронный парсинг сайтов на Python (⏱ 22:06) Хорошего дня! @sqlhub

🖥 Pipelined Relational Query Language (PRQL) PRQL - это современный язык для преобразования данных, который меняет обращение к базе данных на логически выстроенный пайплайн (конвейер). Как и SQL, он легко читается, является явным и декларативным. Но в отличие от SQL, он формирует логический пайплайн преобразований и поддерживает такие абстракции, как переменные и функции. Он может использоваться с любой базой данных, использующей SQL. from tracks filter artist == "Bob Marley" # Each line transforms the previous result aggregate { # `aggregate` reduces each column to a value plays = sum plays, longest = max length, shortest = min length, # Trailing commas are allowed } • Github @sqlhub

Сбер расширяет географию своих ивентов: 10 октября в Стамбуле состоится первый технологический митап, посвящённый разработке рекомендательных систем 👨‍💻 На RecSys MeetUp вы познакомитесь с экспертами Сбера, станете частью одного из крупнейших IT-комьюнити и узнаете о: ✔️ Технологических трендах в области искусственного интеллекта и машинного обучения. ✔️ Устройстве современных стримингов компаний-партнёров Сбера. Гарантируем: будет интересно и безумно полезно каждому DS-специалисту. Регистрируйтесь по ссылке, встречаемся 10 октября в 18:30 по адресу: Стамбул, «Енидоган Махаллеси», Эрджиес Сокак №7 34030 Байрампаша 💚

🖥 🖥SQLiDetector Python-скрипт, позволяющий обнаружить SQL-инъекции путем отправки нескольких запросов и проверки regex-шаблонами для различных баз данных. • Github @sqlhub

VK Data Meetup — митап об инструментах и людях, которые умеют работать с данными ⏰ Когда: 12 октября, 14:00 по Москве 📍 Регистрация VK Data Meetup — это серия событий о практиках работы с данными на разных уровнях. Митап 12 октября посвящен работе с большими данными и ML. Обсудим: • Тренды работы с данными; • Процессы взаимодействия со смежными подразделениями и внутри дата-команд; • Новые инструменты, такие как Spark on Kubernetes и No Code AutoML-платформы; • Кейсы решения практических бизнес-задач от ведущих российских компаний. Митап будет интересен дата- и ML-инженерам, тимлидам и разработчикам платформ данных, архитекторам и специалистам по Data Science. Присоединяйтесь к сообществу VK Data Meetup, чтобы узнать про работающие практики и поделиться своим опытом. Зарегистрироваться

Уроки по T-SQL 1. Быстро и подробно об основах реляционных баз данных 2. Знакомимся с основными понятиями Transact SQL 3. Работа с временными таблицами: CREATE TABLE, DROPE TABLE, ALTER TABLE 4. Быстрый разбор выборки данных в T-SQL 5. Внесение изменений в базу данных T-SQL 6. Оператор Union за 5 мин T-SQL 7. Оператор CASE за 2 мин T-SQL #video #sql https://www.youtube.com/watch?v=S01TeM2HD7E&list=PLlLKga8ROEOFy-s2Nu8a0GdEzSizEfAMT&ab_channel=%D0%93%D0%90%D0%A3%D0%A1

💉 SQL Injection Master - самый полный курс по SQL инъекциям Старт: 9 октября Продолжительность: 3 месяца На курсе подробно разберём эксплуатацию SQL-инъекций, одного из наиболее распространенных и опасных видов атак на веб-приложения. Вы узнаете не только о том, как обнаруживать и эксплуатировать SQL-инъекции, но и как защитить свои веб-приложения от подобных атак. Курс будет полезен как новичкам в сфере информационной безопасности, так и продвинутым специалистам. 🎓 В ходе обучения вы научитесь: - Базовым навыкам работы с SQL - Поиску уязвимостей в базах данных - Внедрению произвольного SQL-кода в уязвимые приложения У данного курса нет аналогов в СНГ и англоязычном пространстве. 🏆 Выдаём УПК/сертификат при успешной сдаче экзамена. Возможна оплата в рассрочку 📌 Узнать подробнее о курсе Реклама. ООО "АКАДЕМИЯ КОДЕБАЙ". ИНН 9706020333. erid: LjN8KbxUp

Сегодня вышла новая версию ElectricSQL. ElectricSQL - это опенсорс платформа для локальной разработки, позволяющая легко создавать высококачественные современные приложения с мгновенной реактивностью, многопользовательской совместной работой в реальном времени и бесконфликтной поддержкой автономной работы. Local-first - это новая парадигма разработки, при которой код приложения напрямую обращается к встроенной локальной базе данных, а данные синхронизируются в фоновом режиме посредством активной репликации базы данных. Поскольку код приложения обращается непосредственно к локальной базе данных, приложения работают мгновенно. Данные синхронизируются в фоновом режиме с помощью активной репликации. • Github • Документация @Sqlhub

Сегодня вышла новая версию ElectricSQL. ElectricSQL - это опенсорс платформа для локальной разработки, позволяющая легко создавать высококачественные современные приложения с мгновенной реактивностью, многопользовательской совместной работой в реальном времени и бесконфликтной поддержкой автономной работы. Local-first - это новая парадигма разработки, при которой код приложения напрямую обращается к встроенной локальной базе данных, а данные синхронизируются в фоновом режиме посредством активной репликации базы данных. Поскольку код приложения обращается непосредственно к локальной базе данных, приложения работают мгновенно. Данные синхронизируются в фоновом режиме с помощью активной репликации. • Github • Документация @Sqlhub

В Авито ищут аналитиков продаж разных уровней в Санкт-Петербурге и Москве. ➡️ Старший аналитик продаж, команда Авито Авто ➡️ Руководитель аналитики департамента продаж Авито Вот что предлагают: • Прозрачная система премий, достойная зп; • Забота о здоровье: с первого дня ДМС со стоматологией, в офисе принимают терапевт и массажист; • Компенсация питания; • Развитие полезных навыков: на курсах для сотрудников можно прокачать искусство переговоров или выучить английский; • Гибридный график работы (гибкое сочетание работы в офисе и удалёнки); • Гибридный график — уютные офисы в Петербурге и Москве и удалённо. Переходите по ссылкам и откликайтесь. Возможно, ищут именно вас!

🖥 Предположим, что нам необходимо получить данные о сотруднике, имеющем вторую по величине зарплату в компании. Мы можем использовать следующий запрос: WITH employee_ranking AS ( SELECT employee_id, last_name, first_name, salary, RANK() OVER (ORDER BY salary DESC) as ranking FROM employee ) SELECT employee_id, last_name, first_name, salary FROM employee_ranking WHERE ranking = 2 Условие WHERE ranking = 2 используется для фильтрации строк второй по величине зарплаты. Обратите внимание, что на позиции 2 может находиться более одного сотрудника, если у них одинаковая зарплата. На данном этапе важно понять поведение функции RANK(), а также других доступных функций, таких как ROW_NUMBER() и DENSE_RANK(). Эта тема подробно рассматривается в статье - "Обзор функций ранжирования в SQL". Я рекомендую прочитать эту статью, если вам придется работать с различными видами ранжирования. @sqlhub

Сбер расширяет географию своих ивентов: 6 октября в Тбилиси состоится первый технологический митап, посвящённый разработке рекомендательных систем 👨‍💻 На RecSys MeetUp вы познакомитесь с экспертами Сбера, станете частью одного из крупнейших IT-комьюнити и узнаете о: ✔️ Технологических трендах в области искусственного интеллекта и машинного обучения. ✔️ Устройстве современных стримингов компаний-партнёров Сбера. Гарантируем: будет интересно и безумно полезно каждому DS-специалисту. Регистрируйтесь по ссылке, встречаемся 6 октября в 18:30 по адресу: Тбилиси, Ресторан на 6 этаже отеля «Golden Palace», переулок Агмашенебели 62 💚

Использование рекурсивных запросов для управления иерархиями данных Некоторые таблицы в SQL могут иметь неявный вид иерархии данных. Например, в нашей таблице сотрудников для каждого сотрудника имеется идентификатор manager_id. У нас есть менеджер, который отвечает за других менеджеров, которые, в свою очередь, отвечают за других сотрудников, и так далее. При такой организации мы можем иметь иерархию различных уровней. В каждой строке столбец manager_id относится к строке, находящейся на непосредственном верхнем уровне иерархии. В таких случаях хорошим запросом является получение списка всех сотрудников, подчиняющихся генеральному директору компании (который в данном случае имеет идентификатор employee_id, равный 110). Для этого используем следующий запрос WITH RECURSIVE subordinate AS ( SELECT employee_id, first_name, last_name, manager_id FROM employee WHERE employee_id = 110 -- id of the top hierarchy employee (CEO) UNION ALL SELECT e.employee_id, e.first_name, e.last_name, e.manager_id FROM employee e JOIN subordinate s ON e.manager_id = s.employee_id ) SELECT employee_id, first_name, last_name, manager_id FROM subordinate ; В этом запросе мы создали рекурсивный CTE под названием subordinate. Он является ключевой частью запроса, поскольку проходит по иерархии данных, переходя от одной строки к строкам иерархии, расположенным непосредственно под ней. Есть два подзапроса, соединенных между собой UNION ALL; первый подзапрос возвращает верхнюю строку иерархии, а второй запрос возвращает следующий уровень, добавляя эти строки к промежуточному результату запроса. Затем снова выполняется второй подзапрос, возвращающий следующий уровень, который снова добавляется к промежуточному результату. Этот процесс повторяется до тех пор, пока в промежуточный результат не будет добавлено ни одной новой строки. Наконец, главный запрос возвращает данные в том виде, в котором мы ожидаем. @sqlhub

Многие хотят стать аналитиками данных, но не у многих получается Мы не понаслышке знаем, как трудно ворваться на рынок труда и хотим поделиться нашими советами на бесплатном вебинаре. Вы узнаете: - Какие навыки нужны для старта карьеры, и что изменилось за последние годы - Как найти первую работу или стажировку? - Обязательно ли профильное высшее образование для работы аналитиком? - Можно ли начать карьеру после 30? Вебинар проведёт Анатолий Карпов — тот самый автор курсов на степике, которые обучили основам анализа данных более 200 тыс. человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses. 🕖Вебинар пройдет 28 сентября в 19:00 Регистрируйтесь по ссылке Реклама. ООО "Карпов Курсы". Erid: LjN8KNZ3W

🖥StereoDB Сверхбыстрая и легкая база данных внутрипроцессной памятм, написанная на языке F#, поддерживающая: транзакции, вторичные индексы, персистентные структуры данных и инструменты управления памятью. StereoDB поддерживает создание Stateful Services (API или ETL Worker), которые хранят все данные в памяти и могут обеспечить миллионы запросов в секунду для RPS с одного узла. • Github @sqlhub