Data Science. SQL hub

PHP, PDO SQL Injection SQL Injection минимум который должен знать каждый разработчик код которого работает в production 00:00 Вступление и оглавление 01:06 Определения (теория) 01:45 Чем опасны SQL Injection 03:34 Практический стенд 06:12 Обхода аутедентификации 09:23 Модификации базы данных 11:47 Защита с помощью placeholder 15:49 Защита там где placeholder не применимы источник @phpshka

Сочетание DuckDB и PyArrow позволяет эффективно обрабатывать на одной машине массивы данных, превышающие объем памяти. В приведенном ниже коде запуск DuckDB на наборе данных #PyArrow примерно в 2906 раз быстрее, чем запуск #DuckDB на #pandas DataFrame. ▪Pyarrow ▪DuckDB #tips @sqlhub

В Авито недавно выложили новые вакансии для аналитиков в разные команды. ➡️ Продуктовый аналитик в команду новостроек ➡️ Аналитик данных в команду новостроек ➡️ Старший аналитик продаж — команда Авито Авто ➡️ Аналитик данных в направление инцидент и проблем менеджмент Как всегда, очень классные условия: • Талантливая команда и возможность реализовать свои идеи в проекте с многомиллионной аудиторией; • Мощное железо, дополнительные мониторы и всё, что нужно для комфортной работы; • Прозрачная система премий; • Личный бюджет на обучение, который можно тратить на книги, курсы и конференции; • ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; • Возможность работать удалённо или сочетать работу из дома и офиса; • Красивый комфортный офис в 2 минутах от метро «Белорусская» с панорамным видом на центр города, местами для уединённой работы, двумя спортивными залами, зонами отдыха и гамаками. Выбирайте понравившееся направление и откликайтесь!

🔥Большая подборка бесплатных SQL курсов. ▪ Интерактивный тренажер по SQL (— практические задания на создание SQL-запросов. Каждый шаг включает минимальные теоретические аспекты по базам данных или языку SQL, примеры похожих запросов и пояснение к реализации ▪ Марафон данных: первое знакомство с SQL и Python — это симулятор профессии дата-аналитика, который познакомит вас с базами данных и методами работы с ними ▪ Знакомство с SQLite (4.6 из 5) — этот небольшой курс покажет, как использовать SQLite в повседневной работе. Вы научитесь загружать, анализировать и выгружать данные, а также познакомитесь с разными типами данных ▪ Введение в базы данных - курс посвящен структурированному хранению данных, основами SQL, принципами использования баз данных в приложениях, обзор нереляционных способов хранения данных ▪ Погружение в СУБД — курс для тех, кто уже имеет некоторый опыт проектирования баз данных и разработки приложений и хочет расширить свои знания 🌐 Youtube ▪ Реляционные базы данных. SQL (39 видео) — курс покрывает полностью все аспекты реляционных баз данных, начиная от определения и создания баз данных, схем, таблиц и полей этих таблиц (DDL), и заканчивая запросами к этим таблицам (DML) ▪ Основы SQL (18 видео) — объясняют базовые концепции языка: операторы, фильтрация, сортировка, группировка, декомпозиция и т. д. ▪ Уроки по SQL для начинающих (25 видео) — эти уроки помогут быстро разобраться с основами 12 Англоязычных курсов Платформы: Stepik, Coursera, Udacity, Udemy и Kaggle. 1. Databases and SQL for Data Science with Python 2. SQL for Data Science 3. Introduction to Databases and SQL Querying 4. Intro to Relational Databases 5. Introduction to Structured Query Language (SQL) 6. Advanced Databases and SQL Querying 7. SQL for Data Analysis 8. Oracle SQL – A Complete Introduction 9. Intro to SQL 10. Advanced SQL 11. Oracle SQL Basics 12. Beginners Guide to SQL @Sqlhub

🖥 Relational Databases Explained Принцип работы реляционных баз данных. В этой статье рассказывается о том, как работают индексы и транзакции внутри реляционных баз данных. Отличная иллюстрированная статья для глубокого понимания реляционных баз данных. ▪Читать @sqlhub

🙅‍♂️ Не повторяйте эти ошибки при переходе в аналитику! О том, как построить карьеру в аналитике и что для этого нужно, узнаете на бесплатном вебинаре «Аналитик данных: с нуля до оффера» от Changellenge >> Education. 🧑🏻‍💼 Приглашенный эксперт — Татьяна Черняк, Data Analyst Team Lead в VK Cloud. 📆 Когда: 16 августа, 19:00 Мск Подключайтесь к трансляции, чтобы узнать: 🔸 каковы перспективы специалистов на рынке труда; 🔸 какие навыки дата-аналитика must-have для старта карьеры; 🔸 где и как освоить hard skills аналитика данных; 🔸 как получить оффер и каких ошибок избегать при поиске работы. Стройте карьеру правильно! 🔗 Регистрируйтесь по ссылке: https://u.to/cVreHw

⏩ Devops Exercises Этот репозиторий содержит лучшие вопросы и упражнения по различным техническим темам, связанным с DevOps и SRE. 🟢Здесь вы найдете информацию о Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization, а также о собеседовании на позицию DevOps. ✔️ Если вы заинтересованы в карьере инженера DevOps, изучение этих концепций будет полезным и поможет вам подготовиться к собеседованию. ▪ Github @sqlhub

⚡️Сишарповец, апнуться — просто! Начните на бесплатном вебинаре онлайн-курса «C# ASP.NET Core разработчик» — «ASP.NET: взаимодействие с источниками данных»: регистрация На бесплатном занятии мы: — познакомимся с видами баз данных; — разберем, как работать с реляционными и нереляционными базами данных напрямую и через ORM. 🔥Экспертизой поделится Дмитрий Гурьянов — опытный Тимлид команды разработки CRM-решений на платформе .NET. — Продолжить обучение после вебинара по спеццене можно на полном курсе, доступном также в рассрочку. Нативная интеграция. Информация о продукте www.otus.ru

Распределенный SQL: Альтернатива шардированию баз данных Шардирование баз данных — это процесс разделения данных на более мелкие части, называемые «шарды». Шардинг обычно используется, когда необходимо масштабировать записи. Распределенный SQL представляет новый способ масштабирования реляционных баз данных с использованием стратегии сегментирования, полностью автоматизированной и прозрачной для приложений. Подробнее ты узнаешь из этой статьи. 🚀 Читать статью @sqlhub

Live-интенсив для начинающих аналитиков по SQL и продуктовым метрикам Завтра в 18:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”. Расчёт продуктовых метрик — первый шаг при принятии решений в любой data-driven компании. 👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса: * Activation rate * MAU * ARPU и ARPPU * другие метрики Ведущий интенсива: ◾️ Алексанян Андрон: - CEO IT Resume & Simulative; - CTO Бюро анализа данных; - 7+ опыта в аналитике. На интенсиве вы узнаете: 📍 Как используют SQL в реальной работе — вы сможете сохранить это в портфолио и показать на собеседовании: работодатель точно оценит 🤘🏻 📍 Профессиональные фишки и лайфхаки SQL: мы копили их годами и хотим рассказать вам 😏 📍 Как писать код на SQL, а также мы расскажем про продуктовые метрики — подробно объясним всё с нуля 😍 Регистрируйтесь по ссылке → https://r.bothelp.io/tg?domain=intensiv_sql_bot&start=c1692000717861-ds&utm_source=telegram&utm_medium=sqlhub

🖥 Postgres, MongoDB и MySQL - три наиболее известные и широко используемые базы данных, причем Postgres является самой популярной. Redis и Planetscale - лучшие варианты при запуске нового проекта. Более подробная информация и интересные статистические данные приведены в полном тексте отчета. 📌Читать @sqlhub

🟡 Дайджест полезных материалов из мира sql за неделю Почитать: — Проблемы студентов курсов при работе с реальными данными — Что такое «хорошо» и что такое «плохо» в NiFi. Часть 3 — pgmig — история разработки инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway — Список популярных утечек с GitHub: Анализ репозиториев компаний — Когда SQL решает, и задачки для прокачки — Генеративный ИИ с базой данных SQL: Персональный чатбот разработчика SQL — What is SQL? — YugabyteDB official Dockerfile — Golang Database Migration With Golang Migrate and Sqlc — Window Functions: A comprehensive guide to mastery. — MySQL CheatSheet — Roadmap to Become a Database Engineer — Securing Your Graph Database: Best Practices for Apache AGE — Counters with YugabyteDB — Stored Procedures: The Secret to Improving Your Database Applications — Master the Technique of 'Update Only When Changes Occur' in SQL! Boost Your Database Efficiency Посмотреть: 🌐 SQL Data Analytics Project (PART 2) | Data Analyst Portfolio Project Хорошего дня! ❤️ Лайк, если полезно @sqlhub

🖥 Как удалить сразу все избыточные индексы в каждой базе данных Избыточные индексы в SQL Server - это явление значительно более общее, чем мне бы хотелось. Я встречал это довольно часто. Это означает, что данное сообщение в блоге все еще будет иметь значительную целевую аудиторию! Статья Brent Ozar дает исчерпывающую информацию об избыточных/дублирующих индексах, что они означают, почему это плохо, и что нужно с этим делать. Несколько лет назад Guy Glantser также опубликовал статью об удалении избыточных индексов. Она весьма полезна для нахождения всех избыточных индексов во всех таблицах в заданной базе данных. Но вот чего не хватает в этих статьях, так это возможности легко генерировать команды Drop/Disable для этих избыточных индексов. Кроме того, что если имеются "похожие" индексы, которые только "частично" избыточны, и, следовательно, недостаточно просто удалить один из них? Иначе это может негативно сказаться на производительности некоторых запросов. Есть ли способ учесть все эти проблемы? Каждый из них? Повсюду? Сразу? В посте я собираюсь показать вам, как обнаружить, получить подробную информацию и иметь возможность удалить КАЖДЫЙ избыточных индекс ЛЮБОЙ формы и размера: ▪Полностью дублируемые индексы ▪Избыточные индексы на основе ключевых столбцов + включенных столбцов ▪Частично избыточные индексы только на основе ключевых столбцов ▪Все таблицы ▪Все таблицы с минимальным числом строк ▪В конкретной базе данных ▪Во всех доступных базах данных 📌 Читать дальше 📌 Скрипт 📌 Индексы: обнаружение неиспользуемых индексов @sqlhub

Действующий дата-инженер или планируете им стать? Хотите повысить квалификацию и перейти на новый карьерный уровень? Тогда выбирайте курс «Дата-инженер» от Слёрма! Он нацелен на практику, разбор реальных случаев и выполнение практических задач! А знаете почему еще мы рекомендуем пройти курс «Дата-инженер» в Слёрме? ✔️ Учим не только сбору данных, но и тому, как правильно интерпретировать их. ✔️ Научитесь строить дата-пайплайны и выстраивать эффективную работу дата-архитектуры ✔️ Будете уверенно разбираться в ландшафте инструментов для управления данными ✔️ Опытные спикеры-практики проведут за руку на через весь курс ✔️ На выходе выполните реальный проект на собственных данных 🤑 Дешевле, чем у других Старт потока 4 сентября! Запишитесь уже сейчас по выгодной цене!

🖥 Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом Однажды Джоэл Спольски в своей знаменитой презентации «You Suck at Excel» сказал, что существуют сотни коммерческих продуктов, вместо которых можно было бы использовать табличку Excel. В этой шутке очень высокая доля правды. Excel благородя интуитивному UI, формулам и VBA дает возможность пользователям самим решать широкий спектр задач, избавляя от необходимости каждый раз обращаться за помощью к разработчикам или внедрять в компании новый продукт. Excel используется везде от мелкой розницы до Fortune 500 и CERN. Пользовательский интерфейс Excel оказался, настолько удачным – ни один из конкурентов так и отошел от привычных таблиц. Для пользователя Excel интерфейс Google Spreadsheet будет привычным и интуитивно понятным. А вот по своим функциональным возможностям Excel до сих пор превосходит большинство конкурентов. Как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet? Давайте рассмотрим это на простом примере. 📌Читать дальше @sqlhub

Каждый работодатель желает знать, чего хотят IT-специалисты. Расскажите о своих карьерных предпочтениях и повлияйте на создание крутых предложений в IT от топовых компаний. Пройдите опрос, если Вы: — проживаете в любом городе России; — работаете в IT. Расскажите, что важно именно Вам, и заберите гарантированные подарки: — промокод на сумму до 2500 рублей на уроки английского в Skyeng; — промокод на 15 000 рублей на самый полный курс по аналитике на рынке «Аналитик PRO» от школы Changellenge >> Education. Участвуйте в опросе и меняйте индустрию вместе с нами: https://clck.ru/35GgNZ

🖥 Продвинутые темы SQL для дата-инженеров Дата-инженер контролирует и анализирует большие наборы данных. SQL — мощный инструмент выполнения запросов и манипулирования данными, и для создания эффективных решений здесь имеется немало продвинутых функциональных средств. Рассмотрим ряд важных для дата-инженеров тем SQL, иллюстрируя их примерами применения набора данных. Пример набора данных Имеется три таблицы: • product_table с данными различных продуктов — название, цена, категория; • category_table с данными о категориях продуктов; • order_table с данными о заказах: заказанный продукт, его количество, дата заказа. Вот схема каждой таблицы: product_table +----+----------------------+-------+-------------+ | id | Название | Цена | category_id | +----+----------------------+-------+-------------+ | 1 | iPhone 13 | 1000 | 2 | | 2 | Galaxy S21 | 800 | 2 | | 3 | Pixel 6 | 700 | 2 | | 4 | MacBook Air | 1000 | 4 | | 5 | Surface Pro 8 | 1200 | 4 | | 6 | iPad Pro | 800 | 3 | | 7 | iPad Mini | 400 | 9 | | 8 | Smart TV | 800 | 1 | | 9 | Home Theater System | 600 | 1 | | 10 | Galaxy S21 Ultra | 1400 | 2 | | 11 | iPhone 13 Pro Max | 1300 | 2 | | 12 | Pixel 6 Pro | 1000 | 2 | +----+----------------------+-------+-------------+ category_table +----+-------------+ | id | Название | +----+-------------+ | 1 | Электроника | | 2 | Телефоны | | 3 | Планшеты | | 4 | Ноутбуки | | 5 | Бытовая техника | | 6 | Одежда | | 7 | Спорттовары | | 8 | Игрушки | | 9 | Аксессуары | +----+-------------+ order_table +----+------------+-------------+------------+ | id | product_id | Количество | Дата | +----+------------+-------------+------------+ | 1 | 1 | 2 | 2022-03-28 | | 2 | 2 | 1 | 2022-03-28 | | 3 | 3 | 3 | 2022-03-29 | | 4 | 4 | 1 | 2022-03-30 | | 5 | 5 | 2 | 2022-03-31 | | 6 | 6 | 3 | 2022-03-31 | | 7 | 7 | 2 | 2022-03-31 | | 8 | 8 | 1 | 2022-03-31 | | 9 | 9 | 1 | 2022-03-31 | +--------------------------------------------+ Фильтрация данных Предложение WHERE — это важный SQL-функционал для фильтрования данных по конкретным условиям. WHERE, которым определяется условие включения данных в результаты, добавляется в конце оператора SELECT. Пример. Чтобы получить все продукты дороже 1000 $, применяем WHERE для их фильтрации по цене, в результаты включаются только продукты дороже 1000 $: SELECT * FROM product_table WHERE price > 1000; Возвращаемый результат: +----+---------------------+-------+-------------+ | id | Название | Цена | category_id | +----+---------------------+-------+-------------+ | 5 | Surface Pro 8 | 1200 | 4 | | 10 | Galaxy S21 Ultra | 1400 | 2 | | 11 | iPhone 13 Pro Max | 1300 | 2 | +----+---------------------+-------+-------------+ Объединения Чтобы иметь полную картину о данных нескольких таблиц, эти таблицы объединяют. Для этого в SQL имеются внутренние, левые, правые и полные внешние объединения. Пример. Чтобы получить список всех заказов и название заказанного продукта, с помощью объединения в SQL объединяем таблицы: в одной данные о заказе, в другой — о продукте: SELECT order_table.*, product_table.name FROM order_table INNER JOIN product_table ON order_table.product_id = product_table.id; 📌 Читать дальше @data_analysis_ml

Хотите дорасти до уверенного Middle Data Engineer, но текущего стека не хватает?  На курсе «Инженер данных» от karpovꓸcourses опытные специалисты из VK, Яндекс Go, Sbermarket и Ozon помогут дополнить ваш арсенал современными инструментами для хранения и обработки больших данных. За 5 месяцев вы научитесь: ● Работать с реляционными и MPP базами данных ● Автоматизировать ETL-пайплайны ● Проектировать традиционные и облачные хранилища ● Применять ML-модели на больших данных ● Строить дашборды для мониторинга DWH платформы Здесь вас ждут интересные проекты и настоящая инфраструктура: Greenplum, Hadoop, Kubernetes, Spark, Hive, Kafka, Airflow, Tableau.  По итогам обучения вы станете крепким Middle специалистом с широким набором прикладных навыков, а наш HR доведёт вас до оффера в хорошую компанию. Стартуем 10 августа. Ждём вас на курсе! [Записаться]

🖥 NoSQL: виды, особенности и применение NoSQL — это семейство нереляционных баз данных. В них разработчики отошли от использования традиционной табличной модели представления информации. • Уже само название заявляет, что управлять данными можно не только с помощью Structured Query Language (SQL), т. е. языка структурированных запросов. • Модель NoSQL появилась в ответ на необходимость оперативно обрабатывать действительно огромные объёмы данных. Поэтому NoSQL по большей части заточена под масштабирование по горизонтали и работу с недостаточно структурированными или постоянно меняющимися данными. Почему появилась модель NoSQL Расцвет реляционных (relation — «связь, взаимосвязь») баз данных пришёлся на 80-е годы, когда в БД в основном хранили текстовые документы и изображения. Однако с развитием технологий и ростом объёма обрабатываемой информации реляционные СУБД перестали справляться со всеми задачами одинаково хорошо. Термин NoSQL впервые прозвучал в 1998 году: его применил итальянский учёный Карло Строцци для описания своей open source СУБД. При разработке он отказался от SQL, а также от основного принципа реляционных СУБД — ACID (atomicity, consistency, isolation, durability). В начале XXI века NoSQL БД стали популярны, в том числе у корпораций. Чтобы решить проблемы параллельных вычислений с очень большим объёмом информации и масштабируемости, Google построила на основе модели распределённых вычислений MapReduce колоночное хранилище. На базе этих технологий выросло целое семейство высокодоступных open source СУБД. Основные причины появления NoSQL: 📌 Читать @sqlhub