Data Science. SQL hub

12 июля в 11:00 мск Visiology првоводит вебинар на тему "BI + AI = ? Супер-оружие аналитиков или угроза профессии?". Записаться на вебинар Что будет на вебинаре 1. Начнем с обзора новых возможностей на основе ИИ в BI платформах лидерах мирового рынка - Power BI, Qlik, Tableau. Почему про ИИ в BI говорили и раньше, но только сейчас это перестало быть маркетинговой фишкой и стало реально помогать в ежедневной работе аналитика? 2. Продемонстрируем на реальных кейсах, как аналитику может помочь новый виртуальный помощник Visiology ViTalk GPT. Посмотрим, как он пишет DAX запросы и интеграции с источниками данных на Python. Обсудим ограничения технологии и разберемся, как эту технологию использовать эффективно. Зарегистрироваться

🖥 5 факторов, которые влияют на выбор базы данных При выборе баз данных для текущего проекта (или при замене тех, которые не отвечают вашим текущим потребностям) количество возможных вариантов очень велико. Это и хорошо, и плохо, ведь нужны какие-то критерии фильтрации. Сегодня есть гораздо больше баз данных, чем когда-либо. В декабре 2012 года, когда DB-Engines.com впервые начал ранжировать базы данных, у него получился список из 73 систем (существенный рост по сравнению с самым первым списком из 18 систем). Спустя десять лет, на декабрь 2022 года в списке было уже почти четыреста систем. За последнее десятилетие произошёл настоящий кембрийский взрыв технологий баз данных. Нужно ориентироваться в обширном пространстве вариантов: SQL, NoSQL, множество «многомодельных» баз данных, которые могут быть сочетанием SQL и NoSQL, или множественные модели данных NoSQL (сочетающие две или более опций: документы, ключи-значения, широкие столбцы, графы и так далее). Кроме того, пользователи не должны путать популярность с применимостью для них. Хотя сетевой эффект имеет свои преимущества («Все пользуются X, поэтому не ошибусь, если выберу её»), он также может привести к групповому мышлению, торможению инноваций и конкуренции. ▪ Читать статью @sqlhub

🖥 Магия оптимизации SQL запросов Думаю, каждый хоть раз использовал команду explain или хотя бы слышал про нее. Эта команда демонстрирует план выполнения запроса, но как именно СУБД приходит к нему остается загадкой. Да и как вообще СУБД понимает, что выбранный запрос оптимален? Неужели она проверяет все возможные варианты? В этой статье я постараюсь дать небольшое представление о том, как работают оптимизаторы запросов с теоретической точки зрения. Начнем с того, что можно выделить два основных подхода к поиску наиболее эффективного варианта выполнения: эвристический и стоимостной. 📌 Читать @sqlhub

Курс «Английский для разработчиков» Яндекс Практикума Для тех, кто хочет изменить свою профессиональную жизнь и работать в международной команде. Обучение построено не вокруг абстрактной теории, а вокруг рабочих ситуаций и полезных для карьеры навыков: ✋Стендапы. Подготовитесь обсуждать задачи, задавать вопросы и просить о помощи. 👨‍💻 Работа с заказчиками. Научитесь презентовать решения, говорить про баги и фичи. 📣 Митапы. Сможете понимать на слух доклады и выступать сами. 😎 Собеседования. Научитесь рассказывать про свой опыт, понимать вопросы и тактично переспрашивать. 👯 Неформальное общение с коллегами. Сможете рассказать о своих интересах, опыте, планах на будущее. 💻 Код-ревью. Сможете описать сделанное, дать обратную связь, тактично отстоять своё мнение. Запишитесь на бесплатную консультацию. Кураторы определят ваш уровень языка и расскажут подробнее про обучение.

Курс «Английский для разработчиков» Яндекс Практикума Для тех, кто хочет изменить свою профессиональную жизнь и работать в международной команде. Обучение построено не вокруг абстрактной теории, а вокруг рабочих ситуаций и полезных для карьеры навыков: ✋Стендапы. Подготовитесь обсуждать задачи, задавать вопросы и просить о помощи. 👨‍💻 Работа с заказчиками. Научитесь презентовать решения, говорить про баги и фичи. 📣 Митапы. Сможете понимать на слух доклады и выступать сами. 😎 Собеседования. Научитесь рассказывать про свой опыт, понимать вопросы и тактично переспрашивать. 👯 Неформальное общение с коллегами. Сможете рассказать о своих интересах, опыте, планах на будущее. 💻 Код-ревью. Сможете описать сделанное, дать обратную связь, тактично отстоять своё мнение. Запишитесь на бесплатную консультацию. Кураторы определят ваш уровень языка и расскажут подробнее про обучение.

🔍 MySQL vs MongoDB MySQL Классическая реляционная база, известная практически каждому. Рассмотрим ее основные плюсы: 1. Проверенное временем решение. Действительно сложно с этим спорить. К тому же, современная MySQL — очень развитая и надежная СУБД, имеющая большое сообщество и множество примеров реализации. 2. Высокая совместимость. MySQL доступна на основных платформах: Linux, Mac, Windows, BSD, Solaris. Еще существуют библиотеки для Node.js, C++, Ruby, C#, Java, PHP, Perl, Python. 3. Окупаемость. Не секрет, что СУБД имеет открытый исходный код, который находится в свободном доступе. 4. Реплицируемость. Вы можете распределять БД между несколькими узлами, понижая нагрузку и повышая масштабируемость и доступность. 5. Шардинг. Если шардинг на многих SQL-базах и невозможен, то к MySQL это не относится. MongoDB Яркий представитель нереляционных БД, имеющий свои плюсы: 1. Динамическая схема. Позволяет более гибко работать со схемами данных без надобности в изменении самих данных. 2. Масштабируемость. MongoDB масштабируется горизонтально, поэтому вы сможете легко снизить нагрузку на серверы при наличии больших объемов данных. 3. Удобное управление. Отдельный администратор не нужен, а повышенное удобство применения позволяет использовать эту БД как разработчикам, так и системным администраторам. 4. Скорость. База отличается повышенной производительностью при выполнении простых запросов. 5. Гибкость. Вы можете добавлять поля либо колонки без какого-либо вреда для уже существующих данных и производительности СУБД. Что же выбрать? На эту тему можно написать отдельную статью, но мы ограничимся несколькими предложениями: — MySQL — отличный выбор для любого проекта, если у нас предопределена структура и заданы схемы; — MongoDB — прекрасный вариант для быстрорастущих проектов, не имеющих определенной схемы данных. И особенно она подходит, если вы никак не можете определить схему своей БД либо вам не годится ни одна из существующих схем из других СУБД. @sqlhub

Жестовый язык, квази-эксперименты и коды на PySpark Pipeline: Х5 Tech проведет Data Science Meetup #2 На онлайн-митапе 5 июля выступят спикеры из X5 Tech, Яндекс Маркет и SberDevices, чтобы поделиться своим опытом и обсудить несколько тем: ➖ Как с помощью PySpark Pipeline писать читаемый, легко тестируемый и поддерживаемый код? ➖ Как оценить эффект без стандартных A/B-тестов с помощью квази-экспериментов методом Propensity Score? ➖ Какие есть проблемы и решения в распознавании жестового языка? 🔔5 июля в 18:00 Участие бесплатно, нужна регистрация

🔍Где и как учить SQL бесплатно? SQLZoo - это бесплатный онлайн ресурс, который предлагает интерактивные уроки и задания для изучения SQL. Уроки начинаются с простых запросов и постепенно усложняются по мере продвижения в обучении. W3Schools SQL - известный онлайн-ресурс, предлагающий уроки и примеры для изучения SQL и других языков программирования. Здесь пользователи могут найти множество материалов, которые помогут им углубить свои знания и применить их на практике. Codecademy SQL - интерактивный курс для изучения SQL с возможностью практического применения на практике. SQLBolt - это ресурс, который помогает начинающим и опытным пользователям SQL с помощью бесплатных уроков и задач. Udacity SQL - курс известного онлайн-образовательного ресурса, позволит вам освоить основы языка SQL и показать, как применять его для анализа данных Khan Academy SQL - бесплатный курс SQL, предоставляющий уроки и задачи для изучения языка. LearnSQL - платный ресурс для изучения SQL. Содержит большое количество уроков и практических заданий. SQLCourse - представляет собой бесплатную платформу, где можно овладеть навыками SQL. Здесь предоставлены обучающие уроки, практические задания и тесты, позволяющие проверить свои знания. SQL Tutorial - это русскоязычный бесплатный ресурс, предоставляющий возможность изучения SQL. Здесь можно найти уроки и задания, которые помогут вам применять полученные знания на практике. SQL Zoo - бесплатный ресурс для изучения SQL, содержащий уроки и задания на основе базы данных AdventureWorks. Mode Analytics SQL Tutorial - бесплатный курс, который предлагает обучение базовым и продвинутым навыкам работы с языком SQL. SQL Exercises - это бесплатный онлайн-ресурс, который предлагает задачи и упражнения для изучения и практики SQL. Ресурс содержит множество заданий, которые помогут вам развить практические навыки работы с SQL. SQL Fiddle – это интернет-сервис, который предоставляет возможность создавать, тестировать и отлаживать SQL-запросы совершенно бесплатно. Learn SQL the Hard Way - книга для изучения SQL, содержащая уроки и задания для практической работы. DataCamp SQL- курс SQL от DataCamp, который научит Вас основам языка SQL и его применению в анализе данных. Содержит уроки и практические задания на практике. @sqlhub

💉 SQL Injection Master - самый полный курс по SQL инъекциям Старт: 10 июля Продолжительность: 3 месяца На курсе подробно разберём эксплуатацию SQL-инъекций, одного из наиболее распространенных и опасных видов атак на веб-приложения. Вы узнаете не только о том, как обнаруживать и эксплуатировать уязвимости SQL-инъекции, но и как защитить свои системы от подобных атак. Курс будет полезен как новичкам в сфере информационной безопасности, так и продвинутым специалистам. 🎓 В ходе обучения вы научитесь: - Базовым навыки работы с SQL - Поиску уязвимостей в базах данных - Внедрение произвольного SQL-кода в уязвимые приложения Наш курс разработан при поддержке четырехкратных победителей Standoff. А еще у нашего курса нет аналогов в СНГ и англоязычном пространстве. 🏆 Выдаём сертификат при успешной сдаче экзамена 📌 Узнать подробнее о курсе

🖥 Как выполнить запрос MySQL из командной строки Вы можете легко выполнить запрос MySQL из командной строки, используя команду MySQL вместе с опцией -e. mysql -h [хост] -u [имя пользователя] -p [пароль] [база данных] -e [SQL_запрос] В приведенной выше команде необходимо указать имя пользователя, пароль, имя базы данных для соединения с базой данных MySQL. После опции -e необходимо указать SQL-запрос, который будет выполняться. Вот простой пример выполнения SQL-запроса при подключении к локальной базе данных. mysql -utest_user -ptest_password -hlocalhost db -e "SELECT * FROM table;". Вы также можете опустить аргумент имени базы данных 'db', если вы ссылаетесь на нее в SQL-запросе. mysql -utest_user -ptest_password -hlocalhost -e "SELECT * FROM db.table;" Добавление точки с запятой в конце SQL-запроса необязательно. Но если вы хотите выполнить несколько SQL-запросов, вам необходимо разделить их с помощью точки с запятой, как показано в следующем примере. mysql -utest_user -ptest_password -hlocalhost -e "SELECT * FROM db.table; SELECT * from db.table2;" Вы также можете выполнять отдельные команды MySQL с опцией -e, если хотите. mysql -utest_user -ptest_password -hlocalhost -e "SELECT * FROM db.table;" mysql -utest_user -ptest_password -hlocalhost -e "SELECT * FROM db.table2;" Вы также можете хранить свои SQL-запросы в файле и указать MySQL прочитать этот файл. Допустим, у вас есть файл queries.txt nano queries.txt со следующими запросами. SELECT * FROM db.table; SELECT * FROM db.table2; Теперь, если вы хотите выполнить запросы в файле queries.txt, вы можете сделать это с помощью следующей команды. В этом случае MySQL будет читать входные данные из файла queries.txt. mysql -utest_user -ptest_password -hlocalhost < queries.txt Ключевым моментом, на который следует обратить внимание, является то, что вы должны указать ваш SQL-запрос в двойных кавычках. Если приведенный выше синтаксис команды вам не подходит, попробуйте заключить SQL-запрос в одинарные кавычки. Также, если ваш SQL-запрос сам содержит двойные кавычки, то их нужно убрать, добавив перед ними обратную косую черту. Результат вышеприведенного запроса будет выведен на консоль. Если вы хотите сохранить этот результат в другом файле, вам нужно будет использовать операторы перенаправления. Вот пример сохранения результата запроса MySQL в файл test.txt. mysql -utest_user -ptest_password -hlocalhost -e "SELECT * FROM db.table;" > /home/user/test.txt Одним из преимуществ выполнения запросов MySQL в командной строке является то, что вы можете передавать вывод другим командам Linux в соответствии с вашими требованиями. Вот простой пример, в котором мы передаем вывод запроса MySQL команде grep. $ mysql -utest_user -ptest_password -hlocalhost -e "SELECT * FROM db.table;" | grep 'abc' Заключение В этом посте мы рассмотрели, как выполнять запросы MySQL из командной строки, сохранять их вывод в файлы и даже передавать их другим командам Linux для дальнейшей обработки. Вы можете эффективно использовать их в сценарии оболочки для автоматического получения данных, их обработки и принятия мер в зависимости от полученной информации. @sqlhub

Автоматизированный перенос DWH Microsoft на платформу Yandex Cloud с помощью BI.Qube 📆 06.07.2023 в 10:00-12:00 (МСК) на вебинаре команды BI.Qube, Yandex Cloud и Банка Финсервис расскажут о практическом опыте автоматизированной миграции DWH Microsoft на платформу Yandex Cloud. За 2 часа вы: 👉 узнаете об актуальных кейсах, включая историю миграции DWH банка Финсервис 👉 увидите весь путь от извлечения данных из учётных систем до построения аналитики 👉 применение low-code/no-code инструментов из Реестра российского ПО Пример анализа программы лояльности будет интересен как специалистам банковской сферы, так и крупному ритейлу, где необходимо анализировать эффективность на основе данных из разрозненных систем. Вебинар рассчитан на экспертов по аналитике и работе с данными, архитекторов и инженеров данных, CIO, CDO. Программа вебинара Регистрация: @itprocompbot

Когда в интернете так много курсов, как выбрать тот, который поможет сделать буст в карьере или начать свой путь в Data Science? Приходите на день открытых дверей, чтобы познакомиться со школой Data Science и разработки karpovꓸcourses, узнать как наши курсы выглядят изнутри, и почему стоит учиться у нас. День открытых дверей проведет Анатолий Карпов — основатель karpovꓸcourses, ведущий аналитик с опытом работы в Mail.Ru, VK и JetBrains, а также автор тех самых курсов на Stepik. Анатолий ответит на вопросы о старте карьеры, расскажет, как продолжать развиваться в Data Science и как школа karpovꓸcourses может помочь в этом. Обязательно регистрируйтесь, ведь в прямом эфире мы разыграем сертификат на 20 тысяч рублей на обучение на любой из программ и карьерные консультации. Встречаемся 5 июля в 19.00 по мск [Зарегистрироваться и принять участие в конкурсе]

🖥 Неожиданная находка, которая освобождает 20 GB неиспользованного индексного пространства. Как освободить место без удаления индексов или данных Раз в несколько месяцев мы получаем предупреждения от системы мониторинга базы данных о том, что свободное место скоро закончится. Обычно мы просто выделяем больше места и забываем об этом, однако в этот раз мы были на карантине и система была нагружена меньше, чем обычно. И тут мы подумали, что это хорошая возможность провести чистку. Начнем с конца: в итоге нам удалось освободить более чем 70 GB не оптимизированного и неиспользуемого пространства без удаления индексов и данных. Используя обычные приемы, такие как перестроение индексов и таблиц, мы очистили много пространства, но затем одна удивительная находка помогла нам освободить дополнительно примерно 20 GB неиспользуемых индексированных значений. ▪ Читать #postgresql @sqlhub

🦖 Вебинар YTsaurus. DWH Яндекс Go: как мы готовим наши петабайты Новый вебинар YTsaurus — об использовании платформы в реальных сервисах. В гостях — Яндекс Go, суперапп с разными сервисами внутри, который основан на data driven подходе. Владимир Верстов и Николай Гребенщиков из команды разработки Data Management Platform Яндекс Go расскажут, какие требования команда предъявляет к системам хранения и расскажет, как с этими требованиями справляется YTsaurus. Ждём 28 июня в 18:30 Мск. Участие бесплатное, зарегистрироваться можно по ссылке. Также запись вебинара будет доступна на YouTube.

📌 SQL: Медианные суммы заказов Необходимо рассчитать медианное значение суммы заказов в разрезе года и месяца. Медиана должна быть рассчитана в 2 вариантах: ▪интерполированная медиана: в качестве медианы берется сумма, которая делит все заказы ровно в 50% пропорции, даже если фактически такого заказа на было. ▪действительная медиана: в качестве медианы берется реальная сумма заказа. Если заказов четное число, то берется ближайшая сумма заказа, меньшая интерполированной медианы. Пример: Дано: 1; 2 Интерполированная медиана: 1.5 Действительная медиана: 1 Важно: Одним заказом считаем строки из таблицы Orders в которых полностью совпадает поле ord_datetime. Сортировка Результат отсортируйте по возрастанию года-месяца. Столбцы в результате ▪dt - год и месяц ▪interpolated_median - интерполированная медиана ▪real_median - действительная медиана Важно: Обратите внимание, что название столбцов в вашем ответе должно в точности совпадать с условием. Дополнительные условия ▪Столбец dt должен быть представлен в виде строки в формате YYYY-MM ▪Столбцы с медианами должны иметь тип numeric Пишите свое решение в комментариях👇 @sqlhub

30 SQL-запросов, объяснённых через их эквиваленты Pandas В мире, где с 1974 года доминирует SQL, в 2008 году появился Pandas, предлагающий привлекательные функции, такие как встроенная визуализация и гибкая обработка данных. Он быстро стал популярным инструментом для исследования данных, затмив собой SQL. Но не обманывайте себя, SQL по-прежнему держит свои позиции. Это второй по востребованности и третий по скорости роста язык для Data science (см. здесь ). Таким образом, в то время как Pandas привлекает всеобщее внимание, SQL остаётся жизненно важным навыком для любого специалиста по данным. Давайте узнаем, как легко выучить SQL, если вы уже знаете Pandas. Читать @sqlhub

🖥 Pandas AI — это библиотека Python, которая использует генеративные модели ИИ для расширения возможностей панд. Он был создан в дополнение к библиотеке pandas, широко используемому инструменту для анализа и обработки данных. В редакторе кода задаете любой запрос про данные на естественном языке и без написания кода получаете готовый ответ по вашим данным. Установка: pip install pandasai Например, вы можете попросить PandasAI найти все строки в DataFrame, где значение столбца больше 5, и он вернет DataFrame, содержащий только эти строки: import pandas as pd from pandasai import PandasAI df = pd.DataFrame({ "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"], "gdp": [19294482071552, 2891615567872, 2411255037952, 3435817336832, 1745433788416, 1181205135360, 1607402389504, 1490967855104, 4380756541440, 14631844184064], "happiness_index": [6.94, 7.16, 6.66, 7.07, 6.38, 6.4, 7.23, 7.22, 5.87, 5.12] }) # Instantiate a LLM from pandasai.llm.openai import OpenAI llm = OpenAI(api_token="YOUR_API_TOKEN") pandas_ai = PandasAI(llm) pandas_ai(df, prompt='Which are the 5 happiest countries?') Вывод: 6 Canada 7 Australia 1 United Kingdom 3 Germany 0 United States Name: country, dtype: object Конечно, вы также можете попросить PandasAI выполнить более сложные запросы. Например, вы можете попросить PandasAI найти сумму ВВП двух самых несчастливых стран: pandas_ai(df, prompt='What is the sum of the GDPs of the 2 unhappiest countries?') Вывод: 19012600725504 Вы также можете попросить PandasAI нарисовать график: pandas_ai( df, "Plot the histogram of countries showing for each the gdp, using different colors for each bar", ) Вот еще один пример использования библиотеки Pandas AI в Google Colab. ▪ Github @sqlhub

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие. Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции. ✔️ Подключайтесь к нам уже сегодня и начинайте развивать свои навыки в области анализа данных совершенно бесплатно!