Data Science. SQL hub

Считается, что аналитика и Data Science — сложные сферы, требующие особого склада ума. В реальности же основные языки работы с данными — SQL и Python — можно изучить, не имея технического образования или опыта в программировании. Каждый может найти себя в сфере аналитики и Data Science и подобрать себе направление по душе. Главное — задаться целью, быть любопытным и правильно спланировать погружение в новую профессию. В этом поможет бесплатный пошаговый гайд «Как войти в сферу данных и выбрать своё направление». В гайде: - Полное описание ролей и компетенций в сфере работы с данными — так вы поймёте, с чего начать свой путь в профессию - Чек-листы навыков, необходимые начинающему аналитику данных, системному аналитику, дата-сайентисту и другим представителям сферы данных - Ссылки на полезные ресурсы, книги и бесплатные курсы - Советы HR-специалистов о том, как правильно составить резюме и наработать портфолио - Рейтинг зарплат для начинающих позиций в проектах по аналитике и Data Science Скачать план → https://netolo.gy/b3F1 Реклама. ООО «Нетология» LatgBVaDf

🖥Комплексные приложения для работы с данными с SQL и Jupyter Этот замечательный, бесплатный курс дает пошаговое введение в создание приложений для работы с данными с использованием блокнотов Python, SQL и Jupyter. Он даже включает в себя введение в визуализацию с использованием plotly и других. 👉Читать курс @sqlhub

Мечтаете успешно пройти собеседование на аналитика? 🚀 Но одна только мысль о грядущей встрече с работодателем бросает вас в дрожь? Или из-за недостаточной подготовленности вы с треском проваливаете собеседования и ходите, как выжатый лимон 🥴 Знакомое ощущение? Так что же делать? Приходите на наш бесплатный вебинар, где мы вместе в режиме онлайн будем решать реальное тестовое задание на позицию junior-аналитика в МегаФон! 📅 Дата: 29 августа ⏰ Время: 19:00 по Мск Нас ждет несколько заданий на SQL — будем работать с облачной базой данных клиентов МегаФон. Вот примеры задач: * Рассчитать среднюю выручку от активного абонента в сегменте B2B в разрезе филиалов с помесячной динамикой; * Определить самую низко маржинальную категорию среди устройств и др. На вебинаре мы расскажем о частых ошибках новичков и поделимся лайфхаками — как достойно пройти собеседование и составить крутое резюме 🤩 👉🏻 Регистрация на вебинар 👈🏼

✔ Зачем инструмент dbt нужен аналитику данных dbt — open-source проект, который решает проблему организации данных и открывает много возможностей для их трансформации, обработкии моделирования. dbt (Data Build Tool) — инструмент, который позволяет дата-инженерам и аналитикам автоматизировать процессы тестирования, внедрения, документирования в рамках трансформации данных. Проще говоря, dbt — это всё о букве T в акрониме ELT (Extract — Transform — Load). Этот фреймворк не выгружает данные из источников, но предоставляет огромные возможности по работе с теми данными, которые уже загружены в Хранилище (в Internal или External Storage). dbt основан на языках SQL и Jinja, с версии 1.4.* также поддерживает Python. Основное назначение dbt — взять код, скомпилировать его в SQL, выполнить команды в правильной последовательности в хранилище Чем полезен фреймворк ▪Контроль качества. Для бизнеса важно получать качественные данные, а для этого, в свою очередь, нужны инструменты контроля качества. dbt как инструмент позволяет реализовать любые вариации тестирования: на этапе обновления каких-либо данных мы всегда можем собрать быструю статистику по любым метрикам. ▪Хранение данных. Даже из «коробки» этот фреймворк позволяет реализовать на уровне хранилища хранение данных с историей СКД-2 (хранения технической истории, изменение атрибутов). С ним можно выстраивать снэпшоты — детальные слои с историей данных. dbt помогает собрать любую историю данных, чтобы отвечать на вопросы аналитиков и бизнеса. ▪Связывание данных в единую цепочку. Инструмент описывает ациклические зависимости (DAG) и связи, что позволяет легко анализировать цепочку преобразований данных. Когда мы используем и переиспользуем данные, выполнение этих задач связано: если что-то где-то меняется, то сказывается на других сущностях. С помощью dbt мы решаем задачу консистентности данных — устраиваем зависимость выполнения, чтобы одна сущность была рассчитана только после другой, без задержек и потери актуальности данных. Фреймворк помогает собрать в одном месте и связать всю логику — от исходных данных до итоговых результатов и их переиспользования. ▪Перенос в другие среды. Фреймворк позволяет легко переносить и настраивать разные подходы к работе моделей в различных средах: тестовые модели, продуктовый уровень, промышленный слой. ▪Настройка дополнительных возможностей. С dbt можно вписать документацию данных и работать с ними, можно настроить логирование стандартными способами и отслеживать аналитику исполнения запросов. Всё это реализуемо, поскольку у фреймворка на основе SQL и Jinja нет ограничений, кроме возможностей самих хранилищ и уровня знаний исполнителя. Установка Открываем терминал. Запускаем команды: pip install dbt-core #Установка последней версии; pip install dbt-core==1.4.0 #Установка конкретной версии. dbt —version #Проверка установленной версии. ▪Документация ▪Github @sqlhub

Вы ещё успеваете поступить в онлайн-магистратуру МФТИ «Финансовые технологии и аналитика» 👩‍🎓Ближайшие даты экзаменов — 4 и 19 сентября. ➕Диплом очной магистратуры гособразца по направлению 38.03.05 «Бизнес-информатика». ➕Онлайн-обучение из любой точки мира. ➕Углубленная специализация в сфере финтех-разработки или аналитики. ➕Гранты на запуск своего стартапа в области Data Science/AI/ML до 3 млн ₽. ➕Более 5 проектов в портфолио: реальные задачи от Сбера, ВТБ, Ozon Fintech, Альфа-Банка и других финтех-компаний уже с первого семестра. ➕Возможность совмещать с работой и развивать корпоративный проект в качестве дипломного. ➕Рассрочка под 3% от Сбера и Минобразования. Платёж во время учебы — до 900 ₽ в месяц. Бесплатный подготовительный курс и запись прошедших консультаций по экзаменам доступны после регистрации. Оставьте заявку, чтобы зарегистрироваться на день открытых дверей и начать готовиться к поступлению: https://netolo.gy/b3n0 Реклама ООО “Нетология” LatgBddPw

FugueSQL – SQL для Pandas, Spark и Dask DataFrames Что такое FugueSQL? FugueSQL – это библиотека Python, которая позволяет пользователям комбинировать код на языке Python и команды SQL. Это дает пользователям возможность гибко переключаться между Python и SQL в рамках Jupyter Notebook или Python-скрипта. Чтобы установить FugueSQL, введите: pip install fugue[sql] Для запуска на движках выполнения Spark или Dask введите: pip install fugue[sql, spark] pip install fugue[sql, dask] pip install fugue[all] В этой статье мы рассмотрим некоторые утилиты FugueSQL и сравним FugueSQL с другими инструментами, такими как pandasql. В чем разница между FugueSQL и pandasql? Если вы знакомы с pandasql, то у вас может возникнуть вопрос: Зачем использовать FugueSQL, если pandasql уже позволяет выполнять SQL с помощью pandas? pandasql имеет единственный бэкэнд – SQLite. Передача данных между pandas и SQLite сопряжена с большими накладными расходами. С другой стороны, FugueSQL поддерживает несколько локальных бэкендов: pandas, DuckDB и SQLite. from fugue.api import fugue_sql import json query = """ SELECT id, value FROM input_df TRANSFORM USING map_letter_to_food(mapping={{mapping}}) SCHEMA * """ map_dict_str = json.dumps(map_dict) # returns Pandas DataFrame fugue_sql(query,mapping=map_dict_str) # returns Spark DataFrame fugue_sql(query, mapping=map_dict_str, engine="spark") ▪Читать ▪Github @sqlhub

Курс «Английский для аналитиков» Яндекс Практикума Для специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков: 🗣 Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе. 🙌 Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании. 👨‍💻 Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков. 📈 Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли. 📝 Обсуждение решений по проекту. Генерация и аргументация идей, участие в мозговых штурмах. 🚀 Рефлексия и самоанализ. Ретроспектива, ревью, ответы на сложные вопросы. Запишитесь на бесплатную консультацию. Кураторы определят ваш уровень языка и расскажут подробнее про обучение.

🖥 Пакеты драйверов для баз данных на языке Python Ниже приведен список Python-библиотек драйверов для различных баз данных, полезный любому программисту, который интересуется этим языком. ▪redis-py — клиент базы данных Redis на Python redis-py 3.5.x — это последняя версия, которая поддерживала Python 2. Обновления безопасности, совместимые с Python 2, выходили вплоть до 20 августа 2020 года. Для redis-py 4.0, следующей основной версии, уже требуется Python не ниже версии 3.5. ▪PyMySQL — драйвер Pure Python MySQL, совместимый с mysql-python Этот пакет содержит клиентскую библиотеку Python MySQL, основанную на стандарте PEP 249. Большинство открытых API-интерфейсов совместимы с mysqlclient и MySQLdb. ЗАМЕЧАНИЕ: PyMySQL не поддерживает низкоуровневые API-запросы, которые есть в _mysql, а именно data_seek, store_result и use_result. Вы должны использовать высокоуровневые API-запросы, определенные в стандарте PEP 249. Но некоторые API-запросы, такие как autocommit и ping, все же поддерживаются, поскольку PEP 249 никак не регламентирует их применение. ▪asyncpg — быстрая клиентская библиотека Python / asyncio для базы данных PostgreSQL Это библиотека интерфейса базы данных, разработанная специально для PostgreSQL и Python / asyncio. asyncpg — это эффективная и чистая реализация бинарного протокола сервера баз данных PostgreSQL для использования с асинхронным фреймворком Python asyncio. Вы можете узнать больше об asyncpg вот здесь. asyncpg требует Python версии 3.5 или новее и поддерживается для PostgreSQL начиная с версии 9.2 и заканчивая версией 12. ▪psycopg2 — самый популярный адаптер PostgreSQL для Python Psycopg — самый популярный адаптер базы данных PostgreSQL для языка программирования Python. Его основными особенностями являются полная реализация спецификации Python DB API 2.0 и безопасность потоков (несколько потоков могут использовать одно и то же соединение). Он был разработан для многопоточных приложений, которые создают и уничтожают множество связей и выполняют большое количество одновременных операций INSERT или UPDATE. ▪mysqlclient — поддерживающий Python 3 форк библиотеки mysql-python В этом проекте добавлена ​​поддержка Python 3 и исправлен ряд ошибок. Мы надеемся, что этот форк будет снова объединен со своей родительской библиотекой. Это было бы так же логично, как объединение дистрибутива и программы для его установки. ▪cassandra-python-driver — драйвер Python для Cassandra Современная, многофункциональная и гибконастраиваемая клиентская библиотека Python для Apache Cassandra (1.2+) и DataStax Enterprise (3.1+). Она использует исключительно бинарный протокол Cassandra и язык запросов Cassandra Query Language v3. ▪motor — аснхронный драйвер Python для MongoDB Motor — это полнофункциональный драйвер MongoDB для Python Tornado и других асинхронных приложений. ▪pymssql — простой интерфейс для Microsoft SQL Server Простой интерфейс баз данных на языке Python, который строится поверх FreeTDS и предоставляет интерфейс Python DB-API (PEP-249) для Microsoft SQL Server. ▪HappyBase — удобная библиотека для Apache HBase ▪PyMongo — официальный клиент Python для MongoDB ▪SuperSQLite — улучшенная библиотека SQLite Это многофункциональная библиотека Python, предназначенная для использования SQLite в Python компанией Plasticity. Построена она на основе apsw. @sqlhub

Эволюция ритейла через большие данные: Х5 Tech проведет конференцию XData На онлайн-конференции 31 августа выступят спикеры из X5 Tech, чтобы поделиться своим опытом в data science. В программе несколько тем: ➖ Построение аналитики в сервисе онлайн-доставки ➖ Как работает Data-спецназ — команда, которая решает нестандартные бизнес-запросы ➖ Автоматизация А/Б тестирования в оффлайне ➖ Инструменты мониторинга и управления при сотнях IT-продуктов и ML-моделей ➖ Эконометрика для рекламы в торговых сетях 🔔 31 августа, 11:00 Участие бесплатно, нужна регистрация.

🖥 Vanna Крутой Python-пакет на базе ИИ для автоматической генерации SQL-запросов Он был обучен так, что теперь способен создавать сложные SQL-запросы всего за несколько секунд. С Vanna вы можете легко и быстро получать данные из вашей базы данных, просто задавая вопросы Инструмент может похвастаться высокой точностью на сложных наборах данных, безопасностью и конфиденциальностью, а также самообучением Стоимость: #бесплатно (но есть платные функции) #SQL #ИИ #базы_данных @sqlhub

Приглашаем на бесплатный мини-курс Skillbox «Data Science с нуля: пробуем профессии на практике за 5 дней». Вы познакомитесь с основными направлениями Data Science: машинным обучением, data-инженерией и data-аналитикой. Выполните практические задания и поймёте, какая специальность вам ближе. 🎁 Успейте зарегистрироваться и получить подарок: https://goo.su/Jc3VC8C — Чем займётесь на мини-курсе? Узнаете, где востребована наука о данных, и разберётесь в отличиях её основных направлений. Освоите азы главного языка Data Science — Python, а также визуализируете с помощью него данные. Изучите базовые конструкции языка SQL и, наконец, поймёте, как же работают нейросети. В знакомстве с профессиями вас будет сопровождать Анастасия Борнева — руководитель направления по исследованию данных в Сбере. В финале мини-курса в прямом эфире она разберёт практические задания и ответит на все вопросы. 🎉 Все участники получат крутые бонусы и подарки! Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880

🔍 Где искать работу Дата Саентисту? Собрали для вас список площадок для поиска работы или фрланс-проекта в области Data Science. 1. Toptal Toptal - один из крупнейших фриланс сайтов для специалистов по анализу данных. В отличие от многих других бирж фриланса в Toptal соискатели проходят тестирование в различных областях, включая знание английского языка и технические навыки, в области SQL и Python для data science. 2. Open Data Science Jobs Open Data Science Jobs - одна из крупнейших площадок вакансий, посвященных только науке о данных. Такие компании, как Bose, использовали эту доску объявлений для поиска специалистов по науке о данных для оптимизации своей бизнес-аналитики. 3. Kaggle Kaggle - одно из крупнейших сообществ датасаентистов. Kaggle предоставляет наборы данных, проводит соревнования и вообще способствует процветанию сообщества специалистов по анализу данных. Доска вакансий Kaggle - один из лучших вариантов для начала поиска проекта для рабрты. Ее услугами пользуются крупнейшие компании (Amazon, Capital One и AIG и тд). 4. Scalable Path Если у вас есть готовая команда датасаентистов и вы хотите найти интерсный проект , Scalable Path - отличный вариант. 5. Gigster Еще одина крупная фриланс площадка с проектами ds. 6. iCrunchData - это доска объявлений c вакансиями в области науки о данных. 7. X-Team X-Team - рынок фриланса, где можно работать, как одному, так и в команде. 8. Gun.io Gun.io очень похож на Toptal, быстро и эффективно подбирая для компаний квалифицированных инженеров по науке о данных. С тысячами зарегистрированных членов Gun.io является восходящей звездой в индустрии фриаланса. 9. R-users Простой поиск по сайту R-users позволяет найти десятки вакансий в области науки о данных, в которых используется язык программирования R. 10. AngelList AngelList - это место, где встречаются ит- предприниматели и инвесторы. 11. Engineering Jobs Если вы ищете ds проект Engineering Jobs может стать отличным местом для поиска интересной работы. 12. Dice Dice - доскоа объявлений о карьере в сфере технологий и ИТ. Эта доска известна тем, что привлекает архитекторов программного обеспечения, инженеров, QA-тестеров и инженеров по анализу данных. 13. SimplyHired SimplyHired - это еще одна крупная доска объявлений о работе, похожая на Indeed или Monster. 14. Папка с каналами для поиска работы в телеграме. Телеграм каналы и чаты, где публикуются вакансии ds, python и не только. Очень полезная папка (папки поддерживаются только в последних версиях тг), где можно найти вакансию на любой ЯП. Ставьте 👍 , если полезно. @sqlhub

Бесплатный практический интенсив, после которого вы точно разберётесь в статистике А всё потому что его проведёт Анатолий Карпов — тот самый автор «основ статистики», благодаря которым статистику поняли более 200 тысяч человек. Анатолий руководил командой аналитики в отделе бизнеса и рекламы ВКонтакте, а сейчас является основателем школы karpovꓸcourses. Что будет на интенсиве: • Узнаете, как спланировать исследование • Проанализируете данные A/B-теста • Поймёте что значат статистически значимые различия и при чём тут ошибка выжившего Задачи будут как для начинающих, так и для специалистов с опытом, поэтому будет интересно и полезно всем. Встречаемся 24 и 25 августа в 19:00 Зарегистрируйтесь на интенсив и получите гид по старту карьеры в Анализе данных: https://karpov.courses/analytics-intensive

💬 Регулярные выражения Язык SQL поддерживает работу с регулярными выражениями (regular expressions или RegEx). Это специальный язык, позволяющий достаточно точно определить шаблоны поиска в строке. Для работы с регулярными выражениями используется оператор SIMILAR TO вместо LIKE. Вернемся к нашей задаче — нужно выбрать пользователей, чье имя начинается на 'A' и 'B'. Чтобы решить ее, нужно применить такой шаблон: SELECT * FROM users WHERE first_name SIMILAR TO '[AB]%'; Разберем примененный шаблон [AB]%. В квадратных скобках перечисляются допустимые символы, а далее следует знакомый нам символ %. Этот запрос вернет пользователей с именами Abigale, Andy, Brayan, и так далее. Представим, что нам нужно найти пользователей, у которых username заканчивается любой буквой. Это можно сделать таким шаблоном: %[abcdefghijklmnopqrstuvwxyz]. Согласитесь, такая запись неудобна для чтения и записи. А что, если мы случайно пропустим какую-то букву? В квадратных скобках можно использовать символ - для перечисления. Если записать в квадратных скобках начальный символ, поставить "-" и указать конечный символ, то такой шаблон вернет любой символ из диапазона от начального до конечного. Напишем запрос, который вернет всех пользователей у которых username заканчивается любой буквой, будет выглядеть так: SELECT * FROM users WHERE username SIMILAR TO '%[a-z]'; Точно так же можно работать и с русскими буквами: '%[а-я]%'. Такой запрос поможет найти пользователей, у которых в поле username есть русские буквы: SELECT * FROM users WHERE username SIMILAR TO '%[а-я]%'; Чтобы выбрать все цифры, используем шаблон [0-9]: SELECT * FROM users WHERE username SIMILAR TO '%[0-9]'; Такой запрос вернет всех пользователей, чей username заканчивается на любую цифру. Комбинируя правила, мы можем создавать достаточно сложные шаблоны. Например, проверим, что в поле email введены корректные адреса электронной почты. Корректная почта должна содержать адрес, который состоит из: *️⃣Имени с любым количеством любых символов — например, my_email *️⃣Символа @ *️⃣Домена с любым количеством любых символов — например, gmail *️⃣Точки *️⃣Указания национальной зоны — например, com Запрос на поиск корректных адресов будет таким: SELECT username, email FROM users WHERE email SIMILAR TO '%@%.%'; Такой запрос выведет имена пользователей с корректными адресами электронной почты, однако нам интереснее найти ошибки. В этом случае частица NOT позволит найти строки, которые не соответствуют шаблону: SELECT username, email FROM users WHERE email NOT SIMILAR TO '%@%.%'; Теперь выберем все адреса электронной почты, у которых национальная зона состоит ровно из двух символов — например, ru, su, io и так далее. При этом исключим зоны, состоящие из трех и более символов — например, com. Это можно сделать так: %.[a-z][a-z]. Но удобнее воспользоваться еще одним спецсимволом — подчеркиванием _. Символ подчеркивания обозначает ровно один любой символ, необязательно букву. Наш запрос будет выглядеть так: SELECT username, email FROM users WHERE email SIMILAR TO '%.__'; Чтобы вывести пользователей с адресами электронной почты оканчивающимися на 3 символа, нужно добавить еще одно подчерктивание в наш шаблон: SELECT username, email FROM users WHERE email SIMILAR TO '%.___'; Мы рассмотрели наиболее полезные и часто используемые возможности регулярных выражений в SQL, но они ими не ограничиваются.

⚠️ 3 из 5 компаний уже перешли с Oracle и MS SQL на PostgreSQL. PostgreSQL хорошо выполняет сложные запросы и позволяет создавать высокодоступные отказоустойчивые и параллельные кластера под "тяжелые" задач 🦾 PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты. Протестируйте обучение на открытых уроках: 🔹Триггеры в PostgreSQL, 31 августа в 20:00 Научимся разрабатывать триггеры и триггерные функции на PL/PgSQL ➡️ https://otus.pw/NVme/ 🔹 Статистика и её значение для оптимизации запросов, 5 сентября в 20:00 Узнаете, где и как PostgreSQL хранит и как актуализирует статистику ➡️ https://otus.pw/VVCu/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 SQLLEX ORM v0.3.0 Python-библиотека SQLLEX, которая позволяет эффективно и безопасно взаимодействовать с базами данных. Если вы имели опыт работы с базами данных на Python, то, вероятно, испытывали трудности при написании SQL-запросов. Однако теперь нет необходимости бороться с этим. Больше никаких con.cursor() , ваш ждут удобные функции db.insert(), db.select(). Теперь ваш код будет более структурирован и понятен без магии SQL. На github-е SQLLEX имеется подробная документация с обширным набором примеров кода, доступных в разделе wiki. pip install sqllex ▪Github ▪Документация @sqlhub

🖥SQLModel Полезная библиотека SQLModel для Python, которая упрощает взаимодействие с SQL базами данных. С помощью SQLModel можно использовать Pydantic-подобные классы, использующие аннотации типов Python для повышения читаемости. ▪Github ▪Документация @sqlhub

⚡Легкий способ получать свежие обновлении и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь: Машинное обучение: @ai_machinelearning_big_data Go: @Golang_google C#: @csharp_ci Базы данных: @sqlhub Python: @python_job_interview C/C++/: @cpluspluc Data Science: @data_analysis_ml Devops: @devOPSitsec Rust: @rust_code Javascript: @javascriptv React: @react_tg PHP: @phpshka Docker: @docker Android: @android_its Мобильная разработка: @mobdevelop Linux: linuxacademy Big Data: t.me/bigdatai Хакинг: @linuxkalii Java:@javatg Собеседования: @machinelearning_interview 💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy 🔥ИТ-Мемы: t.me/memes_prog 🇬🇧Английский: @english_forprogrammers

🟡 Дайджест полезных материалов из мира :sql за неделю Почитать: — PDM и почему он вечно тормозит — Объяснения по шардинга баз данных — Высокодоступный MySQL на конвейере — Топ-5 инструментов для GitHub 2024 — Оптимизация SQL-запросов в Oracle — Navigating Databases with Python: A Beginner-Friendly Guide — A Guide to Backup and Recovery of SQL Azure Database — GROUP BY clause in PostgreSQL — 8 Completely FREE Big Data Resources — Oracle to PostgreSQL code migration pain — Serve Less, Logic Less — Gérer des clés étrangères avec SQLite — SQL Data Types: A Comprehensive Overview — A Powerful Tool for Data Engineers: Apache Doris 2.0.0 is Production-Ready! — Transaction Isolation Levels and why we should care Посмотреть: 🌐 SQL Full Course 2023 | SQL For Beginners | MySQL Full Course 🌐 План обучения SQL на 30 дней C НУЛЯ Хорошего дня! @sqlhub