Data Science. SQL hub

Прямо сейчас в три команды Авито ищут дата-сайентистов: 1️⃣ Data Scientist в платформу анализа коммуникаций (Automated Speech Recognition) 2️⃣ Data Scientist в команду антифрода 3️⃣ Data Scientist в команду рекомендаций Если вам хочется улучшать опыт миллионов пользователей, скорее откликайтесь! Вас ждут интересные и сложные задачи на большом масштабе, а ещё: – достойная зарплата (обсуждается индивидуально на собеседовании); – сильная команда, которая всегда готова прийти на помощь; – возможность изучать и пробовать новое, мощное железо для этого; – бюджет на обучение, который можно тратить на курсы или профессиональную литературу; – забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист; – возможность работать удалённо или из классных офисов в четырёх городах России. Переходите по ссылкам и оставляйте отклики.

🔑 Знание регулярных выражений поднимает вас над общей серой массой, так что не бойтесь выделяться) Regex и ~ в SQL помогут вам найти абсолютно всё, вот примеры некоторых особенно полезных регулярок: 🔵типичное имя пользователя — ^[a-z0-9_-]{3,16}$; начало строки (^), потом любая буква (a-z), число (0-9), символ подчёркивания/дефис. Нам нужно от 3 до 16 этих символов ({3,16}), потом конец строки ($) 🔵^[a-z0-9_-]{6,18}$ — типичный пароль, должно быть от 6 до 18 символов 🔵^([a-z0-9_\.-]+)@([\da-z\.-]+)\.([a-z\.]{2,6})$ — типичный email; под это выражение подходит john@doe.com, не подходит john@doe.something (TLD длинный) 🔵^(https?:\/\/)?([\da-z\.-]+)\.([a-z\.]{2,6})([\/\w \.-]*)*\/?$ — типичный URL из латинских букв; https://net.tutsplus.com/about подходит под это выражение http://google.com/some/file!.html не подходит под это выражение 🔵^<([a-z]+)([^<]+)*(?:>(.*)<\/\1>|\s+\/>)$ — тег html Вообще, есть очень удобный сайт regex101.com для составления regex, use it @sqlhub

🖥 Panel: The powerful data exploration & web app framework for Python Блокноты Jupyter отлично подходят для изучения данных. Но они не так хороши для визуализации данных. Попробуйте библиотеку с открытым исходным кодом на Python, которая поможет вам создавать информативные дашборды ↓ ▪ Github pip install panel @sqlhub

Avito Analytics meetup #12 — онлайн-ивент для аналитиков 🔥 Эксперты из AvitoTech и других крупных компаний разберут кейсы аналитической поддержки при создании нового продукта, расскажут как и зачем анализируют обратную связь о товарах в ритейле, а также о роли аналитики в построении пути пользователя на маркет-приложениях. Темы докладов: 👉 Аналитика нового продукта «под ключ»; 👉 Обратная связь в «Пятёрочке»: как работают с оценками товаров; 👉 Как построить путь пользователя (User flow). Встречаемся онлайн 6 марта в 18:00 по Москве. Регистрируйтесь по ссылке, и до встречи!

🎓 MITx: Машинное обучение на Python: от линейных моделей до глубокого обучения (бесплатный курс от MIT) ▪Курс @sqlhub

🖥 GQL - Git Query Language GQL — язык запросов с синтаксисом, который похож на SQL, с минималистичным движком для выполнения запросов к файлам .git вместо файлов базы данных. Этот движок выполняет запрос «на лету» без необходимости создавать файлы базы данных или конвертировать файлы .git в любой другой формат. ▪Github ▪Документация @sqlhub

Куда движется индустрия аналитики и когда заменят всех специалистов данных данных на AI? А точно стоит изучать новую для себя профессию, связанную с традиционной Аналитикой? Как не оказаться в списках layoff? Как адаптироваться в новой для себя стране и хорошо зарабатывать? Как удвоить зарплату? А точно нужно быть лояльным к вашему работодателю? Куда инвестировать в 2024? Реально ли достичь FIRE в наше время? (Досрочно уйти на пенсию) На эти и многие другие вопросы, вы сможете найти ответы в канале Инжиниринг Данных, который ведет Дмитрий Аношин. Он больше 14 лет работает с аналитическими решения и строил решения для Amazon и Microsoft. В 2022-2023 году Дмитрий пережил 5 волн увольнений и в одну даже попал, но благодаря своей стратегии диверсификации усилий финансово сильно не пострадал. В нашем время уже не работает вариант долго и упорно работать на одну компанию и надеятся на повышение и спокойную жизнь. Нужно быть готовым всегда учиться, улучшать свои навыки и искать работу, и не забывать про развитие собственного бренда и нетворкинг. Про все это можно прочитать в канале @rockyourdata.

🖥 Toolong Полезный инструмен, который упрощает работу с логами. Предоставляет возможность эффективного взаимодействия с большими объёмами данных логирования прямо из терминала. pip install toolong ▪ Github @sqlhub

✅ Что нужно знать о миграции с Oracle на PostgreSQL? Расскажет опытный эксперт на бесплатном практическом уроке «Коротко об инструментах миграции с Oracle на PostgreSQL: ora2pg, oracle_fdw, ora_fce» от OTUS. 🔹На вебинаре мы разберём какие есть инструменты по упрощению миграции с Oracle на PG   🔹Рассмотрим плюсы, минусы и аналоги ora2pg, oracle_fdw 🔹Разберем особенности расширения ora_fce  Встречаемся 29 февраля в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков». 👉 Регистрация https://otus.pw/rrsI/?erid=LjN8KbYbN Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🔝 Где искать работу аналитику данных в различные направления DS,SQL, Аналитики и ML Подборка с каналами, где можно найти вакансии или подработку: ▪Data Jobs ▪Data Engeneer/SQL ▪Python Jobs ▪Папка с вакансиями по различным направлениям 🔎 Полный ресурсов для поиска работы аналитику данных. @sqlhub

🖥 Sql тренажеры для практики ▪sql-academy.org ▪sql-ex.ru ▪schoolsw3.com ▪SQL Fiddle ▪sqltest.online ▪Oracle LiveSQL ▪stratascratch.com ▪stepik.org (Интерактивный тренажер SQL) ▪sql-practice.com ▪pgexercises.com ▪HackerRank @sqlhub

✅ Что нужно знать о миграции с Oracle на PostgreSQL? Расскажет опытный эксперт на бесплатном практическом уроке «Коротко об инструментах миграции с Oracle на PostgreSQL: ora2pg, oracle_fdw, ora_fce» от OTUS. 🔹На вебинаре мы разберём какие есть инструменты по упрощению миграции с Oracle на PG   🔹Рассмотрим плюсы, минусы и аналоги ora2pg, oracle_fdw 🔹Разберем особенности расширения ora_fce  Встречаемся 29 февраля в 20:00 мск в рамках курса «PostgreSQL для администраторов баз данных и разработчиков». 👉 Регистрация https://otus.pw/rrsI/?erid=LjN8KbYbN Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🏗️ Анонимайзер PostgreSQL Postgresql_anonymizer - это расширение для маскировки или замены персональной информации (или коммерчески важных данных в базах данных PostgreSQL. https://postgresql-anonymizer.readthedocs.io/en/stable/ @sqlhub

📖Полное руководство по CASE WHEN в SQL В сфере SQL освоение условной логики имеет такое же значение, как овладение стратегическими ходами в шахматной игре. Оператор CASE WHEN, определяющий эту логику, — универсальный инструмент, способный изменить данные и процесс принятия решений в таких средах SQL, как SQL Server, Oracle и Snowflake. Предлагаемое руководство научит вас использовать CASE WHEN в различных сценариях и поможет усовершенствовать навыки работы с данными независимо от опыта и квалификации. Определение и назначение CASE WHEN Оператор CASE WHEN в SQL — условное выражение, аналогичное логике if-else в языках программирования. Он позволяет выполнять условные проверки в SQL-запросах, предлагая динамический способ манипулирования данными на основе определенных критериев. Обзор синтаксиса CASE WHEN condition1 THEN result1 WHEN condition2 THEN result2 ... ELSE resultN END Базовый пример использования в SQL Server Начнем с SQL Server. 📌Читать @sqlhub

🔝 Полезные библиотеки для анализа данных. ▪fastparquet - библиотека, котораяускоряет ввод-вывод pandas примерно в 5 раз. fastparquet - это высокопроизводительная реализация формата Parquet на Python, предназначенная для бесперебойной работы с фреймами данных Pandas. Она обеспечивает быструю производительность чтения и записи, эффективное сжатие и поддержку широкого спектра типов данных. ▪SciencePlots - полезная библиотека для создания графиков matplotlib для презентаций, исследовательских работ. ▪CleverCSV - библиотека, которая устраняет различные ошибки синтаксического анализа при чтении CSV-файлов с помощью Pandas ▪PyGWalker - инструмент, который упрощает рабочий процесс анализа и визуализации данных в Jupyter Notebook, превращая фрейм данных pandas в пользовательский интерфейс в стиле Tableau для визуального исследования. ▪Feather - библиотека, которая предназначена для чтения и записи данных с устройств. Данная библиотека отлично подходит для перевода данных из одного языка в другой. Также она способна достаточно быстро считывать большие массивы данных ▪Dask - эта библиотека позволяет эффективно организовывать параллельные вычисления. Коллекции больших данных хранятся  здесь как параллельные массивы/списки и позволяют работать с ними через Numpy/Pandas ▪Ibis - обеспечивает доступ между локальным окружение в Python и удаленными хранилищами данных (например, Hadoop) ▪Lightwood - AutoML фреймворк, который принимает на вход данные, целевую переменную и генерирует для вас целый конвейер машинного обучения. ▪Taipy — инструмент, который позволяет дата-сайентистам создавать интерактивный Web UI для ML-проектов. @sqlhub

Если вы хотите приносить пользу миллионам пользователей, реализуя решения, основанные на данных, в Авито есть вакансии для вас: 1️⃣ Data Engineer в команду AB 2️⃣ Data Engineer в команду CRM 3️⃣ Data Engineer в команду Data Mart А что по зарплате и бенефитам? – Зарплата достойная, обсуждается индивидуально на собеседовании; – Удалённая работа, но есть классные офисы в Москве и Санкт-Петербурге; – ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; – Передовые технологии и подходы, возможность пробовать новое; – Опытные и заинтересованные коллеги, готовые оказать поддержку; – Личный бюджет на обучение, который можно тратить на книги, курсы и конференции. Скорее откликайтесь!

🖥 Хотите остановить все часть транзакций, наапример, INSERT, UPDATE и DELETE? Вы можете заблокировать их с помощью: LOCK TABLE ... IN EXCLUSIVE MODE Другие транзакции могут обращаться к таблице, пока вы не отмените блокировку. #oracle #sql @sqlhub

Не нужно опыта и знаний в IT-сфере, чтобы попробовать себя в роли Python-разработчика в 2024 году. На бесплатном мини-курсе по Python вы на практике познакомитесь с задачами разработчиков, сделаете 4 крутых проекта и поймёте, ваша ли это профессия. Зарегистрируйтесь сейчас и получите полезный гайд по профессии. Из него вы узнаете, почему Python — идеальный язык для новичка: https://epic.st/IEKqMr За 4 занятия изучите видеоматериалы. Практические работы и тесты будут после каждого видео. Научитесь создавать полезные приложения: от Telegram-ботов, которые упрощают жизнь, до сайтов и парсеров — программ для извлечения нужных данных из интернета. В финале вас ждёт прямой эфир с экспертом Анастасией Борневой — руководителем направления по исследованию данных в «Сбере». В прямом эфире она поделится профессиональными секретами, разберёт ваши работы и ответит на вопросы. Всем участникам дарим годовой доступ к изучению английского языка, набор полезных статей для начинающего разработчика и скидку 10 000 рублей на любой курс. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880.

🖥 SQL в Фокусе: Полное Руководство. 100 ключевых Вопросов с собеседований ▪Часть 1 ▪Часть2 @sqlhub

Как построить аналитическую инфраструктуру уровня PRO своими руками или с небольшой командой? Анонс для тех, кто устал вручную выгружать и сводить данные из разных источников. На деле ситуация серьезней, чем кажется. Часто компании работают с разными источниками данных с собственной логикой. Каждая выгрузка превращается в хоррор-квест и отнимает много времени и сил. Формально аналитика работает, но все понимают, что можно лучше. Облегчить жизнь команде аналитики поможет правильная инфраструктура, и ее можно собрать по готовому алгоритму. А где его взять? 28 февраля в 17:00 МСК архитектор VK Cloud Алексей Белозерский проведет вебинар. Там он покажет, как с помощью облачных сервисов и открытого ПО организовать хранение, обработку и доставку данных до конечных пользователей. В программе: 🔹Основные принципы и этапы работы с данными: DWH, ETL, BI. 🔹Проектирование системы: создание DWH, передача и обработка данных с помощью Apache Airflow и DBT, подключение BI-систему Redash. 🔹Live-demo: эксплуатация системы. Подключаем источники, редактируем витрины, обогащаем дашборды в Redash дополнительными данными. 🔹 QA-сессия. Посетите вебинар дата-инженеров , старших аналитиков и разработчиков DWH, а также менеджеров продуктов, ориентированных на data-driven подход. У VK Cloud большой опыт в построении различных инфраструктур. Поэтому добавьте событие в календарь. ⏰ 28.02.2024, 17:00 МСК Зарегистрироваться