Data Science. SQL hub

🔥 Дайджест полезных материалов из мира : sql за неделю Почитать: — Сверхбыстрые приложения на Oracle – легко — Способ залезть в «кишочки» операционной системы, Docker из PostgreSQL с помощью SQL — Что нового в Pandas 2.1 — Готовые скрипты Python — Что происходит в СУБД при записи регистра накопления 1С? — Как работает миграция между базами данных в реальном мире — SQL Задача про бинарное дерево — SQL + Docker: The combo for Quick and Safe Query Testing — Multi-Tenant SaaS Architecture with Entity Framework — SQL 50 – 1757. Recyclable and Low Fat Products — SQLMorpher: LLM-Based Tool to Improve Data Transformation in Building Energy Data — 7 reasons why a user would need to query Amazon S3 directly — What Are Window Functions in SQL & How To Use Them — Comandos SQL — Basic Sql Commands⏹️ — Use several databases within your Laravel project — Advanced SQL Server: Upgrading Database Audit Logs with Loggly API Integration Посмотреть: 🌐 Python+SQL работа с базами данных. (⏱ 11:10) 🌐 Полный курс по библиотеке Numpy. Матрицы (⏱ 11:24) 🌐 Уроки Golang с нуля /#26 - Обработка ошибок (⏱ 08:14) 🌐 Полный курс по библиотеке Numpy. Полезные функции (⏱ 11:05) 🌐 Полный курс по библиотеке Numpy. Применение Numpy (⏱ 11:52) 🌐 Полный курс по библиотеке Numpy. Создание матриц из файла (⏱ 15:55) 🌐 Python Атоматизация отправки email с selenium (⏱ 04:59) 🌐 Полный курс по библиотеке Numpy. Продвинутые методы работы с матрицами (⏱ 07:28) 🌐 Python анализ данных с Pandas. (⏱ 17:04) Хорошего дня!

📹 Python+SQL работа с базами данных. ▪ Видео @sqlhub

🖥 Defog SQLCoder Библиотека для работы с большими языковыми моделями для преобразования текста на естественном языке в SQL-запросы. SQLCoder - это модель с 15B параметрам, которая превосходит gpt-3.5-turbo для задач генерации из естественного языка в SQL. Модель значительно превосходит все популярные модели с открытым исходным кодом. Она также значительно превосходит модель text-davinci-003, более чем в 10 раз превосходящую ее по размеру. • Github • Demo @sqlhub

9 сентября Сбер приглашает IT-специалистов поучаствовать в отборе: пройти все интервью, познакомиться с командой и, возможно, даже получить оффер. Какими задачами занимаются DS-специалисты крупнейшего банка страны? 👇 ✔️ Обучают все модели искусственного интеллекта: от классического ML до глубоких нейронных сетей. ✔️ Создают инновационные сервисы от систем принятия решений до компьютерного зрения и обработки естественного языка ✔️ Развивают блочное хранилище на Teradata и DataLake на Hadoop. ✔️ Работают на Python, Spark, SQL, Hadoop, GreenPlum. За год команда разрабатывает и внедряет более 200 моделей для отделений банка, приложений, колл-центра, банкоматов и так далее, поэтому работа точно будет интересной и разнообразной. Переходите по ссылке и регистрируйся на One Day Offer, чтобы получить оффер мечты! 💚

🖥 Если бы я начал изучать SQL в 2023 году часть 2. ❯ Oracle http://mygreatlearning.com/academy/learn-for-free/courses/oracle-sql ❯ Big Query http://kaggle.com/learn/intro-to-sql ❯ PostgreSQL http://simplilearn.com/free-postgresql-course-skillup ❯ SQL Projects http://mygreatlearning.com/academy/learn-for-free/courses/sql-projects-for-beginners @sqlhub

👨🏻‍💻 Системный аналитик в Росбанк Системообразующий банк ищет Системного аналитика в свою команду. Что предлагают: — Конкурентная зарплата; — Удаленная работа; — ДМС со стоматологией и ветуслугами; — Возможность развиваться в роли эксперта и бесплатно обучаться по выбранному треку; — Быть частью профессионального сообщества, в котором эксперты обмениваются опытом и помогают вам развиваться. Контакт для связи: @daryabil

🖥 Если бы я начал изучать SQL в 2023 году. 🚀 БЕСПЛАТНЫЕ курсы и БЕСПЛАТНЫЕ сертификаты. ❯ SQL http://cognitiveclass.ai/courses/learn-sql-relational-databases ❯ MySQL https://scaler.com/topics/course/sql-using-mysql-course/ ❯ PostgreSQL http://freecodecamp.org/learn/relational-database/ @sqlhub

🖥 Termdbms Удобный инструмент для просмотра и редактирования файлов базы данных(SQLite, CSV), написанный на Go. ▪Позволяет перемещаться по таблицам с любым количеством столбцов ▪Позволяет перемещаться по таблицам с любым количеством строк ▪Запускает SQL-запросы и отображайте результаты ▪Позволяет сохранять SQL-запросы в буфер обмена ▪Обновление, удаление или вставка с помощью SQL, с поддержкой отмены / повтора для SQLite ▪Работает с клавиатурой и мышью. ▪Автоматическое форматирование JSON в режиме выбора / форматирования ▪Позволяет редактировать многострочный текст с помощью элементов управления, подобных vim ▪Отмена / возврат изменений (только SQLite) ▪Темы (нажмите T в режиме таблицы) ▪Вывод результатов запроса в формате CSV ▪Конвертируйте .csv в базу данных SQLite! Экспортируйте снова как базу данных SQLite или файл .csv! 📌Github @sqlhub

🔥 Дайджест полезных материалов из мира : sql за неделю Почитать: — SONB и hstore: использование специальных типов данных PostgreSQL для работы с полуструктурированными данными — Таблица-справочник – генератор DAG? А что так можно было? — Какой парсер для автоматизации ревью кода лучше — DacFx или ANTLR — Как полностью устранить дублирующие записи в ClickHouse — Анализ сентимента и эмоционального окраса текстов с помощью SQL — Почему тип поля enum на уровне базы — зло — Использование конечных автоматов с несколькими активными состояниями для автоматизации бизнес-процессов — Просто о Deep #1 — Как обучить миллионы моделей прогнозирования временными сериями — How to simplify database operations using MySQL stored procedures — Exploring the Basics of SQL: A Novice's Journey — PL/Python on YugabyteDB — Comprehensive Guide: Deploying and Debugging Custom Webhooks on Supabase & PostgreSQL — Garanta a Eficiência: Escolhendo entre tipos String no SQL — Nulls are equal in distinct but inequal in unique. — Querying Your Data Easily and Smartly through Hugging Face — How To Seamlessly Integrate Sequelize with Node.js and JavaScript for Database Monitoring — Starting My First Command Line Project — Entendendo JOINs no SQL: Unindo Tabelas Como um Profissional Посмотреть: 🌐 Build SQL Scripts and Queries with Amazon CodeWhisperer | Amazon Web Services 🌐 Продвинутый парсинг на Python со сменой прокси (⏱ 10:27) 🌐 Уроки Golang с нуля /#25 - Интерфейсы (⏱ 10:51) 🌐 Многопоточный парсер на Python. ООП подход (⏱ 08:24) Хорошего дня!

🔥Бесплатные сертификационные курсы для Data Science в 2023 году. 🔰 SQL http://online.stanford.edu/courses/soe-ydatabases0005-databases-relational-databases-and-sql 🔰 Python http://cs50.harvard.edu/python/2022/ 🔰Statistics and R https://edx.org/learn/r-programming/harvard-university-statistics-and-r 🔰Data Science: R Basics https://edx.org/learn/r-programming/harvard-university-data-science-r-basics 🔰 Excel and PowerBI http://learn.microsoft.com/en-gb/training/paths/modern-analytics/ 🔰Data Science: Visualization https://edx.org/learn/data-visualization/harvard-university-data-science-visualization 🔰Data Science: Machine Learning https://edx.org/learn/machine-learning/harvard-university-data-science-machine-learning 🔰 R http://cognitiveclass.ai/courses/r-101 🔰 Tableau http://tableau.com/learn/training 🔰 PowerBI http://learn.microsoft.com/en-us/users/collinschedler-0717/collections/m14nt4rdwnwp04 🔰Data Science: Productivity Tools https://edx.org/learn/data-science/harvard-university-data-science-productivity-tools 🔰Data Science: Probability https://edx.org/learn/probability/harvard-university-data-science-probability 🔰 Mathematics http://ocw.mit.edu/search/?d=Mathematics&s=department_course_numbers.sort_coursenum 🔰 Statistics http://cognitiveclass.ai/courses/statistics-101 🔰 Data Visualization http://pll.harvard.edu/course/data-science-visualization 🔰 Machine Learning http://developers.google.com/machine-learning/crash-course 🔰 Deep Learning http://introtodeeplearning.com 🔰Data Science: Linear Regression https://pll.harvard.edu/course/data-science-linear-regression/2023-10 🔰Data Science: Wrangling https://edx.org/learn/data-science/harvard-university-data-science-wrangling 🔰 Linear Algebra http://pll.harvard.edu/course/data-analysis-life-sciences-2-introduction-linear-models-and-matrix-algebra 🔰 Probability http://pll.harvard.edu/course/data-science-probability 🔰Introduction to Linear Models and Matrix Algebra https://edx.org/learn/linear-algebra/harvard-university-introduction-to-linear-models-and-matrix-algebra 🔰Data Science: Capstone https://edx.org/learn/data-science/harvard-university-data-science-capstone 🔰 Data Analysis http://pll.harvard.edu/course/data-analysis-life-sciences-4-high-dimensional-data-analysis @sqlhub

Аналитик-разработчик в области автоматизации процессов ИБ Яндекс Москва, СПБ #гибрид junior, middle Команда безопасности Яндекс 360 ищет энергичного эксперта по ИБ для автоматизации различных компонент СУИБ. Что нужно делать: - искать оптимальные пути для автоматизации процессов и метрик ИБ; - создавать автоматизированные реестры данных; - разрабатывать и имплементировать подходы к взаимодействию разных подсистем; - внедрять архитектурные решения по улучшению процессов обеспечения ИБ и мер защиты; - взаимодействовать с разработчиками и менеджерами продуктов и сервисов в рамках автоматизации процессов. Мы ждем, что вы: - знаете ключевые концепции и технологии обеспечения ИБ; - понимаете устройство *nix-систем, систем контейнеризации; - умеете автоматизировать работу с помощью Golang или Python; - умеете говорить на языке разработчиков; - представляете устройство облачных платформ. Будет плюсом, если вы: - активно участвуете в профессиональных сообществах; - занимались профессиональной разработкой; - проводили исследования или публиковали статьи в области ИБ; - понимаете специфику и проблемы публичных облачных платформ. Подробнее об условиях и вакансии: https://clck.ru/35WzAC Контакт в тг: @Oksidgi

​Асинхронное варение MongoDB в Python Уютный доклад старшего разработчика компании Элитриум Даниила Неслуховского c недавней яндексовской конференции Pytup. За эти 50 минут можно вспомнить типы БД, узнать про Object Mapping, Beanie и прочие компоненты. Запись трансляции (доклад на 04:32) #mongodb

⚠️ 3 из 5 компаний уже перешли с Oracle и MS SQL на PostgreSQL. PostgreSQL хорошо выполняет сложные запросы и позволяет создавать высокодоступные отказоустойчивые и параллельные кластера под "тяжелые" задач 🦾 PostgreSQL — навык, открывающий двери в более интересные и перспективные проекты. Протестируйте обучение на открытых уроках: 🔹Триггеры в PostgreSQL, 31 августа в 20:00 Научимся разрабатывать триггеры и триггерные функции на PL/PgSQL ➡️ https://otus.pw/7PBN/ 🔹 Статистика и её значение для оптимизации запросов, 5 сентября в 20:00 Узнаете, где и как PostgreSQL хранит и как актуализирует статистику ➡️ https://otus.pw/i8dQ/ Нативная интеграция. Информация о продукте www.otus.ru

🖥 SQLGlot SQLGlot - это парсер, транспилятор, оптимизатор и для SQL. Он может использоваться для форматирования SQL или трансляции между 20 различными диалектами, такими как DuckDB, Presto, Spark, Snowflake и BigQuery. х. pip3 install sqlglot ▪Github @sqlhub

здравствуйте! готова оплатить размещение Всем привет! Ищу Developer Advocate Data Platform в Yandex Cloud, буду рада также рекомендациям! :) Позиция: Developer Advocate Data Platform Локация: Москва (гибридный формат работы) Занятость: fulltime Компания: Yandex Cloud ⛅️ #вакансия #Москва #bigData #fulltime #Sql #NoSql Многофункциональная облачная платформа Yandex Cloud помогает компаниям и частным разработчикам создавать и совершенствовать цифровые сервисы и приложения. С момента запуска в сентябре 2018 года выручка и аудитория Yandex Cloud выросли в десятки раз, а сегодня платформой ежедневно пользуются десятки тысяч клиентов. Продуктовая группа Data Platform включает ClickHouse, PostgreSQL, Greenplum®, OpenSearch, Apache Kafka®, Apache Spark™, Data Transfer и другие сервисы. Мы ищем специалиста, который будет адвокатом платформы данных Yandex Cloud в сообществах разработчиков. ⛅️Что нужно делать: - представлять платформу данных в сообществах разработчиков, формировать её восприятие в соответствии с выбранным позиционированием и помогать приросту лояльной аудитории; - готовить разноформатный контент для Хабра и других площадок c целевой аудиторией; - выстраивать сторителлинг вокруг платформы данных для разных ролей: как бизнес-заказчиков, так и технических специалистов; - готовить презентации и выступать с ними на внутренних и внешних мероприятиях; - проводить вебинары, практикумы и другие мероприятия по обучению работе с платформой данных; - развивать и поддерживать офлайн- и онлайн-коммуникации: формировать восприятие сервисов платформы как выбор по умолчанию в профильных чатах Greenplum, PostgreSQL, Data engineers и др. ⛅️ Мы ждем, что вы - работали разработчиком или инженером в сфере IT; - отлично разбираетесь в способах работы с данными; - разбираетесь в базах данных, средствах загрузки и других инструментах и сами можете писать код для развития опенсорсных технологий; - умеете рассказывать истории и оформлять их в статьи и презентации; - любите общаться с сообществом на тему технологий, собирать обратную связь и выстраивать конструктивный диалог. ☎️Контакты: @oksidgi Подробнее о вакансии и условиях: https://clck.ru/35Vfti

⚡️Почему тип поля enum на уровне базы — зло Тип колонки enum используется для хранения данных, которые могут принимать определённые значения из заранее определённого набора. Он обеспечивает ограничение значений, которые может принимать колонка, и позволяет более строго контролировать данные. Это может быть полезно для хранения статусов, категорий, типов или любых других значений, которые могут быть заданы только из ограниченного набора вариантов. А что на практике? Давайте рассмотрим. Допустим у нас есть таблица со списком платежей, содержащая колонку status со следующими значениями: CREATE TABLE `payments`( `id` INT UNSIGNED NOT NULL AUTO_INCREMENT, `status` ENUM('new', 'progress', 'done', 'fauled') NOT NULL, KEY(`id`) ) CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci; ▪️Через какое-то время была замечена грамматическая ошибка в слове "failed" и принято решение её исправить. Нюанс изменения enum поля в том, что при его редактировании сбрасываются значения колонки в null для всех строк таблицы, а то и вовсе получим ошибку Data truncated for column 'status' at row 3. То есть, чтобы корректно изменить enum поле, нужно куда-то сохранить данные. План действий будет таков: 1. Создать новую enum колонку с правильным набором данных; 2. Скопировать значение из старой колонки в новую и сразу применить исправление значения; 3. Удалить старую enum колонку; 4. Переименовать новую enum колонку. При использовании фреймворка Laravel это будет выглядеть следующим образом: use Illuminate\Database\Migrations\Migration; use Illuminate\Database\Schema\Blueprint; use Illuminate\Support\Facades\DB; use Illuminate\Support\Facades\Schema; return new class extends Migration { public function up(): void { // Создаём новую колонку Schema::table('payments', function (Blueprint $table) { $table->enum('tmp_status', ['new', 'progress', 'done', 'failed']); }); // Копируем значения из enum колонки в новую с корректировкой значения DB::statement('UPDATE payments SET tmp_status = (IF status = \'fauled\' THEN \'failed\' ELSE status END IF)'); // Удаляем старую колонку Schema::table('payments', function (Blueprint $table) { $table->dropColumn('status'); }); // Переименовываем колонку Schema::table('payments', function (Blueprint $table) { $table->renameColumn('tmp_status', 'status'); }); } }; На языке SQL эти действия будут выглядеть следующим образом: 📌 Читать далее

Считается, что аналитика и Data Science — сложные сферы, требующие особого склада ума. В реальности же основные языки работы с данными — SQL и Python — можно изучить, не имея технического образования или опыта в программировании. Каждый может найти себя в сфере аналитики и Data Science и подобрать себе направление по душе. Главное — задаться целью, быть любопытным и правильно спланировать погружение в новую профессию. В этом поможет бесплатный пошаговый гайд «Как войти в сферу данных и выбрать своё направление». В гайде: - Полное описание ролей и компетенций в сфере работы с данными — так вы поймёте, с чего начать свой путь в профессию - Чек-листы навыков, необходимые начинающему аналитику данных, системному аналитику, дата-сайентисту и другим представителям сферы данных - Ссылки на полезные ресурсы, книги и бесплатные курсы - Советы HR-специалистов о том, как правильно составить резюме и наработать портфолио - Рейтинг зарплат для начинающих позиций в проектах по аналитике и Data Science Скачать план → https://netolo.gy/b3F1 Реклама. ООО «Нетология» LatgBVaDf

🖥Комплексные приложения для работы с данными с SQL и Jupyter Этот замечательный, бесплатный курс дает пошаговое введение в создание приложений для работы с данными с использованием блокнотов Python, SQL и Jupyter. Он даже включает в себя введение в визуализацию с использованием plotly и других. 👉Читать курс @sqlhub

Мечтаете успешно пройти собеседование на аналитика? 🚀 Но одна только мысль о грядущей встрече с работодателем бросает вас в дрожь? Или из-за недостаточной подготовленности вы с треском проваливаете собеседования и ходите, как выжатый лимон 🥴 Знакомое ощущение? Так что же делать? Приходите на наш бесплатный вебинар, где мы вместе в режиме онлайн будем решать реальное тестовое задание на позицию junior-аналитика в МегаФон! 📅 Дата: 29 августа ⏰ Время: 19:00 по Мск Нас ждет несколько заданий на SQL — будем работать с облачной базой данных клиентов МегаФон. Вот примеры задач: * Рассчитать среднюю выручку от активного абонента в сегменте B2B в разрезе филиалов с помесячной динамикой; * Определить самую низко маржинальную категорию среди устройств и др. На вебинаре мы расскажем о частых ошибках новичков и поделимся лайфхаками — как достойно пройти собеседование и составить крутое резюме 🤩 👉🏻 Регистрация на вебинар 👈🏼

✔ Зачем инструмент dbt нужен аналитику данных dbt — open-source проект, который решает проблему организации данных и открывает много возможностей для их трансформации, обработкии моделирования. dbt (Data Build Tool) — инструмент, который позволяет дата-инженерам и аналитикам автоматизировать процессы тестирования, внедрения, документирования в рамках трансформации данных. Проще говоря, dbt — это всё о букве T в акрониме ELT (Extract — Transform — Load). Этот фреймворк не выгружает данные из источников, но предоставляет огромные возможности по работе с теми данными, которые уже загружены в Хранилище (в Internal или External Storage). dbt основан на языках SQL и Jinja, с версии 1.4.* также поддерживает Python. Основное назначение dbt — взять код, скомпилировать его в SQL, выполнить команды в правильной последовательности в хранилище Чем полезен фреймворк ▪Контроль качества. Для бизнеса важно получать качественные данные, а для этого, в свою очередь, нужны инструменты контроля качества. dbt как инструмент позволяет реализовать любые вариации тестирования: на этапе обновления каких-либо данных мы всегда можем собрать быструю статистику по любым метрикам. ▪Хранение данных. Даже из «коробки» этот фреймворк позволяет реализовать на уровне хранилища хранение данных с историей СКД-2 (хранения технической истории, изменение атрибутов). С ним можно выстраивать снэпшоты — детальные слои с историей данных. dbt помогает собрать любую историю данных, чтобы отвечать на вопросы аналитиков и бизнеса. ▪Связывание данных в единую цепочку. Инструмент описывает ациклические зависимости (DAG) и связи, что позволяет легко анализировать цепочку преобразований данных. Когда мы используем и переиспользуем данные, выполнение этих задач связано: если что-то где-то меняется, то сказывается на других сущностях. С помощью dbt мы решаем задачу консистентности данных — устраиваем зависимость выполнения, чтобы одна сущность была рассчитана только после другой, без задержек и потери актуальности данных. Фреймворк помогает собрать в одном месте и связать всю логику — от исходных данных до итоговых результатов и их переиспользования. ▪Перенос в другие среды. Фреймворк позволяет легко переносить и настраивать разные подходы к работе моделей в различных средах: тестовые модели, продуктовый уровень, промышленный слой. ▪Настройка дополнительных возможностей. С dbt можно вписать документацию данных и работать с ними, можно настроить логирование стандартными способами и отслеживать аналитику исполнения запросов. Всё это реализуемо, поскольку у фреймворка на основе SQL и Jinja нет ограничений, кроме возможностей самих хранилищ и уровня знаний исполнителя. Установка Открываем терминал. Запускаем команды: pip install dbt-core #Установка последней версии; pip install dbt-core==1.4.0 #Установка конкретной версии. dbt —version #Проверка установленной версии. ▪Документация ▪Github @sqlhub