Data Science. SQL hub

💥 Прими участие в онлайн-хакатоне HomeHack от Хоум Банка и Sk Fintech Hub с 1 по 6 марта 2024 и поборись за призовой фонд в 1 000 000 рублей. Регистрируйся до 29 февраля по ссылке: https://cnrlink.com/hhsqlbd 👤 К индивидуальному участию в мероприятии приглашаются системные аналитики, аналитики данных и разработчики Oracle любого уровня подготовки со всей России. 🎯 Участникам предстоит создать решение в одном из двух треков: 1. Эффективное управление клиентской документацией: предложи решение для реализации новой системы хранения и обработки данных для оптимизации пространства и обеспечения безопасности; 2. SQL Сhallenge: покажи свои навыки SQL и PL/SQL! Решай захватывающие задачи и докажи, что ты настоящий мастер в работе с данными. 🏆 Регистрируйся, побеждай, обменивайся опытом с экспертами, получи кейс в портфолио и стань членом команды Хоум Банк. 👉 Успей подать заявку на участие до 29 февраля на онлайн-платформе Codenrock: https://cnrlink.com/hhsqlbd Реклама. ООО "ХКФ БАНК". ИНН 7735057951. erid: LjN8JtGQz

Продуктовые аналитики, какие планы на выходные? 2 и 3 марта Тинькофф проведет Weekend Offer для специалистов с опытом от 2 лет. Можете пройти собеседование и попасть в команду за пару дней. Если устроитесь, будете решать сложные финтех-задачи, развивать продукты для миллионов, пользоваться бенефитами и расти. Оставьте заявку до 28 февраля и участвуйте онлайн. АО «Тинькофф Банк», ИНН 7710140679

🖥 Открытая модель SQL-запросы из естественного языка На HuggingFace вышла модель Text-to-SQL на 6.91 млрд. параметров. Модель позволяет превращать обычный текстовый запрос к БД в SQL-выражение: Вопрос: Выведи день, когда пришло больше всего пользователей Ответ: SELECT created_at::DATE AS day, COUNT(*) AS user_count FROM users GROUP BY day ORDER BY user_count DESC LIMIT 1; Код: import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("chatdb/natural-sql-7b") model = AutoModelForCausalLM.from_pretrained( "chatdb/natural-sql-7b", device_map="auto", torch_dtype=torch.float16, ) #sql #llm @sqlhub

🎓 Бесплатный курс по работе с Managed Service for Greenplum® За последние четыре года в России число вакансий в области аналитики данных увеличилось в 10 раз — такие данные приводит HeadHunter. Узнайте больше о том, как работать с одним из самых востребованных инструментов для работы с данными — сервисом для управления кластерами СУБД Greenplum в инфраструктуре Yandex Cloud. На курсе вы научитесь: ⏺ создавать облачную инсталляцию Greenplum и работать с ней; ⏺ писать и оптимизировать запросы с учётом специфики Greenplum; ⏺ проектировать оптимальную физическую модель данных. Обучение будет полезно дата-архитекторам, DevOps-инженерам, разработчикам и администраторам баз данных. Узнайте больше о курсе по ссылке.

🖥 Dataflare Полезный и бесплатный менеджер баз данных. Инстркмент предназначен для удобного подключения к вашим БД PostgreSQL, MySQL, MariaDB, MSSQL, SQLite, управления таблицами и выполнения запросов Он отличается простотой и лёгкостью использования, что позволяет без труда управлять вашей базой данных и улучшить эффективность работы Dataflare основан на Tauri, в нем используется Rust в качестве бэкенда, Dataflare обеспечивает отличную производительность и быстрое выполнение операций, будь то запросы к данным, выполнение SQL или другие операции. https://dataflare.app/ @sqlhub

Вебинар Tarantool «Анализируем данные в real-time» Когда: 21 февраля, 16:00 МСК Где: онлайн Расскажем, как организовать анализ большого объема данных в реальном времени с помощью in-memory колоночной СУБД. На вебинаре поговорим о том: • Как объединить транзакционные и аналитические (OLAP и OLTP) системы и сократить затраты на дублирование данных. • Как ускорить аналитические запросы и формировать отчетность в real-time. • Как организовать хранение и управление данными (Feature Store) для ML-задач. Также мы рассмотрим практические кейсы применения продукта Tarantool Column Store: формирование финансовой отчетности с минимальными задержками, ускорение и повышение точности антифрод-систем, повышение производительности системы выдачи кредитов. Спикеры: • Николай Карлов, директор инновационных проектов VK Tech, • Руслан Галиев, продуктовый менеджер Tarantool Column Store. Вебинар будет полезен архитекторам, дата-инженерам, инженерам DevOps и разработчикам аналитических систем. Регистрация

🖥 5 главных компонентов SQL: ▪DDL: data definition language ▪DQL: data query language ▪DML: data manipulation language ▪DCL: data control language ▪TCL: transaction control language 👉 Источник @sqlhub

Data Engineer в Яндекс 360 Москва/СПБ middle, senior Яндекс 360 — это Почта, Диск, Телемост с видеозвонками, Документы, Мессенджер, Рассылки, Заметки, Календарь, Трекер, Вики и Формы. Каждый день этими сервисами пользуются миллионы человек и тысячи компаний. Наши продукты, команды и, конечно, объёмы данных быстро растут. Мы ищем дата-инженера, который поможет организовать хранилище, навести порядок и вывести аналитику наших сервисов на новый уровень. Какие задачи вас ждут - Вести разработку ETL-процессов поставки данных - Выявлять неэффективность в существующих процессах и оптимизировать их - Проектировать структуру хранения данных - Погружаться в данные из прикладных бизнес-областей и становиться в них экспертом - Сопровождать разработанные ETL-процессы - Участвовать в развитии платформы DWH Мы ждём, что вы - Уверенно владеете Python - Уверенно владеете SQL (join, агрегация, оконные функции, оптимизация сложных запросов) - Умеете пользоваться Git - Знаете, как строить и оптимизировать ETL-процессы Будет плюсом, если вы - Разбираетесь в слоях DWH и моделях хранения данных - Работали с большими объёмами данных Откликнуться

🦆 Вышла новая версия DuckDB v0.10.0 Некоторые основные моменты релиза: - Переработанный и гораздо более быстрый CSV-ридер - Поддержка нескольких баз данных - Новый менеджер секретных ключей - Добавлены массивы фиксированной длины - Менеджер временной памяти - Добавлено адаптивное сжатие данных с плавающей запятой без потерь - Новый редактор CLI - ...и многое другое ▪Релиз ▪DuckDb @sqlhub

🖥 Разница между двумя временными метками - представляет собо интервал. Чтобы получить его в единицах измерения (например, часах или секундах) в Oracle #SQL Сначала вы извлекаете необходимый интервал времени, затем преобразовываете его в целевую единицу (час/секунду и тд). например: EXTRACT ( DAY FROM diff ) * 24 ) + EXTRACT ( HOUR FROM diff ) + EXTRACT ( MINUTE FROM diff ) / 60... @sqlhub

erid: LjN8KbbV4 Как джуну или мидлу в аналитике данных подняться на следующий уровень? Допустим, у вас есть опыт в продуктовых задачах и вы разбираетесь в продуктовой аналитике. Чтобы дорасти до синьора, нужно не только расширять компетенции, но и смотреть на задачи с точки зрения бизнеса. Научитесь всему этому на курсе «Hard Аналитика» от karpov.school, который создавали ведущие аналитики из «Райффайзена», «Яндекса», и VK. Поэтому программа включает в себя только самые актуальные знания для углубления в продуктовую аналитику. Курс стартует 15 февраля — вот что вас ждёт: — Разберётесь, как сократить сроки проведения экспериментов и проверять нужные бизнесу гипотезы; — Научитесь делать удобные дашборды, быстро прогружать запросы в базе данных и использовать машинное обучение в аналитике; — Узнаете, как общаться с заказчиком, объяснять и правильно преподносить проделанную работу. Получите скидку 5% по промокоду SQLHUB! Залетайте на курс и выходите на новый уровень в аналитике: https://clc.to/ZQvzzA Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

🖥 Огромная шпаргалка с готовыми запросами SQL (SQLite) ▪ Смотреть @sqlhub

🖥 Загрузка SQL-таблиц в Pandas DataFrames позволяет анализировать и предварительно обрабатывать данные, используя богатый функционал pandas. Чтобы загрузить таблицу SQL в pandas DataFrame, передайте соединение с базой данных, полученное от SQLAlchemy Engine, методу pandas read_sql. @sqlhub

🖥 SQL в Фокусе: Полное Руководство. 100 ключевых Вопросов с собеседований. Часть 1. Читать @sqlhub

🖥 Jless —   полезный инструмент для просмотра JSON-файлов в командной строке. Отображение данных в удобном виде — с подсветкой синтаксиса для отдельных элементов объекта. Инструмент позволяет обрабатывать и расширять массивы. Поддерживает полнотекстовый поиск и использование регулярных выражений.  ▪Github ▪Docs @sqlhub

Очное обучение Data Science в НИУ ВШЭ — старт 14 февраля ❔Кому подходит программа «Специалист по Data Science»? ✔Начинающим: Вы изучите основы программирования, математики, машинного обучения и работы с Big Data. ✔Специалистам не из IT: Освоите новые методы и инструменты для работы с данными в вашей области. ✔Программистам: Подтянете свои знания в алгоритмах, структурах данных и научитесь обучать нейронные сети. За 1.5 года вместе с опытными преподавателями и практикующими специалистами вы: ✔Разберетесь в направлениях Data Science: Изучите программирование на Python, математику для анализа данных, прикладную статистику, классические ML-модели и нейросети, а также основы обработки текстов, звука и изображений. ✔Разовьете hard skills: Освоите SQL, Python, Jupyter Notebook, Spark, Tensorflow, Pytorch и другие инструменты. ✔Выполните 3 проекта: Напишете чат-бота, программу для машинного обучения и защитите финальный проект. Это хорошая возможность пополнить портфолио, особенно для начинающих. ✔Получите самые актуальные знания по специальности и сможете работать специалистом по Data Science в крупных IT-компаниях. Обучение очное в кампусе НИУ ВШЭ в Москве. Старт: 14 февраля Стоимость: 58 125₽ раз в 2 месяца при рассрочке без переплат: 8 платежей. Или 465 000₽ за весь курс. Полная программа и регистрация: по ссылке. Реклама. НИУ ВШЭ. ИНН 7714030726 Erid: 2SDnjd72JW4

SCDB: простая Open Source БД типа «ключ — значение» Представляем SCDB, то есть Solid-Core-Database. Этот проект еще находится на ранних стадиях разработки и задуман для решения задач и проблем разработчиков. Что такое SCDB? ▪️scdb  — легковесная, простая и скоростная подсистема хранения данных типа «ключ — значение». Сделана она по примеру архитектуры хранилища Bitcask, эффективной при операциях записи. ▪️Основной принцип проектирования scdb и Bitcask  — журналируемые файловые системы. Здесь все изменения добавляются в конец журнала, а записи очень быстрые, так как выполняются последовательно. При таком построении, помимо скорости, обеспечивается целостность данных: даже в случае отказа системы они легко восстанавливаются благодаря этому методу с возможностью только добавлять. ▪️В scdb реализован процесс объединения лог-файлов. Со временем вместе с записываемыми приложением данными увеличивается и количество лог-файлов. Объединением лог-файлов предотвращается фрагментация, поддерживается производительность. Для данных это как домашняя уборка, после которой хранилище остается организованным и эффективным. ▪️Созданная для беспроблемного хранения и извлечения пар «ключ — значение», SCDB придется кстати разработчикам приложений с быстрой записью данных и простым, но надежным хранилищем. Пример: 📌 Читать дальше @sqlhub