Data Science. SQL hub

Разработчикам стала доступна российская облачная среда для разработки — GigaIDE Cloud со встроенным AI-ассистентом GigaIDE Cloud позволяет разработчику начать работу над проектом всего за несколько секунд без необходимости настройки рабочего окружения и с привычных устройств. Облачная среда обеспечивает редактирование, отладку, проверку и совместную работу с кодом, а также постоянный и безопасный доступ к предварительно настроенным рабочим пространствам. В GigaIDE Cloud интегрирован AI-ассистент разработчика GigaCode. Он автоматизирует рутинные процессы, дает советы и подсказки в реальном времени — пользуйтесь автодополнением кода, оптимизируйте код и исправляйте ошибки с поддержкой AI Начать пользоваться GigaIDE Cloud — по ссылке

🖥 ​SuperMassive — это распределенная, масштабируемая, устойчивая к сбоям и самовосстанавливающаяся база данных ключ-значение, работающая в оперативной памяти! Она предназначена для обработки больших объемов критически важных данных с низкой задержкой. 🔐 Лицензия: BSD-3-Clause 🖥 Github @sqlhub

✒️ Разбираем тестовое задание в Альфа Банк на позицию Junior Аналитика данных Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем разбирать реальное тестовое задание, которое дают аналитикам в Альфа Банке💻 Что будем делать на вебинаре: 🟠 Напишем сложные SQL-запросы для банковских данных; 🟠 Вспомним, как правильно использовать оконные функции; 🟠 Узнаем, как создавать разметку, из чего она состоит и для чего она нужна; 🟠 На реальных данных проведем когортный анализ и сделаем выводы; 🟠 Расскажем, как доставать инсайты из данных. Вебинар проведет Денис Иванов, ведущий продуктовый аналитик 🏃‍♀️ Зарегистрироваться на бесплатный вебинар

🐼 Pandas умирает медленной и мучительной смертью. Это самая популярная в мире библиотека обработки данных, но она медленная, и многие библиотеки значительно превзошли ее. Проблема альтернатив Pandas в том, что никто не хочет изучать новый API. Давайте посмотрим правде в глаза: люди не будут переносить свои проекты, га другие фреймворки, без особой причины. Я уже давно работаю с FireDucks 🦆 Эта библиотека в разы быстрее Pandas, и вам не придется менять код старых проектов для перехода на нее. Вы можете изменить *одну* строку кода и весь остальной код будет работать на FireDucks :

import fireducks.pandas as pd

Вы также можете запустить свой код *не* изменяя ни одной строки, используя хук:

python 
$ python -mfireducks.imhook yourfile[.]py

FireDucks — это многопоточная библиотека с ускорением компилятора и полностью совместимым с pandas API. Она быстрее, чем Polars. Ниже приведена ссылка на некоторые бенчмарки, сравнивающие Pandas, Polars и FireDucks. FireDucks побеждает с отрывом. ⛓️Здесь находится репозиторий FireDucks на GitHub: https://github.com/fireducks-dev/fireducks ⛓️Если вы хотите пощупать либу, откройте этот пример: https://github.com/fireducks-dev/fireducks/tree/main/notebooks/nyc_demo ⛓️Если вы хотите сравнить FireDucks с Polars и Pandas, вот еще один блокнот: https://github.com/fireducks-dev/fireducks/blob/main/notebooks/FireDucks_vs_Pandas_vs_Polars.ipynb ⛓️И наконец, бенчмарки, с которыми стоит ознакомиться: https://fireducks-dev.github.io/docs/benchmarks/ @sqlhub #fireducks #Pandas #dataanalysis #datascience #python #opensource

Соединение данных в PostgreSQL: алгоритмы и виды JOIN Приглашаем на практический открытый урок от Otus, посвященный курсу «PostgreSQL для администраторов баз данных и разработчиков»  На уроке рассмотрим: Обзор основных видов JOIN в PostgreSQL Подробно изучим алгоритмы соединения таблиц Практические примеры использования JOIN-операторов ✅ Практика: оптимизация существующих SQL-запросов и создание новые, более эффективных запросов для обработки больших объемов данных в PostgreSQL. 👉 Регистрация и подробности https://otus.pw/5Uep/?erid=2W5zFGDyrhn #реклама О рекламодателе

❓ Как построить конвейер ETL (Extract, Transform and Load) из SQL Server в Postgres? 💡 Узнайте, как создать конвейер ETL с PySpark для извлечения данных из SQL Server, их преобразования и загрузки в базу данных Postgres. Используйте распределенную мощь Spark для бесперебойной обработки больших наборов данных! 🕞 Продолжительность: 8:32 🔗 Ссылка: *клик* @sqlhub

🔔 PostgreSQL уже не справляется? Пора на новый уровень! В мире больших данных время — главный ресурс. Если вам нужны мощные аналитические запросы, горизонтальное масштабирование и высокая производительность, пора знакомиться с Arenadata DB (Greenplum). 📅 На открытом вебинаре 4 марта в 18:30 МСК разберем: - Отличия MPP ArenadataDB от PostgreSQL - Как запускать и останавливать кластер - Как писать аналитические запросы, чтобы получать максимум 👨‍🏫 Спикер: Алексей Железной — Senior Data Engineer с большим опытом и широким технологическим стеком. 🔗 Регистрируйтесь и получите скидку на большое обучение «Greenplum для разработчиков и архитекторов баз данных»: https://otus.pw/s10x/?erid=2W5zFGtYCqn Не упустите возможность поднять свои навыки на новый уровень! 💪 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Шпаргалка по последовательности выполнения SQL запроса! @sqlhub

Как стать аналитиком и не сдаться на пути Я часто вижу сообщения от тех, кто только планирует войти в мир аналитики или делает первые шаги. Звучат они они примерно так: 😶 Я гуманитарий, и мне кажется, аналитика — это не для меня… 😶 Смотрю на программу обучения, и всё кажется таким сложным, боюсь, что ничего не пойму. 😶 Мне уже за 30, смогу ли я переучиться и, главное, найти работу после этого? 😶 Не знаю, с чего начать: SQL, Python, метрики? 😶 Столкнулся со сложной темой, потерял мотивацию и веру в свои силы 🙁 Все эти сообщения объединяет одно — растерянность и сомнения в своих силах. Знакомо? О том, как отправляться в путь к новой профессии поговорим на вебинаре 25 февраля в 19:00 по мск на тему «Как стать аналитиком и не сдаться на пути». Спикер — Владимир Камчаткин, тимлид продуктовой аналитики образовательной платформы Т-Банка, более 3 лет работы в образовании, автор тг-канала Data New Gold На вебинаре обсудим: 🟠Какие сложности возникали у Владимира и как он их преодолевал; 🟠Как ставить цели, планировать обучение и выбирать качественные ресурсы; 🟠Как совмещать обучение с работой; 🟠Применение нейронауки и психологии для повышения эффективности запоминания; 🟠Ответы на вопросы участников вебинара. Зарегистрироваться на бесплатный вебинар

🔥 ERD Lab — это бесплатный онлайн-инструмент, предназначенный для профессионального проектирования и визуализации баз данных с использованием диаграмм "сущность-связь" (ERD)! Он позволяет импортировать существующие SQL-скрипты или создавать новые базы данных без необходимости писать код, что упрощает процесс разработки и документирования структур данных. 🔗 Ссылка: *клик* @sqlhub

Бесплатный практический вебинар по аналитике данных от karpov courses. Данные — универсальная валюта 21 века. А их анализ необходим для принятия обоснованных и эффективных решений. Поэтому спрос на специалистов, умеющих работать с данными стабильно растёт, как и их зарплаты — компании готовы платить компетентным специалистам. Если вы стремитесь не просто работать с данными, а понимать их суть, то обязательно посетите бесплатный практический вебинар от karpov courses — «Аналитик данных: все, что нужно знать для старта в профессии». Получить эти навыки вы можете на бесплатном практическом вебинаре от karpov courses. Там вам расскажут про Python, SQL, статистику, метрики, Airflow, BI, кто такие аналитики и как вы сталкиваетесь с результатами их работы каждый день, а также найдете ответ на вопрос “а зачем вообще любой компании нужен аналитик”? Вебинар пройдет 27 февраля в 19:00 по мск, зарегистрироваться можно по ссылке: https://clc.to/erid_2W5zFHLk76Y Регистрируйтесь и перестаньте бояться быстрорастущего мира IT! Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627

Классный сайт для тренировки навыков SQL. На сайте размещены задачи, которые решаются через базу данных больницы. Уровни сложности разные — от простых запросов с SELECT до по-настоящему сложных. Берём на вооружение для практики! https://www.sql-practice.com/ @sqlhub

🖥 Outerbase Studio — это браузерный графический интерфейс для управления SQL-базами данных, разработанный для простоты и универсальности! Изначально созданный для LibSQL и SQLite, он теперь поддерживает широкий спектр баз данных, включая PostgreSQL и MySQL. Основные возможности: 🌟 Редактор запросов: удобный интерфейс с автодополнением и подсказками функций, позволяющий выполнять несколько запросов одновременно и эффективно просматривать результаты. 🌟 Редактор данных: позволяет вносить изменения в данные с возможностью предварительного просмотра перед сохранением; оптимизирован для работы с большими объемами данных. 🌟 Редактор схемы: обеспечивает быстрое создание, изменение и удаление столбцов таблиц без необходимости писать SQL-код. 🌟 Менеджер подключений: гибко управляет подключениями, позволяя сохранять их локально в браузере или на сервере для совместного использования на разных устройствах. 🔐 Лицензия: AGPL-3.0 🖥 Github @sqlhub

⚡️ RushDB — это мгновенная база данных, построенная на базе Neo4j, не требующая моделирования, конфигураций, нормализаций данных и идеально подходит для разработки приложений, DS/ML Ops и быстрого прототипирования. 🌟 Принимает любые данные формате JSON, JSONB и CSV, и самостоятельно нормализует данные, создавая связи между данными, расставляет типы данных и лэйблы на основе передаваемых данных. ☁️ Доступна в облаке и селф-хостед. 🛠 API-first и удобные SDK для разработчиков: Python и TypeScript 🚀 Отлично подходит для стартапов, AI-команд и всех, кто работает с графами 🔐 Лицензия: Apache-2.0 🟢 GitHub 🟢Website 📖Docs

🔥 Prophet — это библиотека для прогнозирования временных рядов! 🌟 Она предназначена для автоматического выявления сезонности, трендов и аномалий в данных, облегчая процесс прогнозирования даже для пользователей без глубоких знаний в области статистики. 🔐 Лицензия: MIT 🖥 Github @sqlhub

Математика — это прекрасный язык, которым можно описать практически всё. Но есть нюансы Директор по развитию искусственного интеллекта в Яндексе Александр Крайнов стал гостем сезона «Лица Data Fusion» в подкасте «Деньги любят техно». Ведущий подкаста Денис Суржко, заместитель руководителя департамента анализа данных и моделирования ВТБ, пригласил Александра на чай и задал ему профессиональные и философские вопросы. В выпуске обсудили: • Кто такие специалисты по ИИ сегодня • Какой фундамент необходим, чтобы быть классным дата-сайентистом • Как подходят к подбору сотрудников в команду ИИ в Яндексе • Сходства и различия работы на компанию и в науке • Мотивацию, процессы, выстраивание работы в командах • Подходы к разработке ИИ-продуктов и исследований в России и Китае • Будущее ИИ Послушать или посмотреть эпизод рекомендуем всем, кто строит карьеру в сфере Data Science. Ссылка на видеоверсию в ВК: *клик* Ссылка на аудиоплатформы: *клик*

🔥 Prophet — это библиотека для прогнозирования временных рядов! 🌟 Она предназначена для автоматического выявления сезонности, трендов и аномалий в данных, облегчая процесс прогнозирования даже для пользователей без глубоких знаний в области статистики. 🔐 Лицензия: MIT 🖥 Github @sqlhub

🔧Как настроить интеграцию ClickHouse с Postgres, Kafka, S3 и Superset? 🔥24 февраля в 18:30 (мск) — откройте для себя готовые решения на практическом вебинаре с Алексеем Железным! Вы научитесь: - Подключать ClickHouse к PostgreSQL. - Настраивать стриминг данных через Kafka. - Интегрировать ClickHouse с BI-инструментом Superset для построения отчетов. После вебинара вы сможете уверенно настраивать все коннекторы и использовать их для создания мощных аналитических решений. Получите практические знания и прокачайте свои навыки! Не упустите шанс! Регистрируйтесь прямо сейчас! 👉 Регистрация: https://otus.pw/16ds/?erid=2W5zFHBxtor Бесплатное занятие приурочено к старту курса ClickHouse. После обучения вы научитесь быстро и эффективно настраивать БД, работать с ее продвинутыми функциями и интегрировать с другими системами. Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Hector RAG — это фреймворк для создания систем генерации текста с дополнением извлеченной информацией (Retrieval Augmented Generation, RAG), построенный на базе PostgreSQL. Он предоставляет расширенные методы поиска и объединения данных для разработки AI-приложений! 🔐 Лицензия: MIT 🖥 Github @sqlhub

👣 qdrant: Qdrant - высокопроизводительная, масштабная векторная база данных и векторная поисковая система для следующего поколения ИИ. Также доступна в облаке https://cloud.qdrant.io ★21546 pip install qdrant-client 🖥 Github @sqlhub