Data Science. SQL hub

Как изменился рынок аналитики за 2024 год? Агентство NEWHR опубликовало новое исследование, опросив 1293 аналитиков разных уровней — от Junior-специалистов до руководителей. Главные тейки: 🟠Авито стал лучшим работодателем для аналитиков — его выбрали более 35% опрошенных. 🟠Хотя бы один раз за последние 2 года место работы меняли 60% респондентов. 🟠На текущем месте работы аналитиков чаще всего удерживают интересные задачи (52,6), хорошая зарплата (51,5%) и перспективы профессионального роста (49,4%). 🟠51,5% респондентов работают на удаленке. 🟠Более 70% в 2024 году стали получать больше. @sqlhub

⚡️ R1-Omni — это исследовательский проект, направленный на создание объяснимой омни-мультимодальной системы распознавания эмоций с использованием обучения с подкреплением с верифицируемой наградой (RLVR). Основные особенности: ⚫ Объяснимость и мультимодальность: Проект объединяет визуальные, аудио и текстовые данные для распознавания эмоций, что позволяет глубже анализировать эмоциональные состояния. ⚫ RLVR: Применение обучения с подкреплением с верифицируемой наградой значительно улучшает способность модели к рассуждению и пониманию влияния разных модальностей. ⚫ Улучшенная обобщаемость: Модель демонстрирует высокие результаты не только на обучающих данных, но и в условиях, когда данные отличаются от тех, на которых модель обучалась (out-of-distribution). ⚫ Инновационный подход: Это первая в отрасли система, использующая RLVR для омни-мультимодального анализа, что открывает новые возможности в области эмоционального распознавания. Польза для разработчиков: ⚫ Исследования и разработки: Проект предоставляет открытый код, подробные инструкции и примеры, что делает его ценным ресурсом для экспериментов и дальнейших исследований в области мультимодальных ИИ-систем. ⚫ Практическое применение: Возможность интеграции системы в приложения для мониторинга эмоций, интеллектуальных ассистентов и других сервисов, где важна эмоциональная оценка. ⚫ Обучение и вдохновение: R1-Omni демонстрирует современные методы работы с данными из разных источников, что может стать основой для создания новых решений в области обработки естественного языка, компьютерного зрения и аудиоанализа. Таким образом, R1-Omni интересен разработчикам и исследователям, стремящимся создавать интеллектуальные системы с глубоким пониманием эмоций и мультиканальными данными. 📌 GitHub @sqlhub

⚡️Как эффективно устранять дубликаты в ClickHouse: Практический вебинар 18 марта в 18:30 (мск) — присоединяйтесь к вебинару с Алексеем Железным и разберитесь с механиками дедупликации данных в ClickHouse! 🔥На занятии вы: > Освоите методы удаления дубликатов с помощью ReplacingMergeTree и UNIQUE. > Научитесь использовать GROUP BY + FINAL для оптимизации запросов. > Поймёте, как минимизировать накладные расходы при дедупликации. ❗️После вебинара вы сможете эффективно устранять дубликаты данных, выбирать правильные подходы и повысить производительность своих запросов в ClickHouse. Регистрируйтесь на вебинар и улучшайте свои навыки! 👉 Регистрация: https://otus.pw/m65U/?erid=2W5zFJfyXcU Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Pumpfun-Smart-Contract-SOL — это реализация смарт-контракта для блокчейна Solana, размещённая на GitHub. Он может быть полезен разработчикам по следующим направлениям: ⚫ Обучение и практика: Проект демонстрирует, как писать, тестировать и разворачивать смарт-контракты в экосистеме Solana. ⚫ Пример архитектуры: Разработчики могут изучить структуру кода, способы взаимодействия с блокчейном и методы обеспечения безопасности смарт-контрактов. ⚫ Инструменты и библиотеки: В репозитории могут быть использованы современные инструменты разработки, что помогает быстрее освоить лучшие практики создания децентрализованных приложений. ⚫ Расширяемость: Исходный код можно адаптировать под конкретные задачи, что делает его отличным шаблоном для создания собственных проектов на Solana. 📌 GitHub @sqlhub

Хотите получить много практики на рельных задачах, собрать портфолио и узнать как выглядит рабочий день аналитика? CEO Simulative и эксперт с большим опытом в аналитике, Андрон Алексанян организовал бесплатный интенсив, где в течение 3 недель вы будете решать реальные задачи, с которыми аналитики сталкиваются на работе На прямых эфирах вы сделаете: 🟠Анализ активности пользователей с помощью SQL 🟠Анализ маркетинговых активностей с помощью Python 🟠ABC анализ ассортиментной матрицы в Excel (уже прошел, но вам будет доступна запись) Во время эфиров вы узнаете много лайфхаков, а также будете получать полезные материалы для развития в аналитике на протяжении всего интенсива ❗️Знать Python и SQL не обязательно — все будем разбирать с нуля 🕗Встречаемся на новом эфире уже завтра, 13 марта в 19:00 по мск Участвовать в бесплатном интенсиве

🖥 ingestr — инструмент командной строки, предназначенный для копирования данных между различными базами данных с помощью одной команды! 🌟 Он поддерживает множество источников и пунктов назначения, включая Postgres, BigQuery, Snowflake, Redshift, Databricks, DuckDB, Microsoft SQL Server и другие. ingestr позволяет выполнять как полное обновление данных, так и инкрементальную загрузку с использованием стратегий append, merge или delete+insert. Установка инструмента осуществляется через пакетный менеджер pip, а использование не требует написания кода — достаточно указать необходимые параметры в командной строке. 🔐 Лицензия: MIT 🖥 Github @sqlhub

🖥 Простыми словами: Как хранятся пароли в базах данных В современном мире защиты данных крайне важно, чтобы пароли не хранились в виде обычного текста. Вместо этого используются их «закодированные отпечатки» – хеши, полученные в результате специального процесса хеширования. Это гарантирует, что даже при компрометации базы данных злоумышленник не сможет восстановить исходный пароль. 📌 Как это работает:   • При регистрации пароль проходит хеширование с применением современных алгоритмов (например, bcrypt, scrypt или Argon2), часто с добавлением уникальной соли для каждого пользователя.   • При авторизации введённый пароль снова хешируется, и полученный хеш сравнивается с тем, что хранится в базе. Совпадение означает, что введённый пароль верный. 📌 Почему так делают:   • Безопасность: Даже если база будет взломана, злоумышленник увидит лишь набор случайных символов, из которых восстановить оригинальный пароль практически невозможно.   • Секретность: Администраторы системы не имеют доступа к исходным паролям – хеши необратимы.   • Надёжность: Использование соли и, при необходимости, перца, значительно усложняет атаки с помощью радужных таблиц и повышает общую стойкость системы. В итоге, пароли в базах данных – это не сами пароли, а их «отпечатки», которые можно сравнивать, но никак не восстановить. Этот подход напоминает замок, который открывается лишь при наличии правильного ключа, при этом сам ключ нигде не хранится. #базыданных #безопасность #хеширование #пароли @sqlhub

Как работает автоматическое переключение на резервный сервер в случае сбоя основного?  Разберем концепцию высокой доступности баз данных и автоматического failover на практике Приглашаем на открытый практический урок «Отказоустойчивый кластер Patroni» в рамках курса PostgreSQL для администраторов баз данных и разработчиков ✅ Практика: настройка кластер Patroni, включая конфигурацию DCS, настройку PostgreSQL и HAProxy.  Освойте основные команды Patroni для управления кластером, такие как переключение ролей, перезагрузка, реинициализация и настройка синхронной репликации.  Навыки полученные на уроке позволят создать отказоустойчивые решения для своих баз данных и эффективно администрировать отказоустойчивые кластеры PostgreSQL. 👉  Регистрация и подробности:  https://otus.pw/v5QN/?erid=2W5zFJ4NUvU #реклама О рекламодателе

🖥 Эта статья посвящена инструменту pg-index-health, созданному для статического анализа индексов PostgreSQL баз данных! 🌟 Автор описывает эволюцию инструмента, который помогает находить проблемы в структуре базы данных, такие как дублирующиеся или избыточные индексы, неиспользуемые индексы, а также потенциальные ошибки проектирования. 🔗 Ссылка: *клик* @sqlhub

⚡️Как эффективно мигрировать данные в ClickHouse: Денормализация и оптимизация 11 марта в 20:00 мск — присоединяйтесь к вебинару с Константином Трофимовым и узнайте, как ускорить аналитику с помощью правильной миграции данных!  На вебинаре вы: > Изучите методы импорта данных из других систем в ClickHouse. > Научитесь денормализовать данные для ускорения запросов. > Узнаете, как обогатить данные с помощью словарей и других функций ClickHouse. 🔥После вебинара вы будете уверенно работать с миграцией данных в ClickHouse, улучшать производительность и избегать распространенных ошибок при переходе на новую систему. Запишитесь на вебинар и улучшите свои навыки уже сегодня! 👉 Регистрация: https://otus.pw/glzWi/?erid=2W5zFJJ3rKA Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

SQL реально спасает жизни 😂 @sqlhub

Defog Introspect Defog Introspect позиционируется как сервис для глубокого исследования ваших данных. Он позволяет: - Анализировать структурированные данные: Поддерживаются популярные СУБД (PostgreSQL, MySQL, SQLite, BigQuery, Redshift, Snowflake, Databricks) и файлы форматов CSV/Excel. - Работать с неструктурированными данными: Интеграция PDF-документов, что позволяет получать дополнительные сведения из документации или отчетов. - Выполнять поиск в интернете: Инструмент способен обращаться к веб-источникам для получения дополнительного контекста, что расширяет возможности анализа данных. Источник: Как это работает? Инструмент использует "умного" AI-агента, который может: - Преобразовывать текстовые запросы в SQL-запросы (инструмент text_to_sql), что упрощает работу с базами данных. - Использовать веб-поиск (инструмент web_search) для поиска дополнительной информации и контекста. - Анализировать PDF-файлы (инструмент pdf_with_citations) с возможностью цитирования источников. Для реализации этих функций используются передовые модели, такие как: o3-mini для преобразования текста в SQL. gemini-2.0-flash для веб-поиска. claude-3-7-sonnet для работы с PDF и общей оркестрации запросов. Источник: https://github.com/defog-ai/introspect @sqlhub

Хотите научиться автоматизировать процессы обработки данных как в Бигтехе? Чтобы проанализировать большой массив данных, его нужно обработать. Обычно это происходит в три этапа: извлечение, трансформация и загрузка (или ETL). Но чем больше становится данных, тем труднее управлять этим процессом вручную — автоматизировать его можно с помощью Airflow. Чтобы научиться работать с Airflow, приходите на бесплатный вебинар, где Антон Шишков, опытный Software Engineer из бигтех-компании, — поделится с вами своими знаниями и лучшими практиками работы с Airflow на примере автоматизации сбора данных. Что мы будем делать на вебинаре: 🟠 Познакомимся с Airflow: узнаем, как он может упростить работу и повысить эффективность; 🟠 Узнаем об операторах и сенсорах: как использовать для создания гибких и надежных конвейеров данных; 🟠 Напишем базовые и продвинутые DAG'и, чтобы вы могли применить их на практике; 🟠 Разберем, как использовать Docker, FastAPI, Postgres, Clickhouse и Minio для автоматизации ETL-процессов. 🕗Встречаемся 4 марта в 19:30 по мск Зарегистрироваться на бесплатный вебинар

🔥 Meta Learning: Deep Learning Guide — практическое руководство по освоению машинного и глубокого обучения! 🌟 Автор делится своим опытом, начиная с изучения программирования в 29 лет и достигая успехов в соревнованиях Kaggle. Основные темы включают эффективные стратегии обучения, улучшение навыков разработки, выбор инструментов, работу с сообществом, поиск наставников и построение карьеры без формального образования. 🔗 Ссылка: *клик* #machinelearning #deeplearning freecourses

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах! 🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность. 🖥 Github @sqlhub

AI меняет мир, а вы остаетесь в стороне? На Data Fusion 2025 есть все, что нужно знать об AI сегодня и завтра. 5-я международная конференция в сфере искусственного интеллекта и больших данных состоится уже 16-17 апреля в Москве! Вас ждут: 🔥 Острые дискуссии: сможет ли AI заменить человека? Где грань между ошибкой ИИ и прорывом? 🔍 70+ сессий: тренды и передовые исследования в области больших данных и технологий AI 💡Классный нетворкинг: живое неформальное общение с бизнес-лидерами, учеными, представителями государства. Расписание, спикеры и темы — уже на сайте. Регистрируйтесь бесплатно по ссылке — https://data-fusion.ru 📍 Москва, технопарк «Ломоносов» Мы заботимся о вашей безопасности и просим заполнить развернутую форму — это займет всего пару минут. Спасибо за понимание! 🙌 — *AI — искусственный интеллект *нетворкинг — полезные связи

🖥 FalkorDB — это масштабируемая графовая база данных с низкой задержкой, предназначенная для команд разработчиков, управляющих структурированными и неструктурированными взаимосвязанными данными в реальном времени или интерактивных средах! 🌟 Она использует разреженные матрицы для представления матриц смежности и линейную алгебру для выполнения запросов, что обеспечивает высокую производительность и эффективность. 🖥 Github @sqlhub

🔥 Smallpond — это легковесный фреймворк для обработки данных, разработанный на основе DuckDB и 3FS! 🌟 Он обеспечивает высокопроизводительную обработку данных и масштабируемость для работы с наборами данных петабайтного масштаба. Фреймворк упрощает операции, не требуя длительно работающих сервисов. 🔐 Лицензия: MIT 🖥 Github @sqlhub

🖥 ​SQL Noir — это интерактивная игра с открытым исходным кодом, в которой вы выступаете в роли детектива, решающего преступления с помощью SQL-запросов! 🌟 Каждое дело представляет уникальный сценарий преступления и базу данных с уликами, где ваша задача — выявлять подозрительные закономерности, отслеживать отсутствующие записи, связывать подозреваемых и раскрывать мошеннические операции, используя SQL. 🔗 Ссылка: *клик* @sqlhub