Data Science. SQL hub

SCDB: простая Open Source БД типа «ключ — значение» Представляем SCDB, то есть Solid-Core-Database. Этот проект еще находится на ранних стадиях разработки и задуман для решения задач и проблем разработчиков. Что такое SCDB? ▪️scdb  — легковесная, простая и скоростная подсистема хранения данных типа «ключ — значение». Сделана она по примеру архитектуры хранилища Bitcask, эффективной при операциях записи. ▪️Основной принцип проектирования scdb и Bitcask  — журналируемые файловые системы. Здесь все изменения добавляются в конец журнала, а записи очень быстрые, так как выполняются последовательно. При таком построении, помимо скорости, обеспечивается целостность данных: даже в случае отказа системы они легко восстанавливаются благодаря этому методу с возможностью только добавлять. ▪️В scdb реализован процесс объединения лог-файлов. Со временем вместе с записываемыми приложением данными увеличивается и количество лог-файлов. Объединением лог-файлов предотвращается фрагментация, поддерживается производительность. Для данных это как домашняя уборка, после которой хранилище остается организованным и эффективным. ▪️Созданная для беспроблемного хранения и извлечения пар «ключ — значение», SCDB придется кстати разработчикам приложений с быстрой записью данных и простым, но надежным хранилищем. Пример: 📌 Читать дальше @sqlhub

🖥 DuckDB Теперь в DuckDB можно подключать базы данных MySQL, Postgres и SQLite в дополнение к базам данных, хранящимся в ее собственном формате. Это позволяет считывать данные в DuckDB и перемещать их между этими системами удобным способом. ▪Подробнее ▪Github @sqlhub

Какими инструментами нужно владеть для работы с высоконагруженной архитектурой? Расскажем на бесплатном практическом уроке «Роль Tarantool в высоконагруженной архитектуре» от OTUS. На вебинаре разберём: - особенности, функционал и преимущества Tarantool; - архитектурные шаблоны и примеры его применения; - итоги и вопросы. 🔥 Урок будет полезен для разработчиков, сисадминов и архитекторов, интересующихся высоконагруженными системами. Занятие пройдёт 31 января в 20:00 мск и будет приурочено к старту курса «Highload Architect». Доступна рассрочка на обучение! Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке: https://otus.pw/cyxs/?erid=LjN8JwGc7 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Как вы решаете, какой тип базы данных использовать? Сегодня существуют сотни и даже тысячи баз данных, таких как Oracle, MySQL, MariaDB, SQLite, PostgreSQL, Redis, ClickHouse, MongoDB, S3, Ceph и т. д. Как выбрать архитектуру для своей системы? Вкратце я могу сказать следующее: 🔹Реляционные базы данных. С их помощью можно решить практически любую задачу. 🔹In-memory СУБД это система управления базами данных, которая хранит информацию непосредственно в оперативной памяти. 🔹Базы данных временных рядов. Хранят и управляют данными с временными метками. 🔹Графовая база данных. Подходит для сложных отношений между неструктурированными объектами. 🔹Документное хранилище. Хорошо подходят для больших неизменяемых данных. 🔹Хранилище широких колонок. Обычно используются для больших данных, аналитики, отчетности и т. д., где требуются денормализованные данные. Очевидно, что тут не описаны все типы баз данных. Есть ли что-то еще, что вы часто используете, и почему вы выбрали именно эту технологию? @sqlhub

🔍 Manticoresearch Manticore Search - это простая в использовании быстрая база данных с открытым исходным кодом для поиска. Хорошая альтернатива Elasticsearch. От других решений его отличает следующее: Она очень быстрая и более экономичная, чем альтернативы, например, Manticore: ▪182 раза быстрее, чем MySQL для небольших датасетов ▪В 29 раз быстрее, чем Elasticsearch для анализа журналов ▪В 15 раз быстрее, чем Elasticsearch для небольших наборов данных ▪В 5 раз быстрее, чем Elasticsearch для средних датасетов ▪В 4 раза быстрее, чем Elasticsearch для больших датасетов github.com/manticoresoftware/manticoresearch @sqlhub

🖥 Поиск строк в одной таблице, отсутствующих в другой, в Oracle Database с помощью t1 MINUS t2 Любые дубликаты строк только в T1 исключаются из результатов В 21c добавлен MINUS ALL, который возвращает избыточные дубликаты. Также добавлен синоним MINUS - EXCEPT, соответствующий стандарту #SQL Oператор MINUS используется для возврата всех строк первого запроса SELECT, не возвращаемых вторым SELECT. @sqlhub

🔥 Разбор гигантских наборов данных JSON за считанные секунды с помощью JSONalyze, новейшего механизма запросов. JSONalyze принимает JSON (например, ответ API) и преобразует его в таблицу SQLite. Затем он выполняет точные SQL-запросы к этим данным, чтобы ответить на ваш запрос! Это отличная комбинация LlamaIndex для работы со структурированными и полуструктурированными данными, а также преобразования текста в SQL. https://docs.llamaindex.ai/en/latest/examples/query_engine/JSONalyze_query_engine.html @sqlhub

Новый год — старт для ваших новых карьерных возможностей 🎄 6 февраля приглашаем на Зимнюю ярмарку вакансий, которая пройдёт офлайн и онлайн. Это классная возможность стать частью IT-сообщества Яндекса и познакомиться с теми, кто создаёт сервисы с многомиллионной аудиторией. Что вас ждёт 🔸 Вакансии для стажёров Узнаете о новых вакансиях и задачах, а также сможете лично пообщаться с командами и подать заявку туда, где понравится больше всего. 🔸 Полезные лекции Узнаете о технологиях и кейсах из практики от экспертов Яндекса. Лекции пройдут по основным направлениям стажировки: бэкенд, фронтенд, мобильная разработка, аналитика и машинное обучение. 🔸 Нетворкинг со стажёрами Яндекса Узнаете, как они проходили отбор, как готовились и чем планируют заниматься дальше. Сейчас в Яндексе одновременно стажируются более 600 человек — им есть что рассказать. Как попасть на Зимнюю ярмарку вакансий Чтобы попасть на ярмарку, нужно пройти предварительный отбор — решить задачи на Яндекс Контесте до 31 января включительно. Мы проверим решения, оценим анкеты и позовём лучших на день стажёра в Москве. Приглашения придут до 2 февраля включительно. 🍭 Закрытое шоу Тех, кто решит все задачи из Контеста, мы пригласим на вечернее закрытое шоу «Всё в плюсе». Это соревнование между различными бизнес-группами Яндекса, в которых примут участие и стажёры, и топовые разработчики. Знакомство с различными сервисами, нетворкинг с действующими стажёрами, вечеринка с кавер-группой и диджеем — это то, что ждёт вас на шоу. Узнать подробности и подать заявку — https://yandex.ru/yaintern/intern-day.

🖥 MongoDB для Python - NoSQL база данных. https://www.youtube.com/watch?v=THXT_SGo6xs @sqlhub

🔝SQLite: от мобильных устройств и операционных систем до популярных браузеров и различных языков программирования Почему SQLite столь популярны? SQLite — это легкая встраиваемая СУБД, когда система управления встраивается в саму программу. Это значит, что все запросы и команды идут в базу не через посредника, а напрямую из приложения. Все данные в SQLite хранятся в одном файле — таблицы, служебные поля, связи и всё остальное. Это упрощает работу с базой и позволяет легко переносить данные из одного места в другое. @sqlhub

Как спецу, работающему с базами данных претендовать на позицию в крупную компанию? Прокачать необходимые скиллы на онлайн-курсе от OTUS! Вы освоите  все необходимые навыки работы с реляционными и нереляционными базами данных и усилите портфолио реальными проектами. Протестируйте обучение на открытых уроках: ✅ 29 января —  «Изучение NoSQL БД через замечательную Cassandra» Практика с Cassandra. ✅ 12 февраля —  «MVCC, vacuum и autovacuum в PostgreSQL» Рассмотрим как работает MVCC в Postgres и зачем и как работает vacuum и autovacuum. Эксперты рынка из Wildberries, X5 Group и других крупнейших tech-компаний поделятся своим многолетним опытом, чтобы вы чувствовали себя уверенно на карьерном пути 👉 Регистрация на открытый урок https://otus.pw/pWZC/?erid=LjN8KZyjB Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Совет SQL Вы можете использовать CASE для выполнения логики IF-THEN вместе с WHERE, например: WHERE CASE WHEN pct_correct >= 70 THEN 'Merit' WHEN pct_correct >= 50 THEN 'Pass' ELSE 'Fail' END <> 'Fail' #sql #oracle ▪ Подробнее @sqlhub

🔥Подборка лучших обучающих каналов для программистов. ➡️Делитесь с коллегами и Сохраняйте себе, чтобы не потерять ⚡Машинное обучение Machine Learning - полезные статьи новости гайды и разбор кода Ml Собеседование - подготовка к собеседовению мл, алгоритмам, кодингу Ml ru - актуальные статьи, новости, код и обучающие материалы Ml Jobs - вакансии ML ML Книги - актуальные бесплатные книги МО ML чат 🛢Базы данных Sql базы данных Библиотека баз данных SQL чат 🏆 Golang Golang собеседование Golang вакансии Golang книги Golang задачи и тесты Golang чат Golang news - новости go Golang #️⃣C# С# академия С# заметки — код, лучшие практики, заметки программиста c# С# задачи и тесты С# библиотека - актуальные бесплатные книги C# вакансии - работа 🚀 Data Science Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста Data Jobs - ds вакансии Аналитик данных Data Science книги - актуальные бесплатные книги Big data 🐍 Python Python/django Python Собеседование - подготовка к собеседовению python и разбор алгоритмов Pro python - статьи, новости, код и обучающие материалы Python Jobs - вакансии Python Python чат Python книги ☕ Java Java академия Java вакансии Java чат Java вопросы с собеседований Java книги 💻 C++ C++ академия С++ книги C++ задачи - подготовка к собеседовению мл, алгоритмам C++ вакансии 💥 Хакинг Kali Linux Kali linux linux_kal - kali чат Информационная безопасность 🐧 Linux Linux academy 🦀 Rust Rust программирование Rust чат 📲 Мобильная разработка Android разработка Мобильный разработчик гайды и уроки 🖥 Javascript/React/PHP Javascript академия React программирование PHP Книги frontend Задачи frontend 🇬🇧 Английский для программистов 🧠 Искусственный интеллект ИИ и технологии Neural - нейросети для работы и жизни Книги ИИ Artificial Intelligence 🔥 DevOPs Devops для программистов Книги Devops 🌟 Docker/Kubernets Docker Kubernets 😂 IT мемы 📓 Книги Библиотеки Книг для программситов 💼 Папка с вакансиями: Папка Go разработчика: Папка Python разработчика: Папка Data Science Папка Java разработчика Папка C#

🖥 Преобразование документов #XML в строки и столбцы в Oracle #SQL с помощью XMLTABLE ( '/path/to/elements' PASSING <xml> COLUMNS ... ) Команда генерирует строку для каждого элемента, на который ссылается путь. COLUMNS определяет путь к элементам и атрибутам, находящимся в этом пункте. @sqlhub

🖥 Join-операции в MySQL — инструмент оптимизации поиска данных Извлечение данных из нескольких таблиц — важнейший навык в области управления базами данных. Одним из мощных инструментов, находящимся в нашем распоряжении, является join (джоин, т. е. соединение). В этой статье рассмотрим концепции, лежащие в основе join-операций, и изучим стратегии эффективного извлечения данных. Сосредоточимся на MySQL — одной из самых популярных систем управления реляционными базами данных. ▪Читать @sqlhub

🖥 Сравнение векторных БД Это очень удобный сайт с полезной информацией для сравнения векторных баз данных. Вся информация собрана в одном месте, доступна для поиска, и вы можете добавить фильтры по интересующим вас параметрам. Очень полная и очень полезная информация! @sqlhub

🖥 Проект инженерии данных с DAG Airflow «от и до». Часть 1 Сделаем конвейер данных, целиком оркестрируемый в Airflow. Сначала создадим тему Kafka, затем отправим сообщения, в которых в качестве записей содержатся электронная почта и одноразовый пароль OTP. Таким образом проиллюстрируем потоковую передачу данных в тему Kafka. Далее получим эти данные из темы Kafka, вставим их в таблицу Cassandra и в коллекцию MongoDB и проверим наличие в них корректных данных. Если таковые имеются, отправим письмо на электронную почту и сообщение в Slack с адресом почты и одноразовым паролем OTP. Это реальный проект валидации электронной почты. Отправку в тему Kafka потоковых записей, включая данные электронной почты и одноразового пароля OTP, проиллюстрируем с отправителем Kafka. Наличие почты и пароля определим с помощью получателя Kafka и проверки данных. ▪Читать @sqlhub

Не нужно опыта и знаний в IT-сфере, чтобы попробовать себя в роли Python-разработчика в 2024 году. На бесплатном мини-курсе по Python вы на практике познакомитесь с задачами разработчиков, сделаете 4 крутых проекта и поймёте, ваша ли это профессия. Зарегистрируйтесь сейчас и получите полезный гайд по профессии. Из него вы узнаете, почему Python — идеальный язык для новичка: https://epic.st/kuLp1 За 4 занятия изучите видеоматериалы в записи. Практические работы и тесты будут после каждого видео. Научитесь создавать полезные приложения: от Telegram-ботов, которые упрощают жизнь, до сайтов и парсеров — программ для извлечения нужных данных из интернета. В финале вас ждёт прямой эфир с экспертом Анастасией Борневой — руководителем направления по исследованию данных в «Сбере». В прямом эфире она поделится профессиональными секретами, разберёт ваши работы и ответит на вопросы. Всем участникам дарим годовой доступ к изучению английского языка, набор полезных статей для начинающего разработчика и скидку 10 000 рублей на любой курс. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880.