Data Science. SQL hub

🖥 DuckDB Теперь в DuckDB можно подключать базы данных MySQL, Postgres и SQLite в дополнение к базам данных, хранящимся в ее собственном формате. Это позволяет считывать данные в DuckDB и перемещать их между этими системами удобным способом. ▪Подробнее ▪Github @sqlhub

Какими инструментами нужно владеть для работы с высоконагруженной архитектурой? Расскажем на бесплатном практическом уроке «Роль Tarantool в высоконагруженной архитектуре» от OTUS. На вебинаре разберём: - особенности, функционал и преимущества Tarantool; - архитектурные шаблоны и примеры его применения; - итоги и вопросы. 🔥 Урок будет полезен для разработчиков, сисадминов и архитекторов, интересующихся высоконагруженными системами. Занятие пройдёт 31 января в 20:00 мск и будет приурочено к старту курса «Highload Architect». Доступна рассрочка на обучение! Пройдите короткое тестирование прямо сейчас, чтобы занять место на открытом уроке: https://otus.pw/cyxs/?erid=LjN8JwGc7 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Как вы решаете, какой тип базы данных использовать? Сегодня существуют сотни и даже тысячи баз данных, таких как Oracle, MySQL, MariaDB, SQLite, PostgreSQL, Redis, ClickHouse, MongoDB, S3, Ceph и т. д. Как выбрать архитектуру для своей системы? Вкратце я могу сказать следующее: 🔹Реляционные базы данных. С их помощью можно решить практически любую задачу. 🔹In-memory СУБД это система управления базами данных, которая хранит информацию непосредственно в оперативной памяти. 🔹Базы данных временных рядов. Хранят и управляют данными с временными метками. 🔹Графовая база данных. Подходит для сложных отношений между неструктурированными объектами. 🔹Документное хранилище. Хорошо подходят для больших неизменяемых данных. 🔹Хранилище широких колонок. Обычно используются для больших данных, аналитики, отчетности и т. д., где требуются денормализованные данные. Очевидно, что тут не описаны все типы баз данных. Есть ли что-то еще, что вы часто используете, и почему вы выбрали именно эту технологию? @sqlhub

🔍 Manticoresearch Manticore Search - это простая в использовании быстрая база данных с открытым исходным кодом для поиска. Хорошая альтернатива Elasticsearch. От других решений его отличает следующее: Она очень быстрая и более экономичная, чем альтернативы, например, Manticore: ▪182 раза быстрее, чем MySQL для небольших датасетов ▪В 29 раз быстрее, чем Elasticsearch для анализа журналов ▪В 15 раз быстрее, чем Elasticsearch для небольших наборов данных ▪В 5 раз быстрее, чем Elasticsearch для средних датасетов ▪В 4 раза быстрее, чем Elasticsearch для больших датасетов github.com/manticoresoftware/manticoresearch @sqlhub

🖥 Поиск строк в одной таблице, отсутствующих в другой, в Oracle Database с помощью t1 MINUS t2 Любые дубликаты строк только в T1 исключаются из результатов В 21c добавлен MINUS ALL, который возвращает избыточные дубликаты. Также добавлен синоним MINUS - EXCEPT, соответствующий стандарту #SQL Oператор MINUS используется для возврата всех строк первого запроса SELECT, не возвращаемых вторым SELECT. @sqlhub

🔥 Разбор гигантских наборов данных JSON за считанные секунды с помощью JSONalyze, новейшего механизма запросов. JSONalyze принимает JSON (например, ответ API) и преобразует его в таблицу SQLite. Затем он выполняет точные SQL-запросы к этим данным, чтобы ответить на ваш запрос! Это отличная комбинация LlamaIndex для работы со структурированными и полуструктурированными данными, а также преобразования текста в SQL. https://docs.llamaindex.ai/en/latest/examples/query_engine/JSONalyze_query_engine.html @sqlhub

Новый год — старт для ваших новых карьерных возможностей 🎄 6 февраля приглашаем на Зимнюю ярмарку вакансий, которая пройдёт офлайн и онлайн. Это классная возможность стать частью IT-сообщества Яндекса и познакомиться с теми, кто создаёт сервисы с многомиллионной аудиторией. Что вас ждёт 🔸 Вакансии для стажёров Узнаете о новых вакансиях и задачах, а также сможете лично пообщаться с командами и подать заявку туда, где понравится больше всего. 🔸 Полезные лекции Узнаете о технологиях и кейсах из практики от экспертов Яндекса. Лекции пройдут по основным направлениям стажировки: бэкенд, фронтенд, мобильная разработка, аналитика и машинное обучение. 🔸 Нетворкинг со стажёрами Яндекса Узнаете, как они проходили отбор, как готовились и чем планируют заниматься дальше. Сейчас в Яндексе одновременно стажируются более 600 человек — им есть что рассказать. Как попасть на Зимнюю ярмарку вакансий Чтобы попасть на ярмарку, нужно пройти предварительный отбор — решить задачи на Яндекс Контесте до 31 января включительно. Мы проверим решения, оценим анкеты и позовём лучших на день стажёра в Москве. Приглашения придут до 2 февраля включительно. 🍭 Закрытое шоу Тех, кто решит все задачи из Контеста, мы пригласим на вечернее закрытое шоу «Всё в плюсе». Это соревнование между различными бизнес-группами Яндекса, в которых примут участие и стажёры, и топовые разработчики. Знакомство с различными сервисами, нетворкинг с действующими стажёрами, вечеринка с кавер-группой и диджеем — это то, что ждёт вас на шоу. Узнать подробности и подать заявку — https://yandex.ru/yaintern/intern-day.

🖥 MongoDB для Python - NoSQL база данных. https://www.youtube.com/watch?v=THXT_SGo6xs @sqlhub

🔝SQLite: от мобильных устройств и операционных систем до популярных браузеров и различных языков программирования Почему SQLite столь популярны? SQLite — это легкая встраиваемая СУБД, когда система управления встраивается в саму программу. Это значит, что все запросы и команды идут в базу не через посредника, а напрямую из приложения. Все данные в SQLite хранятся в одном файле — таблицы, служебные поля, связи и всё остальное. Это упрощает работу с базой и позволяет легко переносить данные из одного места в другое. @sqlhub

Как спецу, работающему с базами данных претендовать на позицию в крупную компанию? Прокачать необходимые скиллы на онлайн-курсе от OTUS! Вы освоите  все необходимые навыки работы с реляционными и нереляционными базами данных и усилите портфолио реальными проектами. Протестируйте обучение на открытых уроках: ✅ 29 января —  «Изучение NoSQL БД через замечательную Cassandra» Практика с Cassandra. ✅ 12 февраля —  «MVCC, vacuum и autovacuum в PostgreSQL» Рассмотрим как работает MVCC в Postgres и зачем и как работает vacuum и autovacuum. Эксперты рынка из Wildberries, X5 Group и других крупнейших tech-компаний поделятся своим многолетним опытом, чтобы вы чувствовали себя уверенно на карьерном пути 👉 Регистрация на открытый урок https://otus.pw/pWZC/?erid=LjN8KZyjB Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 Совет SQL Вы можете использовать CASE для выполнения логики IF-THEN вместе с WHERE, например: WHERE CASE WHEN pct_correct >= 70 THEN 'Merit' WHEN pct_correct >= 50 THEN 'Pass' ELSE 'Fail' END <> 'Fail' #sql #oracle ▪ Подробнее @sqlhub

🔥Подборка лучших обучающих каналов для программистов. ➡️Делитесь с коллегами и Сохраняйте себе, чтобы не потерять ⚡Машинное обучение Machine Learning - полезные статьи новости гайды и разбор кода Ml Собеседование - подготовка к собеседовению мл, алгоритмам, кодингу Ml ru - актуальные статьи, новости, код и обучающие материалы Ml Jobs - вакансии ML ML Книги - актуальные бесплатные книги МО ML чат 🛢Базы данных Sql базы данных Библиотека баз данных SQL чат 🏆 Golang Golang собеседование Golang вакансии Golang книги Golang задачи и тесты Golang чат Golang news - новости go Golang #️⃣C# С# академия С# заметки — код, лучшие практики, заметки программиста c# С# задачи и тесты С# библиотека - актуальные бесплатные книги C# вакансии - работа 🚀 Data Science Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста Data Jobs - ds вакансии Аналитик данных Data Science книги - актуальные бесплатные книги Big data 🐍 Python Python/django Python Собеседование - подготовка к собеседовению python и разбор алгоритмов Pro python - статьи, новости, код и обучающие материалы Python Jobs - вакансии Python Python чат Python книги ☕ Java Java академия Java вакансии Java чат Java вопросы с собеседований Java книги 💻 C++ C++ академия С++ книги C++ задачи - подготовка к собеседовению мл, алгоритмам C++ вакансии 💥 Хакинг Kali Linux Kali linux linux_kal - kali чат Информационная безопасность 🐧 Linux Linux academy 🦀 Rust Rust программирование Rust чат 📲 Мобильная разработка Android разработка Мобильный разработчик гайды и уроки 🖥 Javascript/React/PHP Javascript академия React программирование PHP Книги frontend Задачи frontend 🇬🇧 Английский для программистов 🧠 Искусственный интеллект ИИ и технологии Neural - нейросети для работы и жизни Книги ИИ Artificial Intelligence 🔥 DevOPs Devops для программистов Книги Devops 🌟 Docker/Kubernets Docker Kubernets 😂 IT мемы 📓 Книги Библиотеки Книг для программситов 💼 Папка с вакансиями: Папка Go разработчика: Папка Python разработчика: Папка Data Science Папка Java разработчика Папка C#

🖥 Преобразование документов #XML в строки и столбцы в Oracle #SQL с помощью XMLTABLE ( '/path/to/elements' PASSING <xml> COLUMNS ... ) Команда генерирует строку для каждого элемента, на который ссылается путь. COLUMNS определяет путь к элементам и атрибутам, находящимся в этом пункте. @sqlhub

🖥 Join-операции в MySQL — инструмент оптимизации поиска данных Извлечение данных из нескольких таблиц — важнейший навык в области управления базами данных. Одним из мощных инструментов, находящимся в нашем распоряжении, является join (джоин, т. е. соединение). В этой статье рассмотрим концепции, лежащие в основе join-операций, и изучим стратегии эффективного извлечения данных. Сосредоточимся на MySQL — одной из самых популярных систем управления реляционными базами данных. ▪Читать @sqlhub

🖥 Сравнение векторных БД Это очень удобный сайт с полезной информацией для сравнения векторных баз данных. Вся информация собрана в одном месте, доступна для поиска, и вы можете добавить фильтры по интересующим вас параметрам. Очень полная и очень полезная информация! @sqlhub

🖥 Проект инженерии данных с DAG Airflow «от и до». Часть 1 Сделаем конвейер данных, целиком оркестрируемый в Airflow. Сначала создадим тему Kafka, затем отправим сообщения, в которых в качестве записей содержатся электронная почта и одноразовый пароль OTP. Таким образом проиллюстрируем потоковую передачу данных в тему Kafka. Далее получим эти данные из темы Kafka, вставим их в таблицу Cassandra и в коллекцию MongoDB и проверим наличие в них корректных данных. Если таковые имеются, отправим письмо на электронную почту и сообщение в Slack с адресом почты и одноразовым паролем OTP. Это реальный проект валидации электронной почты. Отправку в тему Kafka потоковых записей, включая данные электронной почты и одноразового пароля OTP, проиллюстрируем с отправителем Kafka. Наличие почты и пароля определим с помощью получателя Kafka и проверки данных. ▪Читать @sqlhub

Не нужно опыта и знаний в IT-сфере, чтобы попробовать себя в роли Python-разработчика в 2024 году. На бесплатном мини-курсе по Python вы на практике познакомитесь с задачами разработчиков, сделаете 4 крутых проекта и поймёте, ваша ли это профессия. Зарегистрируйтесь сейчас и получите полезный гайд по профессии. Из него вы узнаете, почему Python — идеальный язык для новичка: https://epic.st/kuLp1 За 4 занятия изучите видеоматериалы в записи. Практические работы и тесты будут после каждого видео. Научитесь создавать полезные приложения: от Telegram-ботов, которые упрощают жизнь, до сайтов и парсеров — программ для извлечения нужных данных из интернета. В финале вас ждёт прямой эфир с экспертом Анастасией Борневой — руководителем направления по исследованию данных в «Сбере». В прямом эфире она поделится профессиональными секретами, разберёт ваши работы и ответит на вопросы. Всем участникам дарим годовой доступ к изучению английского языка, набор полезных статей для начинающего разработчика и скидку 10 000 рублей на любой курс. Реклама. ЧОУ ДПО «Образовательные технологии «Скилбокс (Коробка навыков)», ИНН: 9704088880.

🖥 NaturalQuery-6.7B-v0.1 NaturalQuery - это LLM, который может переводить запросы на естественном языке в SQL на основе вашей схемы. NaturalQuery-v0.1 отлажен на 8k парах "текст запрос PostgreSQL <>". Убедитесь, что у вас установлена правильная версия библиотеки transformers: pip install transformers==4.35.2 Загрузка модели Используйте следующий код Python для загрузки модели: import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("cfahlgren1/NaturalSQL-6.7B-v0") model = AutoModelForCausalLM.from_pretrained( "cfahlgren1/NaturalSQL-6.7B-v0", device_map="auto", torch_dtype=torch.float16, ) Генерация текста Чтобы сгенерировать текст, используйте следующий код на Python. messages=[ { 'role': 'user', 'content': prompt} ] inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device) # 32023 is the id of <|EOT|> token outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=32023) print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)) ▪Подробнее @sqlhub

⚡️ Для чего использовать Redis? Redis - это отличный инструмент, он надежен и прост в использовании (при правильном использовании). Вот 5 примеров использования Redis: 1. Кэширование Самый распространенный вариант использования Redis для кэшированя. Это помогает защитить базу данных от перегрузки. Redis обеспечивает быстрый поиск кэшированных данных и может помочь повысить производительность приложения. 2. Хранение сессий Redis подходит для обмена данными пользовательских сессий между серверами без статических данных. Redis предоставляет централизованное место для хранения данных сеансов и позволяет легко масштабировать серверы. 3. Распределенная блокировка Импользование- распределенной блокировки Redis для предоставления взаимоисключающего доступа к общим ресурсам. Это предотвращает возникновение ситуаций гонки в распределенных системах. Блокировки Redis просты в реализации и автоматически истекают. 4. Счетчик и ограничитель скорости Redis подходит для отслеживания количества лайков, просмотров и т. д. в приложениях для социальных сетей. Счетчики Redis обеспечивают атомарное увеличение/уменьшение. Redis также используется для ограничения скорости на эндпоинтах API. 5. Таблицы лидеров (Лидерборды) Отсортированные данные позволяют легко реализовать в Redis таблицы Лидерборды. Мы можем добавлять, обновлять или удалять пользователей из таблицы лидеров и эффективно запрашивать данные для них. 📌 Примеры с кодом @sqlhub

🖥 Pandas vs Polars vs SQL @sqlhub