Data Science. SQL hub

🖥 Finetuning LLaMa + Text-to-SQL Llama 2 - отличная модель, но она не очень хорошо справляется с преобразованием текста в SQL запросы. Приходится прибегать к тонкой настройке 💡. Вышла отличная библиотека для Llama 2 преобразования текста в SQL. git clone https://github.com/run-llama/modal_finetune_sql.git ▪GIthub ▪Ipynb @sqlhub

Яндекс Практикум открывает курс по Python для школьников 13-17 лет и приглашает наставников, готовых поделиться своими знаниями с новым IT-поколением.  Формат работы: удалёнка, парт-тайм, можно совмещать с основной работой.  Что нужно будет делать: проводить вебинары, отвечать на вопросы в чатах, давать обратную связь, помогать, поддерживать и мотивировать студентов. Вознаграждение и бонусы:  • оплата за ведение групп до 30 человек (количество групп можно выбрать самостоятельно)  • бесплатное обучение на интенсиве по коммуникациям и эффективному преподаванию; • сертификаты о социально-полезной деятельности для портфолио, • прокачка менторских, лидерских и soft skills, нетворкинг.  Идеальный кандидат: имеет техническое/педагогическое образование (3 курс и старше), опыт работы от полугода (подойдут фриланс, pet-проекты) и желание обучать подростков.  Необходимые навыки: разрабатывать сайты/приложения/нейросети на Python и создавать ботов для Telegram. Узнать детали и откликнуться на вакансию наставника по Python-разработке.

PeerDB — упрощённое ETL для Postgres Инструмент помогает реализовать быстрое перемещение данных из и в вашу базу данных Postgres Он позволяет инженерам данных создавать масштабируемые конвейеры легко и быстро, используя SQL Сервис предоставляет реальное время CDC (изменение захвата данных) с гарантией свежести данных менее 30 секунд на целевом устройстве Стоимость: #бесплатно (но есть платные тарифы) #Postgres #БД

🔍 ScyllaDB в K8S: как справляться с интенсивными рабочими нагрузками на спотовых экземплярах без простоев Почему не MongoDB? Чем плоха Mongo? • У нее открытый исходный код, поддерживается разделение данных, но совершенно иная архитектура — с единой точкой отказа. При «падении» главного узла, то есть координатора, в БД начинается отработка отказа, во время которого БД недоступна. • Кроме того, для достижения высокой доступности каждый сегмент Mongo должен запускаться как набор реплик —  больше узлов. Кольцевая архитектура Cassandra в этом смысле превосходнее. Драйвер Scylla «знает» о сегментах и добирается до конкретного узла/процессора, ответственного за запрашиваемую строку, делая распределение действительным. • Но почему так важны отработка отказов без простоев и высокая доступность? На спотовых экземплярах — а это 1/4 стоимости вычислений — часто ежедневно случаются отработки отказов: узлы в k8s постоянно уничтожаются и воссоздаются, что чревато завершением всех запущенных в них подов/процессов, в том числе БД. Установка Scylla Сначала запустим локально, используя драйверы и что-нибудь на Cassandra Query Language: docker run -p 9042:9042 -p 7002:7000 -p 7001:7001 -p 9160:9160 -p 9180:9180 --name scylla --hostname scylla -d scylladb/scylla --smp 1 --developer-mode 1 Этой командой запустится одноузловой кластер Scylla. Так в режиме разработчика Scylla требуется минимум ресурсов в отличие от Cassandra, с которой у Docker Engine много работы. Применение драйвера Scylla Вот простой пример на Golang с использованием официального драйвера Scylla: import "github.com/gocql/gocql" func Connect(config Config) (*gocql.Session, error) { cluster := gocql.NewCluster(config.Hosts...) cluster.Keyspace = config.KeySpace cluster.CQLVersion = "3.11" cluster.RetryPolicy = &gocql.ExponentialBackoffRetryPolicy{ NumRetries: 5, Min: time.Millisecond * 5, Max: time.Second * 5} cluster.ProtoVersion = 3 cluster.PoolConfig.HostSelectionPolicy = gocql.TokenAwareHostPolicy( gocql.RoundRobinHostPolicy()) cluster.ConnectTimeout = time.Second * 10 cluster.Consistency = gocql.One if config.Timeout != nil { cluster.Timeout = *config.Timeout } cluster.Authenticator = gocql.PasswordAuthenticator{ Username: config.Username, //'cassandra' по умолчанию Password: config.Password, //'cassandra' по умолчанию } session, err := cluster.CreateSession() if err != nil { return nil, err } return session, nil } Здесь стоит обратить внимание вот на что: cluster.PoolConfig.HostSelectionPolicy = gocql.TokenAwareHostPolicy( gocql.RoundRobinHostPolicy()) Драйвером-клиентом TokenAware с помощью ключа раздела пробуется первый сегмент, затем методом циклического перебора — следующий, если первый недоступен. Для этого необходимо подключиться не к порту Cassandra по умолчанию 9042, а к порту Scylla с поддержкой сегментов 19042. Попробуем простой запрос: func Ping(session *gocql.Session) error { var str = new(string) if err := session.Query("SELECT uuid() FROM system.local;").Scan(str); err != nil { return err } if str == nil || len(*str) == 0 { return errors.New("failed sanity check") } return nil } // альтернатива «select 1;» в SQL Переходим в облако ПРОДОЛЖЕНИЕ

PHP, PDO SQL Injection SQL Injection минимум который должен знать каждый разработчик код которого работает в production 00:00 Вступление и оглавление 01:06 Определения (теория) 01:45 Чем опасны SQL Injection 03:34 Практический стенд 06:12 Обхода аутедентификации 09:23 Модификации базы данных 11:47 Защита с помощью placeholder 15:49 Защита там где placeholder не применимы источник @phpshka

Сочетание DuckDB и PyArrow позволяет эффективно обрабатывать на одной машине массивы данных, превышающие объем памяти. В приведенном ниже коде запуск DuckDB на наборе данных #PyArrow примерно в 2906 раз быстрее, чем запуск #DuckDB на #pandas DataFrame. ▪Pyarrow ▪DuckDB #tips @sqlhub

В Авито недавно выложили новые вакансии для аналитиков в разные команды. ➡️ Продуктовый аналитик в команду новостроек ➡️ Аналитик данных в команду новостроек ➡️ Старший аналитик продаж — команда Авито Авто ➡️ Аналитик данных в направление инцидент и проблем менеджмент Как всегда, очень классные условия: • Талантливая команда и возможность реализовать свои идеи в проекте с многомиллионной аудиторией; • Мощное железо, дополнительные мониторы и всё, что нужно для комфортной работы; • Прозрачная система премий; • Личный бюджет на обучение, который можно тратить на книги, курсы и конференции; • ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; • Возможность работать удалённо или сочетать работу из дома и офиса; • Красивый комфортный офис в 2 минутах от метро «Белорусская» с панорамным видом на центр города, местами для уединённой работы, двумя спортивными залами, зонами отдыха и гамаками. Выбирайте понравившееся направление и откликайтесь!

🔥Большая подборка бесплатных SQL курсов. ▪ Интерактивный тренажер по SQL (— практические задания на создание SQL-запросов. Каждый шаг включает минимальные теоретические аспекты по базам данных или языку SQL, примеры похожих запросов и пояснение к реализации ▪ Марафон данных: первое знакомство с SQL и Python — это симулятор профессии дата-аналитика, который познакомит вас с базами данных и методами работы с ними ▪ Знакомство с SQLite (4.6 из 5) — этот небольшой курс покажет, как использовать SQLite в повседневной работе. Вы научитесь загружать, анализировать и выгружать данные, а также познакомитесь с разными типами данных ▪ Введение в базы данных - курс посвящен структурированному хранению данных, основами SQL, принципами использования баз данных в приложениях, обзор нереляционных способов хранения данных ▪ Погружение в СУБД — курс для тех, кто уже имеет некоторый опыт проектирования баз данных и разработки приложений и хочет расширить свои знания 🌐 Youtube ▪ Реляционные базы данных. SQL (39 видео) — курс покрывает полностью все аспекты реляционных баз данных, начиная от определения и создания баз данных, схем, таблиц и полей этих таблиц (DDL), и заканчивая запросами к этим таблицам (DML) ▪ Основы SQL (18 видео) — объясняют базовые концепции языка: операторы, фильтрация, сортировка, группировка, декомпозиция и т. д. ▪ Уроки по SQL для начинающих (25 видео) — эти уроки помогут быстро разобраться с основами 12 Англоязычных курсов Платформы: Stepik, Coursera, Udacity, Udemy и Kaggle. 1. Databases and SQL for Data Science with Python 2. SQL for Data Science 3. Introduction to Databases and SQL Querying 4. Intro to Relational Databases 5. Introduction to Structured Query Language (SQL) 6. Advanced Databases and SQL Querying 7. SQL for Data Analysis 8. Oracle SQL – A Complete Introduction 9. Intro to SQL 10. Advanced SQL 11. Oracle SQL Basics 12. Beginners Guide to SQL @Sqlhub

🖥 Relational Databases Explained Принцип работы реляционных баз данных. В этой статье рассказывается о том, как работают индексы и транзакции внутри реляционных баз данных. Отличная иллюстрированная статья для глубокого понимания реляционных баз данных. ▪Читать @sqlhub

🙅‍♂️ Не повторяйте эти ошибки при переходе в аналитику! О том, как построить карьеру в аналитике и что для этого нужно, узнаете на бесплатном вебинаре «Аналитик данных: с нуля до оффера» от Changellenge >> Education. 🧑🏻‍💼 Приглашенный эксперт — Татьяна Черняк, Data Analyst Team Lead в VK Cloud. 📆 Когда: 16 августа, 19:00 Мск Подключайтесь к трансляции, чтобы узнать: 🔸 каковы перспективы специалистов на рынке труда; 🔸 какие навыки дата-аналитика must-have для старта карьеры; 🔸 где и как освоить hard skills аналитика данных; 🔸 как получить оффер и каких ошибок избегать при поиске работы. Стройте карьеру правильно! 🔗 Регистрируйтесь по ссылке: https://u.to/cVreHw

⏩ Devops Exercises Этот репозиторий содержит лучшие вопросы и упражнения по различным техническим темам, связанным с DevOps и SRE. 🟢Здесь вы найдете информацию о Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization, а также о собеседовании на позицию DevOps. ✔️ Если вы заинтересованы в карьере инженера DevOps, изучение этих концепций будет полезным и поможет вам подготовиться к собеседованию. ▪ Github @sqlhub

⚡️Сишарповец, апнуться — просто! Начните на бесплатном вебинаре онлайн-курса «C# ASP.NET Core разработчик» — «ASP.NET: взаимодействие с источниками данных»: регистрация На бесплатном занятии мы: — познакомимся с видами баз данных; — разберем, как работать с реляционными и нереляционными базами данных напрямую и через ORM. 🔥Экспертизой поделится Дмитрий Гурьянов — опытный Тимлид команды разработки CRM-решений на платформе .NET. — Продолжить обучение после вебинара по спеццене можно на полном курсе, доступном также в рассрочку. Нативная интеграция. Информация о продукте www.otus.ru

Распределенный SQL: Альтернатива шардированию баз данных Шардирование баз данных — это процесс разделения данных на более мелкие части, называемые «шарды». Шардинг обычно используется, когда необходимо масштабировать записи. Распределенный SQL представляет новый способ масштабирования реляционных баз данных с использованием стратегии сегментирования, полностью автоматизированной и прозрачной для приложений. Подробнее ты узнаешь из этой статьи. 🚀 Читать статью @sqlhub

Live-интенсив для начинающих аналитиков по SQL и продуктовым метрикам Завтра в 18:00 по Мск пройдет бесплатный live-интенсив по теме: “Расчет продуктовых метрик с помощью SQL”. Расчёт продуктовых метрик — первый шаг при принятии решений в любой data-driven компании. 👉🏻 На live-интенсиве мы с вами подключимся к реальной облачной базе PostgreSQL и с помощью SQL рассчитаем основные продуктовые метрики онлайн-сервиса: * Activation rate * MAU * ARPU и ARPPU * другие метрики Ведущий интенсива: ◾️ Алексанян Андрон: - CEO IT Resume & Simulative; - CTO Бюро анализа данных; - 7+ опыта в аналитике. На интенсиве вы узнаете: 📍 Как используют SQL в реальной работе — вы сможете сохранить это в портфолио и показать на собеседовании: работодатель точно оценит 🤘🏻 📍 Профессиональные фишки и лайфхаки SQL: мы копили их годами и хотим рассказать вам 😏 📍 Как писать код на SQL, а также мы расскажем про продуктовые метрики — подробно объясним всё с нуля 😍 Регистрируйтесь по ссылке → https://r.bothelp.io/tg?domain=intensiv_sql_bot&start=c1692000717861-ds&utm_source=telegram&utm_medium=sqlhub

🖥 Postgres, MongoDB и MySQL - три наиболее известные и широко используемые базы данных, причем Postgres является самой популярной. Redis и Planetscale - лучшие варианты при запуске нового проекта. Более подробная информация и интересные статистические данные приведены в полном тексте отчета. 📌Читать @sqlhub

🟡 Дайджест полезных материалов из мира sql за неделю Почитать: — Проблемы студентов курсов при работе с реальными данными — Что такое «хорошо» и что такое «плохо» в NiFi. Часть 3 — pgmig — история разработки инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway — Список популярных утечек с GitHub: Анализ репозиториев компаний — Когда SQL решает, и задачки для прокачки — Генеративный ИИ с базой данных SQL: Персональный чатбот разработчика SQL — What is SQL? — YugabyteDB official Dockerfile — Golang Database Migration With Golang Migrate and Sqlc — Window Functions: A comprehensive guide to mastery. — MySQL CheatSheet — Roadmap to Become a Database Engineer — Securing Your Graph Database: Best Practices for Apache AGE — Counters with YugabyteDB — Stored Procedures: The Secret to Improving Your Database Applications — Master the Technique of 'Update Only When Changes Occur' in SQL! Boost Your Database Efficiency Посмотреть: 🌐 SQL Data Analytics Project (PART 2) | Data Analyst Portfolio Project Хорошего дня! ❤️ Лайк, если полезно @sqlhub

🖥 Как удалить сразу все избыточные индексы в каждой базе данных Избыточные индексы в SQL Server - это явление значительно более общее, чем мне бы хотелось. Я встречал это довольно часто. Это означает, что данное сообщение в блоге все еще будет иметь значительную целевую аудиторию! Статья Brent Ozar дает исчерпывающую информацию об избыточных/дублирующих индексах, что они означают, почему это плохо, и что нужно с этим делать. Несколько лет назад Guy Glantser также опубликовал статью об удалении избыточных индексов. Она весьма полезна для нахождения всех избыточных индексов во всех таблицах в заданной базе данных. Но вот чего не хватает в этих статьях, так это возможности легко генерировать команды Drop/Disable для этих избыточных индексов. Кроме того, что если имеются "похожие" индексы, которые только "частично" избыточны, и, следовательно, недостаточно просто удалить один из них? Иначе это может негативно сказаться на производительности некоторых запросов. Есть ли способ учесть все эти проблемы? Каждый из них? Повсюду? Сразу? В посте я собираюсь показать вам, как обнаружить, получить подробную информацию и иметь возможность удалить КАЖДЫЙ избыточных индекс ЛЮБОЙ формы и размера: ▪Полностью дублируемые индексы ▪Избыточные индексы на основе ключевых столбцов + включенных столбцов ▪Частично избыточные индексы только на основе ключевых столбцов ▪Все таблицы ▪Все таблицы с минимальным числом строк ▪В конкретной базе данных ▪Во всех доступных базах данных 📌 Читать дальше 📌 Скрипт 📌 Индексы: обнаружение неиспользуемых индексов @sqlhub

Действующий дата-инженер или планируете им стать? Хотите повысить квалификацию и перейти на новый карьерный уровень? Тогда выбирайте курс «Дата-инженер» от Слёрма! Он нацелен на практику, разбор реальных случаев и выполнение практических задач! А знаете почему еще мы рекомендуем пройти курс «Дата-инженер» в Слёрме? ✔️ Учим не только сбору данных, но и тому, как правильно интерпретировать их. ✔️ Научитесь строить дата-пайплайны и выстраивать эффективную работу дата-архитектуры ✔️ Будете уверенно разбираться в ландшафте инструментов для управления данными ✔️ Опытные спикеры-практики проведут за руку на через весь курс ✔️ На выходе выполните реальный проект на собственных данных 🤑 Дешевле, чем у других Старт потока 4 сентября! Запишитесь уже сейчас по выгодной цене!

🖥 Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом Однажды Джоэл Спольски в своей знаменитой презентации «You Suck at Excel» сказал, что существуют сотни коммерческих продуктов, вместо которых можно было бы использовать табличку Excel. В этой шутке очень высокая доля правды. Excel благородя интуитивному UI, формулам и VBA дает возможность пользователям самим решать широкий спектр задач, избавляя от необходимости каждый раз обращаться за помощью к разработчикам или внедрять в компании новый продукт. Excel используется везде от мелкой розницы до Fortune 500 и CERN. Пользовательский интерфейс Excel оказался, настолько удачным – ни один из конкурентов так и отошел от привычных таблиц. Для пользователя Excel интерфейс Google Spreadsheet будет привычным и интуитивно понятным. А вот по своим функциональным возможностям Excel до сих пор превосходит большинство конкурентов. Как с помощью двух мощных инструментов с открытым исходным кодом можно совместить привычный для пользователей интерфейс, надежность и мощь SQL, гибкость Python и командную работу как в Google Spreadsheet? Давайте рассмотрим это на простом примере. 📌Читать дальше @sqlhub

Каждый работодатель желает знать, чего хотят IT-специалисты. Расскажите о своих карьерных предпочтениях и повлияйте на создание крутых предложений в IT от топовых компаний. Пройдите опрос, если Вы: — проживаете в любом городе России; — работаете в IT. Расскажите, что важно именно Вам, и заберите гарантированные подарки: — промокод на сумму до 2500 рублей на уроки английского в Skyeng; — промокод на 15 000 рублей на самый полный курс по аналитике на рынке «Аналитик PRO» от школы Changellenge >> Education. Участвуйте в опросе и меняйте индустрию вместе с нами: https://clck.ru/35GgNZ