Data Science. SQL hub

Магистратура для Data Scientists с возможностью трудоустройства — Авито х МФТИ Бесплатная программа обучения в МФТИ со стипендией 25 000 рублей для лучших студентов. Пройдите путь от студента до Middle Data Scientist за два года. За время учёбы вы научитесь работать с полным циклом задач в Data Science — от обучения продвинутых моделей до их релиза. Всё это — на реальных данных и со специализацией в разных доменных областях. Полученные знания будете использовать на стажировке в одной из DS-команд Авито. У вас будет свой проект — реальная задача, которая повлияет на бизнес и станет основой вашего диплома. А персональный ментор поделится опытом и поможет развиваться, искать решения и изучать инструменты и технологии. Условия: – длительность программы — 2 года; – оплачиваемая стажировка с первого семестра; – повышение грейда и оклада со второго года, если всё получается хорошо; – 40 часов учёбы и работы в неделю в гибридном формате: дома или в университете и офисе в Москве; – общежитие на время обучения для иногородних студентов. Программа подойдёт студентам последнего курса обучения, выпускникам или учащимся в магистратуре, готовым перевестись. Заявки принимаются до 26 апреля включительно. Регистрируйтесь, пока есть места.

🔥 Крутой список игр, которые помогут вам изучить программирование без скучных лекций, но с интерактивным подходом: • SQL Murder Mystery — вам предстоит стать шпионом Джаусом и использовать SQL для поиска загадочного убийцы; • CryptoZombies — Игра разделена на уроки, где вы, используя язык программирования Solidity, создадете свою первую веб-игру 3.0, собирая армию зомби; • Playground.tensorflow - браузерная игра, от tensorflow есть в которой можно настраивать и обучать нейросеть • Screeps — игра, которая похожа на Dwarf Fortress, но здесь для управления колонией нужно писать код; • Flexbox Froggy — милая игра про жаб, которая научит вас работе с CSS flexbox. Для полного погружения рекомендуется играть в определенной среде; • Checkio — отличное упражнение для программистов на Python и TypeScript. Сборник интересных интерактивных игр, решение которых требует написания кода. @DevOPSitsec

💻SQL-запрос для группировки и взятия уникальных значений ▶️Итак, есть табличка:

Number  Item
------------
202     Book
202     Cartoon
202     Book
207     Book
205     Elephant
207     Elephant
208     Book
209     Biggy
209     Smoke
203     Smoke

Нужно сгруппировать по number и вывести уникальные item для него, наподобие:

202 Book Cartoon
207 Book Elephant
205 Elephant
208 Book
209 Biggy Smoke
203 Smoke

Как это можно сделать? ▶️В целом ничего сложного, с этим справится вот такой запрос:

   SELECT Number,
          group_concat (DISTINCT Item separator ' ')
     FROM TABLE
 GROUP BY Number

@sqlhub

🔥Подборка лучших обучающих каналов для программистов. ➡️ Делитесь с коллегами и сохраняйте себе, чтобы не потерять ⚡Машинное обучение Machine Learning - запускаем лучшие ИИ модели, пишем код, погружаемся в нейросети Ml Собеседование - подготовка к собесу по мл, алгоритмам, коду Ml ru - актуальные статьи, новости, код и обучающие материалы Ml Jobs - вакансии ML ML Книги - актуальные бесплатные книги МО ML чат 🏆 Golang Golang собеседование - разбор задач и вопросов с собесов Golang вакансии -работа для Go разработчика Golang книги библиотека книг Golang задачи и тесты Golang чат Golang news - новости из мира go Golang дайджест 💥 Linux /Этичный хакинг Linux Academy - гайды, секреты и лучшие материалы по Linux Kali linux - погрузись в мир этичного хакинга и кибербезопасности linux_kal - kali чат Информационная безопасность 🚀 Data Science Анализ данных - полезные фишки, код, гайды и советы, маст-хэв датасаентиста Data Jobs - ds вакансии Аналитик данных Data Science книги - актуальные бесплатные книги Big data 🛢Базы данных Sql базы данных - научим работе с базами данных профессионально Библиотека баз данных SQL чат Вакансии Sql аналитик данных #️⃣C# С# академия - лучший канал по c# С# заметки — код, лучшие практики, заметки программиста c# С# задачи и тесты С# библиотека - актуальные бесплатные книги C# вакансии - работа 🐍 Python Python/django - самый крупный обучающий канал по Python Python Собеседование - подготовка к собеседовению python и разбор алгоритмов Pro python - статьи, новости, код и обучающие материалы Python Jobs - вакансии Python Python чат Python книги ☕ Java Java академия - java от Senior разработчика Java вакансии Java чат Java вопросы с собеседований Java книги 💻 C++ C++ академия С++ книги C++ задачи - подготовка к собеседовению мл, алгоритмам C++ вакансии ⚡️ Frontend Javascript академия - крупнейший js канал React - лучшие гайды и советы по работе с react Frontend - тутрориалы, уроки, гайды, код PHP Книги frontend Задачи frontend 🦀 Rust Rust программирование Rust чат Rust книги для программистов 📲 Мобильная разработка Android разработка Мобильный разработчик гайды и уроки 🇬🇧 Английский для программистов 🧠 Искусственный интеллект ИИ и технологии Neural - нейросети для работы и жизни Книги ИИ Artificial Intelligence 🔥 DevOPs Devops для программистов Книги Devops 🌟 Docker/Kubernets Docker Kubernets 📓 Книги Библиотеки Книг для программситов 💼 Папка с вакансиями: Папка Go разработчика: Папка Python разработчика: Папка Data Science Папка Java разработчика Папка C# Папка Frontend

🌟 Lightning Studio: Альтернатива Google Colab от создателей PyTorch Lighting ⏩Lightning Studio представляет собой передовую облачную платформу для проектирования и тестирования моделей машинного обучения, разработанную создателями PyTorch Lightning. Эта платформа обеспечивает пользовательский опыт, сравнимый с "iPhone" в сфере инструментов ML, благодаря своей интуитивной простоте и одновременно впечатляющей мощности. Она объединяет инструменты машинного обучения в единый интерфейс, избавляя от необходимости переключения между разными приложениями. Это значительно упрощает процесс создания масштабируемых приложений и конечных точек AI. ⏩Одна из множества функций Lightning Studio способствует повышению производительности разработки на 60%, так как она позволяет легко переходить с работы на CPU на GPU, сокращая таким образом до 80% времени, обычно тратимого на разработку. ⏩Каждому пользователю Lightning Studio предоставляется 22 бесплатных GPU-часа в месяц на базе T4, с опцией покупки дополнительного времени по мере необходимости. Вы будете платить только за время активного использования GPU. Кроме того, для работы над более требовательными проектами вы можете увеличить свои ресурсы, арендовав до 8 GPU A100. 📎 Lightning Studio @sqlhub

Data Science — это космос ✨ И мы ищем в нем звездный путь к удобству пользователей! А по пути устраиваем розыгрыш для подписчиков Lamoda Tech. Наша команда использует 30 ML-алгоритмов, чтобы онлайн-покупки на Lamoda стали космически удобными. Сегодня ты подбираешь удобные кроссовки, а завтра захочешь купить костюм для выхода в открытый космос — кто знает? Для тренировки мы предлагаем отправиться в виртуальное космическое приключение. Пройди тест, построй космолет и найди планету, которая станет для человечества вторым домом: latech.ru/cosmos. Ждем твоих результатов в канале Lamoda Tech! 19 апреля с помощью рандомайзера мы выберем счастливчика, который отправится в загородный отель и будет всю ночь любоваться на звезды. 🚀 Тоже любите Data Science? Тогда полетели 🚀

💻**Открытая книга «PostgreSQL 16 изнутри» ⏩Эта книга для тех, кого не устраивает работа с базой данных как с черным ящиком. Если вы хотите во всем разобраться сами — книга отлично вам подойдёт. ⏩Рассматриваются такие понятия как согласованность, изоляция, буферный кеш и механизм, позволяющий восстанавливать согласованность после сбоев, — журнал предзаписи. Также устройство и использование блокировок разных уровней: легких блокировок для оперативной памяти, тяжелых блокировок для отношений, блокировок табличных строк. 📎 PDF @sqlhub

💻Утилита стратегического мониторинга PostgreSQL ⏩Основная задача стратегического мониторинга — предоставление количественной информации о наиболее ресурсоемких активностях СУБД. Такая информация очень полезна для анализа нагрузки СУБД, например, при проведении нагрузочного тестирования. ⏩Стратегический мониторинг сам по себе никакие проблемы не решает, но может подсказать, на что обратить внимание. Одним из средств стратегического мониторинга является расширение pg_profile/pgpro_pwr — собственно, об этом и идёт речь в видео. Спикер рассказывает об архитектуре, возможностях, особенностях работы и способах применения этих расширений. ⏩Видео будет интересено всем, кто работает с СУБД Postgres — администраторам баз данных, инженерам нагрузочного тестирования и разработчикам приложений, непосредственно взаимодействующих с базами данных Postgres. Enjoy) 📎 YouTube 📎 Презентация @sqlhub

⚡С 15 по 21 апреля состоится мегаинтенсив по анализу данных, организованный Центром непрерывного образования, онлайн- и офлайн-магистратурами ФКН. В программе интенсива 3 трека, разделенные по уровням сложности: 🖇Для начинающих: За 4 занятия вы сможете пройти путь от основ программирования на Python до построения настоящей модели машинного обучения. Организаторы — Центр непрерывного образования ФКН и онлайн-магистратура "Master of Data Science". 🖇Для продолжающих: Вы познакомитесь с архитектурами нейронных сетей в задачах компьютерного зрения, а также диффузионными моделями и моделью Stable Diffusion. Организатор — онлайн-магистратура «Машинное обучение и высоконагруженные системы». 🖇Многогранный Data Science: Для тех, кто хочет применять анализ данных не в IT — вы узнаете, как Data Science применяется в биологии, медицине, при строительстве домов и в банках. Организаторы — магистратуры «Анализ данных в биологии и медицине», «Анализ данных в девелопменте», «Финансовые технологии и анализ данных». Интенсив пройдет в онлайн-формате с возможностью принять участие сразу в нескольких треках. ❕ Участие бесплатное для всех желающих, нужно только зарегистрироваться: по ссылке. Реклама. НИУ ВШЭ. ИНН 7714030726 Erid: 2SDnjdAEJed

💻Внутренности PostgreSQL: как добавить новую функцию ⏩При разработке пача для PostgreSQL иногда требуется добавить новую функцию, чтобы ее можно было вызывать из SQL. Собственно, об этом и идёт речь в статье. ⏩Сразу можно отметить 2 момента. Во-первых, некоторые функции имеет смысл добавлять не в ядро системы, а поместить в отдельное расширение — либо стороннее, либо идущее вместе с PostgreSQL и живущее в каталоге /contrib/. Во-вторых, pg_proc.dat является удобной точкой входа для изучения внутренностей PostgreSQL. Также файл бывает полезен, когда вы примерно понимаете, какую функцию ищите, но не знаете ее название. 📎 Статья @sqlhub

Все еще боишься PostgreSQL? 😱 Считаешь ее слишком сложной? 🤯 Популярность СУБД PostgreSQL в России растет с каждым днем! Также как и востребованность специалистов по ней! Подписывайся на авторский канал Postgres Guru и больше не бойся! На канале тебя ждут: ✅ Основы PostgreSQL; ✅ Методы повышения производительности; ✅ Способы резервного копирования и восстановления; ✅ Настройка PostgreSQL под 1С; ✅ Разбор ошибок и их решения; ✅ Полезные SQL запросы и функции PostgreSQL; ✅ Случаи из практики; ✅ Новости из мира PostgreSQL и немного юмора 😁 Подписывайся и становись востребованным специалистом по PostgreSQL! Реклама. ИП Козлов Ю. В. ИНН 683204523837 Erid: 2VtzqxKcr8w

💻Параллелизм базы данных в PostgreSQL Управление параллелизмом является важным аспектом в системах БД, которые имеют дело с множеством параллельно выполняющихся транзакций. В PostgreSQL применяются различные методы для обеспечения параллельного доступа к базе данных при поддержке согласованного состояния данных с использованием свойств атомарности и изоляции ACID (атомарность, согласованность, изоляция и длительность). ⏩Пессимистичная блокировка Этот метод управления параллелизмом используется в системах баз данных для обеспечения параллельного доступа к разделяемым данным. Это осторожный подход, предполагающий, что конфликты между транзакциями весьма вероятны, и предотвращает конфликты наложением блокировок на объекты базы данных (строки или таблицы). Пессимистичное блокирование гарантируют эксклюзивный доступ к данным, но оно может привести к расширению блокировок и сокращению параллелизма по сравнению с подходом оптимистичного блокирования. ⏩Оптимистичная блокировка Оптимистичный подход в технике управления параллелизмом исходит из того, что конфликты между транзакциями редки, и это позволяет обрабатывать транзакции без наложения блокировок на объекты базы данных при выполнении всей транзакции. Конфликты проверяются, обнаруживаются и разрешаются только во время фиксации транзакции. 📎 Подробнее о параллелизме БД можно почитать тут, рекомендую. Вот ещё неплохая статья в тему @sqlhub

Главное — порядок в данных, а остальное СУБД. Приглашаем на вебинар «PostgreSQL, MongoDB, Redis в облаке: с чего начать». Валерий Ишутин, руководитель направления развития платформенных сервисов T1 Cloud, расскажет: 🔵 Как развернуть базу данных нажатием одной кнопки 🔵 Что включает в себя услуга Managed Services 🔵 Что делать, если Junior-разработчик удалил часть базы данных 🔵 О распределении зон ответственности T1 Cloud и клиента 💬 В конце вебинара можно будет задать вопросы спикеру. Дата: 16 апреля 2024 (вторник) Время: 11:00 – 12:00 МСК ➡️ Зарегистрироваться и добавить вебинар в календарь можно прямо сейчас. Реклама. Информация о рекламодателе

💻Большое ли преимущество использования IN вместо нескольких OR в SQL? ▶️Скажем, какой из этих 2 примеров более эффективен? Этот:

SELECT *
FROM table
WHERE property IN ('a','b','c')

или вот этот:

SELECT *
FROM table
WHERE property='a' OR property='b' OR property='c'

▶️Если говорить про абстрактный SQL - никакой разницы нет. Есть много способов попросить достать одни и те же данные. Впрочем, с точки зрения читаемости человеком in явно выигрывает из-за компактности. А если рассматривать конкретные реализации - то различия могут быть. Например, postgresql строит разные планы для IN и OR:

explain select * from bigtable where id = 1 or id = 3 or id=4;
                                    QUERY PLAN                                    
----------------------------------
 Bitmap Heap Scan on bigtable  (cost=13.34..25.34 rows=3 width=12)
   Recheck Cond: ((id = 1) OR (id = 3) OR (id = 4))
   ->  BitmapOr  (cost=13.34..13.34 rows=3 width=0)
         ->  Bitmap Index Scan on bigtable_pkey  (cost=0.00..4.45 rows=1 width=0)
               Index Cond: (id = 1)
         ->  Bitmap Index Scan on bigtable_pkey  (cost=0.00..4.45 rows=1 width=0)
               Index Cond: (id = 3)
         ->  Bitmap Index Scan on bigtable_pkey  (cost=0.00..4.45 rows=1 width=0)
               Index Cond: (id = 4)

explain select * from bigtable where id in (1,3,4);
                                   QUERY PLAN                                   
----------------------------------
 Index Scan using bigtable_pkey on bigtable  (cost=0.44..17.37 rows=3 width=12)
   Index Cond: (id = ANY ('{1,3,4}'::integer[]))

Как можно заметить, IN был переписан в другую форму и оценён дешевле, чем несколько эквивалентных OR. Какие-то другие СУБД может быть переписывают оба запроса в идентичное представление, или же переписывают IN в группу OR. Вопросы производительности необходимо рассматривать только в рамках какой-то конкретной реализации. Вот такие дела @sqlhub

⚡️ Бесплатный видеокурс. SQL практикум на базе MySQL Спроектируем базу данных популярного мессенджера и научимся писать запросы к ней (4.5 часа качественного видеоматериала). 💡 Курс @sqlhub

Оффер в компанию будущего можно получить за день. Попробуй свои силы на OneDayOffer от SberAutoTech 20 апреля! Мы ищем системных аналитиков и разработчиков C++, которые не боятся сложных задач. Оставь заявку, выполни тестовое задание и получи приглашение на мероприятие. За один день ты успеешь познакомиться с командами разработки, пройти собеседования и получить фидбек. Если всё сложится, уже вечером мы предложим тебе место в команде. Работать в SberAutoTech — значит создавать новое. Мы развиваем технологию автономного вождения, совместимую с разными транспортными средствами. Тебя ждут интересные и необычные проекты, возможности для профессионального развития, и, участия в конференциях. Узнай больше по ссылке.

💻 Статический анализ структуры базы данных Такой анализ потенциальных проблем в базе данных имеет очевидные преимущества: ⏩анализ можно проводить в любой среде (dev/test/prod) и даже на пустой БД, где нет данных (бэкап структуры без данных) ⏩затраты ресурсов зависят только от количества объектов в БД и количества проверок, а не от объема данных или качества приближения тестовых данных и запросов к реальным ⏩статический анализ может быть встроен в CI как элемент повышения качества разработки Встраивать такого рода проверки в CI — это однозначно полезная практика. Разовая инвестиция в настройку конвейера исключит спектр потенциальных проблем с расхождением данных. Подробнее об этом тут: 📎 Статья @sqlhub

🚀Освойте продвинутые методы агрегации данных в ClickHouse. Приходите на бесплатный практический урок от OTUS, где вы вместе с опытным экспертом разберете: 1️⃣ методы агрегации данных в ClickHouse; 2️⃣ типы агрегатных функций; 3️⃣ комбинаторы к агрегатным функциям; 4️⃣ состояния и настройки для агрегации. Вебинар поможет вам: ✅ получить инструментарий для построения продвинутых запросов и покрытия нужд аналитики; ✅ переложить работу по агрегации сырых данных с приложения на БД. 🔔Встречаемся 11 апреля в 20:00 мск в рамках курса «ClickHouse для инженеров и архитекторов БД». Доступна рассрочка на обучение! ➡️Регистрируйтесь прямо сейчас, чтобы посетить бесплатный урок и получить запись: регистрация

💻Как получить текстовый дамп базы данных Postgres в Heroku Для создания дампа базы данных PostgreSQL в текстовом формате на Heroku выполните два действия: 1️⃣Создайте и загрузите резервную копию:

   heroku pg:backups:capture && heroku pg:backups:download
   

2️⃣Преобразуйте загруженный файл в SQL-формат с помощью pg_restore:

   pg_restore -f mydb.sql latest.dump
   

Здесь mydb.sql — это конечный файл с вашими данными. До начала работы убедитесь, что у вас установлен Postgres для использования команды pg_restore. 🔘Вот в принципе и всё, больше деталей и похожих кейсов тут @sqlhub

Как обнаружить SQL-уязвимость? Освойте методы атаки и защиты на курсе SQL Injection Master! Аналогов по объему практики в СНГ и EN-cегменте нет. На курсе подробно разберём эксплуатацию SQL-инъекций, одну из наиболее опасных и эксплуатируемых видов атак на веб-приложения. Вы освоите базовый синтаксис языка запросов SQL, внедрение SQL-кода в уязвимые приложения, раскрутку SQL-инъекций вручную и софтом, а также способы защиты своих веб-приложений. Cтарт: 15 апреля Продолжительность: 3 месяца 🏆 Выдаём УПК/сертификат   Получите промодоступ к обучению - 7 дней бесплатно! @Codeby_Academy 84994441750