Data Science: SQL и Аналитика данных

🔥 Продвинутый SQL-прием: partial index вместо “универсального” индекса Если в таблице много строк, но запрос почти всегда смотрит только активные записи, не обязательно индексировать всё. Например, есть таблица заказов:

SELECT *
FROM orders
WHERE user_id = 42
  AND status = 'active';

Обычный индекс:

CREATE INDEX idx_orders_user_status
ON orders(user_id, status);

Работает, но он хранит данные по всем статусам: active, cancelled, archived, failed и так далее. Если чаще всего нужны только активные заказы, можно сделать partial index:

CREATE INDEX idx_orders_active_user
ON orders(user_id)
WHERE status = 'active';

Такой индекс меньше, быстрее обновляется и лучше помещается в память. Планировщик сможет использовать его для запросов, где условие совпадает:

SELECT *
FROM orders
WHERE user_id = 42
  AND status = 'active';

Индекс не обязан покрывать всю таблицу. Иногда лучший индекс - это индекс только по тем строкам, которые реально участвуют в горячих запросах. Особенно полезно для флагов вроде deleted_at IS NULL, status = 'active', is_published = true, processed = false. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

➡️ Используй EXISTS вместо IN на больших таблицах -- медленнее SELECT * FROM orders o WHERE o.user_id IN (SELECT id FROM users WHERE active = true); -- быстрее SELECT * FROM orders o WHERE EXISTS ( SELECT 1 FROM users u WHERE u.id = o.user_id AND u.active = true ); EXISTS останавливается на первом совпадении и не тянет весь подзапрос в память. На больших данных разница может быть кратной. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 США решили отжать open source у китайцев: на сцену выкатили Laguna S 2.1 Стартап Poolside выкатил свою четвёртую версию Laguna S 2.1 — открытую модель для агентного программирования, которая весит аж 118 млрд параметров. В конторе заявляют, что это самая мощная открытая модель Запада: на кодинговых тестах Laguna не отстаёт от моделей, которые крупнее неё в разы, а кое-где даже обходит их. И главное — она запускается на настольном компе NVIDIA DGX Spark, без всяких суперкомпов. Веса уже висят на Hugging Face, и юзать модель можно даже в коммерции. Читать далее 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Anthropic запустили официальный плагин для поиска уязвимостей Можно отправить Claude Security проверить изменения перед коммитом или просканировать всю репу. Он найдет дыры и предложит, что можно и нужно исправить 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

Апдейты в плагин! Давно мы не слышались: я упёрся в сложные технические проблемы при разработке и на время сделал паузу. Теперь [надеюсь] эти проблемы позади — и новые релизы будут выходить чаще. Что в новой версии: 🔴Исправлен баг, из-за которого в редких случаях столбики рисовались неправильных размеров. 🔴Добавлена beta-версия площадной диаграммы. Апдейт должен прилететь в фигму автоматически. А если плагина нет — установить его можно тут. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Рой ИИ-агентов написал аналог SQLite на Rust за несколько часов Cursor провела необычный эксперимент: агентам выдали только официальную документацию SQLite объёмом 835 страниц и поручили с нуля реализовать собственный движок базы данных на Rust. Без интернета, готового исходного кода и дополнительной помощи. Уже через четыре часа получившиеся реализации правильно выполняли 73–85% запросов из скрытого теста. После дальнейшей работы некоторым командам удалось довести результат до 100%. Но особенно удивила стоимость:

⏺️ связка Opus 4.8 и Composer 2.5 потратила около $1 400; ⏺️ Fable — примерно $20 000.

Одинаковая задача, но почти пятнадцатикратная разница в цене. Во время разработки агенты столкнулись с до боли знакомыми командными проблемами: дублировали работу, конфликтовали при изменении одних и тех же файлов и избегали трогать ядро системы, даже когда без этого было невозможно двигаться дальше. Получается, ИИ уже способен за часы собрать сложный системный проект, но митинги, конфликты и страх ответственности он тоже автоматизировал 😂 #ai #rust #sqlite #agents #programming ➡️ https://cursor.com/blog/agent-swarm-model-economics 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

Компании ценят специалистов, которые разбираются как в технической стороне продукта, так и в потребностях бизнеса. Перекрёстные навыки часто встречаются в вакансиях. Нетология объединила две профессии в один курс — «Системный и бизнес-аналитик». На занятиях своим опытом поделятся эксперты из Qiwi, М.Видео — Эльдорадо и Bolt. За 12 месяцев вы научитесь: - использовать гибкие методологии Agile и Scrum; - разбираться в нотациях моделирования: UML, BPMN, IDEF; - описывать user story и use case; - создавать прототипы приложений и сервисов; - работать с АРІ и проектной документацией. Сейчас на курс действует скидка 50%, а с промокодом IT10JULY цена станет ещё на 10% ниже. Плюсом подарим курс о развитии карьеры при покупке до 31 июля. Записаться Реклама. ООО “Нетология” ОГРН 1207700135884 Erid: 2VSb5yBsme2

🔥 Хитрый SQL-совет: осторожнее с `NOT IN` Кажется, что эти запросы делают одно и то же:

SELECT *
FROM users
WHERE id NOT IN (
    SELECT user_id
    FROM banned_users
);

Но если banned_users.user_id содержит хотя бы один NULL, запрос может вернуть ноль строк. Надёжнее использовать NOT EXISTS:

SELECT u.*
FROM users AS u
WHERE NOT EXISTS (
    SELECT 1
    FROM banned_users AS b
    WHERE b.user_id = u.id
);

Причина в трёхзначной логике SQL: сравнение с NULL даёт UNKNOWN, а не TRUE или FALSE. Правило простое: если подзапрос потенциально возвращает NULL, вместо NOT IN почти всегда выбирайте NOT EXISTS. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Библиотека для работы с SQLite в C++26 с использованием рефлексии Reflite — это библиотека на C++26, которая упрощает взаимодействие с SQLite, позволяя использовать обычные структуры как основу для выполнения запросов. Она поддерживает основные операции: вставка, удаление, выборка и обновление, избавляя от лишнего шаблона кода. Основные моменты: ⏺️ Легковесная библиотека в одном файле ⏺️ Поддержка операций INSERT, DELETE, SELECT, UPDATE ⏺️ Использует рефлексию для работы с типами структур ⏺️ Не требует полной реализации SQL, фокус на простоте ⏺️ Совместима с современными компиляторами C++26 ➡️ GitHub: https://github.com/KaruroChori/reflite

⚡️ Почему аналитики данных так востребованы и как стать аналитиком в 2026 году? Большинство новичков совершают одну и ту же ошибку: учат всё подряд. SQL, Python, Power BI, статистика… Но работодатели оценивают кандидатов не только по базовым навыкам, но и по другим критериям. Из-за этого многие месяцами рассылают резюме и получают только отказы или полное игнорирование. Андрон Алексанян - аналитик с опытом 9 лет и СEO Симулейтив проведет бесплатный урок и покажет, как выглядит путь к первой работе аналитиком в 2026 году. Вы узнаете:

🔶Какие навыки действительно проверяют на собеседованиях; 🔶Что должно быть в портфолио, чтобы его открывали работодатели; 🔶Почему многие резюме аналитиков сразу отправляются в отказ; 🔶Как искать работу без коммерческого опыта; 🔶Какие преимущества есть у кандидатов после 30, 40 и даже 50 лет; 🔶Какие ошибки чаще всего мешают получить первый оффер.

Дополнительно на эфире разберем реальные примеры резюме и портфолио кандидатов, которые смогли пройти отбор. 🎁 ПОЛУЧИТЕ 3 КУРСА (PYTHON, SQL, PANDAS) В ПОДАРОК ЗА РЕГИСТРАЦИЮ НА ЭФИР! Эти курсы - база для того чтобы вкатиться в профессию! Если вы хотите войти в аналитику и перестать тратить время на лишнее обучение — этот урок поможет понять, на чем действительно стоит сосредоточиться. 🛎️Регистрируйтесь, эфир совсем скоро!

🔥 Как получить БЕСКОНЕЧНЫЕ лимиты ChatGPT, Gemini, Claude и других хайповых нейронок - нашел инструмент, который позволяет максимально экономить токены. Нашли расширение, которое делает почти магию: переносит диалог с нейронкой в другой аккаунт в один клик. Когда лимит в ChatGPT, Gemini, Claude или другом сервисе заканчивается, не нужно вручную копировать промпты, ответы и весь контекст. Расширение сохраняет текущий чат и позволяет продолжить разговор с того же места. Что умеет: ⏺️переносить диалог между аккаунтами ⏺️сохранять контекст, результаты и важные данные ⏺️избавлять от ручного копирования ⏺️быстро продолжать работу после упора в лимиты Для тех, кто постоянно работает с нейронками, это прям находка. ➡️ Ссылка на расширение - https://addons.mozilla.org/ru/firefox/addon/limit-skip/ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥NVIDIA официально опубликовала Skills, которые они используют для своих ИИ-агентов. Прямо сейчас у них есть Skills для: ⏺️ автоматического анализа и суммирования видео ⏺️ создания голосовых агентов в реальном времени ⏺️ обучения и улучшения LLM ⏺️ ускорения моделей, чтобы они работали намного быстрее ⏺️ систем RAG, подключенных к документам и данным ⏺️ агентов, работающих в изолированных безопасных средах ⏺️ оптимизации логистики и маршрутизации с помощью GPU ⏺️ программирования и вычислений на CUDA Некоторые из самых интересных: ⏺️ TensorRT-LLM → экстремальное ускорение LLM ⏺️ NeMo-RL → продвинутое обучение агентов ⏺️ Video Search → автоматический поиск и суммирование видео Кроме того, они совместимы с: ⏺️ Claude Code ⏺️ OpenAI Codex ⏺️ Cursor ➡️ https://github.com/NVIDIA/skills

Марафон для тех, кто готов разрабатывать искусственный интеллект Факультет компьютерных наук НИУ ВШЭ запускает онлайн-интенсив по подготовке к поступлению в онлайн-магистратуру «Искусственный интеллект». На программе обучают всем шагам из цикла разработки моделей и навыкам написания высоконагруженного кода для промышленной эксплуатации. Присоединяйтесь, если хотите: ⚪️ Укрепить знания по высшей математике, Python и анализу данных ⚪️ Получить практическое понимание структуры экзамена и требований программы для поступающих ⚪️Быстро и эффективно подготовиться к вступительным испытаниям в одну из популярных магистратур ФКН НИУ ВШЭ Интенсив проведут эксперты и преподаватели Высшей школы экономики. 📆 Когда: 28 июня — 20 июля, 18:30 (мск), но вы еще можете присоединиться 💻 Формат: онлайн и бесплатно, для участия и получения записей прошедших занятий нужно лишь зарегистрироваться до 20 июля  Зарегистрироваться

🔥Минималистичная графовая база данных на C++17 TGDB — это простая графовая база данных, реализованная как статическая библиотека. Она поддерживает фиксированные узлы и индексные указатели, обеспечивая схему без схемы и работу с базовыми типами данных. База данных позволяет эффективно создавать и извлекать объекты с свойствами. Основные моменты: ⏺️ Унифицированный тип узла размером 56 байт. ⏺️ Поддержка встроенных типов: int, double, std::string. ⏺️ Двусторонние ссылки между узлами. ⏺️ Дисковая устойчивость через mmap. ⏺️ Быстрый локальный обход и глобальный поиск. ➡️ GitHub: https://github.com/LincolnCox29/TrueGraphDataBase 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Claude идет в финансы с готовыми агентами Это уже финансовые ИИ-агенты, которые забирают куски работы у аналитиков, аудиторов и операционных команд. ⏺️Один агент собирает питч-дек. ⏺️Второй готовит бриф к встрече. ⏺️Третий читает earnings report и ловит рискованные формулировки. Четвёртый строит valuation model прямо в таблице. Пятый сверяет книги с банковскими выписками. И самое интересное - это уже не просто чат с моделью. Агент подключается к Excel, PowerPoint, Word, Outlook и данным компании. То есть он не “советует”, а реально двигает рабочий процесс. Сначала это выглядит как автоматизация рутины. Потом оказывается, что рутина занимала половину финансового отдела. ➡️ https://www.youtube.com/shorts/dhcoR03jtI0 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Платформа Xata для облачного PostgreSQL Xata — это облачная платформа с открытым исходным кодом для управления множеством экземпляров PostgreSQL на Kubernetes. Она предлагает функции быстрого ветвления, автоматического масштабирования и высокой доступности, что делает её идеальной для создания внутреннего PostgreSQL как услуги или тестовых сред. ➡️ Основные моменты: ⏺️ Быстрое ветвление с использованием Copy-on-Write. ⏺️ Автоматическое масштабирование и управление вычислительными ресурсами. ⏺️ Высокая доступность с автоматическим переключением на резервные экземпляры. ⏺️ REST API и CLI для управления. ⏺️ Подходит для создания тестовых и разработческих окружений. ➡️ GitHub: https://github.com/xataio/xata 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

➡️ SQL можно учить не по скучным таблицам, а через игру в стиле «Матрицы» Разработчик сделал тренажёр, где вы проходите уровни, находите терминалы и «взламываете» их SQL-запросами. Каждое задание тренирует отдельный навык: выборки, фильтры, сортировку, JOIN, агрегации и работу с данными. Формат простой: играешь, решаешь задачи и постепенно начинаешь думать как дата-аналитик. Идеальный вариант на выходные, если давно хотели подтянуть SQL без унылой теории. http://sqlprotocol.com/ 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

🔥 Линейный график как искусство Этот график в любом современном BI-инструменте можно сделать за несколько кликов Да что BI — его можно нарисовать без особых проблем даже в обычном Экселе. Но у автора он отнял 50 часов — больше стандартной рабочей недели. Он все нарисовал от руки, с помощью карандашей, туши, линеек и набора для леттеринга. В своем посте про этот опыт он поделился набором классических книг про визуализацию для вдохновения, списком инструментов и практическими советами: например, как нарисовать четкие, аккуратные линии. Если интересно, то простого маркера для этого недостаточно: надо отметить точки на графике, вокруг них нарисовать круги и верхние точки кругов соединить линиями — и только внутри этих линий закрасить черным или другим цветом. Он рассказывает, как лучше выстроить процесс, и как работать с разными инструментами. Единственный вопрос, на который он не дает ответ — зачем вообще этим заниматься? Зачем тратить 50 часов на то, что намного проще и быстрее сделать на компьютере? Возможно, просто из любви к искусству. В конце концов, не все нужно автоматизировать и оптимизировать — иногда можно потратить 50 часов на линейный график и просто наслаждаться процессом. Кстати, даже если не планируете рисовать графики карандашами и чернилами, в посте есть ссылки на онлайн-версии книг, которые все еще стоят внимания. несмотря на возраст. 🫡 Всё про Data Science 🇷🇺 Читайте нас в MAX

Системный аналитик помогает бизнесу и разработке говорить на одном языке: разбирает задачи компании, описывает требования, проектирует IT-решения и следит, чтобы система работала на реальные цели бизнеса. Онлайн-магистратура СПбГУ и Нетологии «Системный анализ и интеллектуальные системы управления бизнес-процессами» готовит специалистов на стыке IT и управления. В программе сочетаются академическая база СПбГУ и прикладные инструменты Нетологии. Студенты изучают математическое моделирование, алгоритмы, системный анализ, Python, BI-системы, no-code-инструменты, управление проектами и подходы к внедрению искусственного интеллекта. Такой набор навыков помогает работать со сложными бизнес-процессами: находить узкие места, снижать риски при разработке, формулировать требования к системам и сопровождать внедрение IT-решений. Обучение проходит полностью онлайн. После выпуска вы получаете диплом магистра СПбГУ очного образца по направлению «Прикладная информатика». Подробнее о программе Реклама. ООО “Нетология” ОГРН 1207700135884 Erid: 2VSb5xtCdWS

SQL-прием: EXISTS часто лучше, чем COUNT(*) > 0 Если тебе нужно просто проверить, есть ли строки, не заставляй базу считать их все. Плохо:

SELECT COUNT(*) > 0
FROM orders
WHERE user_id = 42;

База может пройти по всем подходящим строкам, чтобы посчитать количество. Лучше:

SELECT EXISTS (
    SELECT 1
    FROM orders
    WHERE user_id = 42
);

EXISTS останавливается сразу, как только нашел первую подходящую строку. Для больших таблиц это может быть заметно быстрее, особенно если есть индекс по условию:

CREATE INDEX idx_orders_user_id ON orders(user_id);

Если тебе нужен ответ “есть или нет”, используй EXISTS. COUNT(*) оставь для случаев, когда реально нужно точное количество строк.