Школа Больших Данных

Наша Школа анализа и проектирования ИС проводит Бесплатный митап: «ИИ для проектирования и тестирования API: агент Postman, запросы к LLM и MCP-сервер» 27 июня (суббота) в 12:00 МСК приглашаем аналитиков, разработчиков и инженеров по тестированию на практический онлайн-интенсив. Мы пройдем путь от идеи спецификации до автоматической валидации мок-сервера с помощью связки Postman + ИИ. Разберем то, о чем все говорят, но мало кто показывает в деле. Программа — 3 блока по делу: 1️⃣ ИИ в Postman Как использовать встроенного агента, слать запросы к LLM и интегрировать MCP. 2️⃣ MCP-протокол и сервер без теории Что это, зачем нужно и как вручную тестировать MCP-сервер для работы с OpenAPI на реальной платформе. 3️⃣ Автоматизация конвейера Collection Runner, цепочки Flows, переменные и генерация тестов. Покажем, как автоматизировать валидацию и публикацию спецификаций. Детали: 📅 27 июня, начало в 12:00 (МСК) 💻 Онлайн-трансляция (ссылка после регистрации) ⏱ Продолжительность: 2 часа + живой Q&A 💸 Совершенно бесплатно Зачем идти: 🔹 Увидеть реальный код и конфигурации 🔹 Понять, как внедрить MCP в текущие процессы 🔹 Задать вопросы спикеру в прямом эфире 📍 Регистрация обязательна https://babok-school.timepad.ru/event/4034597/. Все зарегистрированные получат запись митапа.

Как быстро проверить API, автоматизировать тесты и подготовить документацию без лишнего кода? 6 июня в 12:00 (МСК) приглашаем на бесплатный онлайн-митап: «Тестирование и документирование веб-API в Postman: практическое демо для аналитика и разработчика» На встрече в режиме реального времени разберем возможности Postman — одного из самых популярных инструментов для работы с API. Программа вебинара: 1. Назначение и возможности Postman — инструмента тестирования и документирования веб-API 2. Веб-протоколы и API: HTTP, gRPC, GraphQL, WebSocket 3. Среды и коллекции: импорт спецификации, настройки аутентификации, переменные, автозапуски 4. Скрипты для автоматизированного тестирования 5. Публикация документации Митап будет полезен: ✓ бизнес- и системным аналитикам; ✓ тестировщикам; ✓ разработчикам; ✓ DevOps-инженерам; ✓ всем, кто работает с API и интеграциями. Формат: онлайн (Яндекс Телемост) Дата: 6 июня Время: 12:00–14:00 Участие: бесплатно 🧨Регистрация обязательна: https://babok-school.timepad.ru/event/4006676/

#Dataframe DataFrame — это табличная структура данных с именованными столбцами и индексами строк, предназначенная для удобного хранения, преобразования и анализа структурированных данных в аналитических и научных вычислениях. Представьте себе лист Excel, но с возможностью программного управления и обработки миллионов строк за секунды. Это основной объект для манипуляции данными в языке Python (библиотека Pandas) и экосистеме Big Data (Apache Spark). DataFrame хранит данные разных типов (числа, строки, даты) в столбцах, но имеет строгую структуру. Без понимания этого инструмента работа современного дата-сайентиста или аналитика невозможна. WIKI Курсы: PRUS SPARK Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Redis #Persistence Redis Persistence — это комплекс механизмов, отвечающих за сохранение данных из оперативной памяти на долговечный носитель (жесткий диск или SSD). Redis — это in-memory база данных. Это означает, что по умолчанию все данные живут исключительно в оперативной памяти. Это обеспечивает феноменальную скорость, но создает критический риск: при любом сбое питания, перезагрузке сервера или аварийном завершении процесса все накопленные данные исчезнут безвозвратно. Чтобы превратить Redis из быстрого кэша в надежное хранилище, необходимо настроить персистентность. WIKI Курсы: PRUS PRAR Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Redis Redis (Remote Dictionary Server) — это высокопроизводительное in-memory хранилище данных типа key-value, поддерживающее различные структуры данных и используемое для кэширования, очередей, сессий и real-time-сценариев благодаря низкой задержке и горизонтальному масштабированию. WIKI Курсы: PRUS PRAR Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#key #value #store Key-Value Store (хранилище «ключ-значение») — это модель хранилища данных, в которой информация сохраняется в виде пар «ключ–значение», обеспечивающих быстрый доступ к данным по уникальному ключу, простоту масштабирования и минимальные ограничения на структуру значения. WIKI Курсы: PRUS PRAR Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#NumPy NumPy (Numerical Python) — это фундаментальная библиотека для языка Python, предназначенная для высокопроизводительных численных вычислений, обеспечивающая работу с многомерными массивами, векторизованными операциями и базовыми инструментами линейной алгебры, статистики и научных расчётов. WIKI Курсы: PYNN PYML Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#NLTK NLTK — это ведущая платформа для создания программ на языке Python для работы с данными на естественном языке. Она предоставляет простые интерфейсы для более чем 50 корпусов и лексических ресурсов. Библиотека включает набор инструментов для обработки текста, таких как токенизация, классификация и тегирование. NLTK часто называют «учебной лабораторией» для лингвистов и разработчиков искусственного интеллекта. В этой статье мы разберем, как эффективно использовать этот мощный инструмент в 2025 году. WIKI Курсы: PYNN PYML Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#SDLC SDLC (Software Development Life Cycle) — это структурированный процесс создания программного обеспечения, который описывает каждый этап разработки от идеи до вывода из эксплуатации. Понимание этого цикла позволяет командам выпускать качественный продукт в прогнозируемые сроки и в рамках бюджета. В сфере Big Data и ML этот процесс становится критически важным. Он помогает синхронизировать работу инженеров данных, аналитиков и бизнес-заказчиков. WIKI Курсы: MLOPS PYML Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Model #Inference Model Inference (Инференс моделей или вывод моделей) — это процесс использования обученной нейронной сети или алгоритма машинного обучения для получения предсказаний на основе новых, ранее не известных данных. Это финальная стадия жизненного цикла ML-модели, когда абстрактная математическая структура начинает приносить реальную пользу бизнесу или пользователю. Без инференса любая, даже самая точная модель, остается лишь набором весов на жестком диске. WIKI Курсы: MLOPS Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Lazy #Evaluation Lazy Evaluation (Ленивые вычисления) — это стратегия выполнения программного кода, при которой запуск вычислений откладывается до тех пор, пока их результат не потребуется явно (например, для вывода на экран или сохранения на диск). В экосистеме Big Data (в частности, в Apache Spark) этот подход является фундаментальным: он позволяет системе сначала построить полный направленный ациклический граф задач (DAG), оптимизировать его целиком и только затем выделить ресурсы на обработку данных. WIKI Курсы: SPARK Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Cloud #Computing Облачные вычисления (Cloud Computing) — это модель предоставления вычислительных ресурсов (вычисления, хранение, сети и платформенные сервисы) по требованию через сеть с эластичным масштабированием, оплатой по факту использования и абстрагированием физической инфраструктуры от пользователя. Простыми словами, это переход от владения собственным «железом» к его аренде как коммунальной услуги. Вы не покупаете электростанцию, чтобы включить свет дома. Точно так же вы не должны покупать серверную стойку, чтобы запустить код. Для Big Data инженера это означает смену парадигмы: инфраструктура превращается из физического актива (Capital Expenses) в операционные расходы (Operating Expenses), управляемые через код. WIKI Курсы: PRUS SPARK Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Shadow #Deployment Shadow Deployment (теневое развертывание) — это методика выпуска программного обеспечения, при которой входящий продуктовый трафик дублируется и отправляется на новую версию приложения. Эта версия работает параллельно с текущей («боевой») версией. Она обрабатывает запросы, но не возвращает ответы пользователю. Этот подход позволяет инженерам проверить поведение новой системы на реальных данных. Риск негативного влияния на конечного пользователя при этом сводится к нулю. WIKI Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#АБ #тестирование АБ тестирование — это метод экспериментальной проверки гипотез, при котором аудитория случайным образом делится на группы и каждой группе показывается различная версия одного и того же элемента (интерфейса, функциональности, контента) для статистически обоснованного сравнения их влияния на заранее заданные метрики. WIKI Курсы: PYML Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#DataOps DataOps — это междисциплинарный подход к управлению данными, который объединяет принципы DevOps, автоматизацию, оркестрацию и контроль качества для обеспечения непрерывной, масштабируемой и надежной доставки данных от источников до аналитических и продуктовых систем. В традиционных организациях путь данных от источника до отчета часто занимает недели. Инженеры данных, аналитики и Data Scientists работают изолированно, используя разные инструменты и среды. Это порождает «информационные колодцы» и конфликты версий. DataOps решает эту проблему, внедряя принципы непрерывной интеграции и доставки (CI/CD) в мир данных. Таким образом, команды могут развертывать новые модели и витрины данных ежедневно, а не ежемесячно. WIKI Курсы: PRAR PRUS Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Канареечный #релиз Канареечный релиз (Canary Deployment) — это стратегия развертывания ПО, при которой новая версия становится доступной лишь узкой группе пользователей. Этот метод позволяет протестировать обновление на реальном трафике с минимальным риском для бизнеса. Если в коде есть критическая ошибка, она затронет лишь 1–5% аудитории, а не всех клиентов сразу. WIKI Курсы: PRAR PRUS Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#MLOps MLOps (Machine Learning Operations) — это набор практик, методологий и философия, направленные на надежное, эффективное и масштабируемое развертывание и поддержку моделей машинного обучения (ML) в производственной среде. По своей сути, MLOps представляет собой применение принципов DevOps (таких как непрерывная интеграция, непрерывная доставка и автоматизация) к специфическим требованиям жизненного цикла систем машинного обучения. WIKI Курсы: MLOPS Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Cursor Cursor — это интеллектуальная интегрированная среда разработки (IDE), созданная на основе VS Code, которая использует передовые большие языковые модели (LLM) для глубокого анализа, написания и отладки программного кода. Cursor позиционируется не как дополнение, а как самостоятельный инструмент с нативной поддержкой ИИ1. Главная особенность редактора заключается в его способности индексировать и понимать контекст всего проекта целиком. Это критически важно для сложных архитектур данных2. Инструмент позволяет разработчикам взаимодействовать с кодовой базой через естественный язык, значительно ускоряя процессы разработки, рефакторинга и обучения. WIKI Курсы: CLICH Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Вайб #кодинг Вайб-кодинг (Vibe Coding) — это современная парадигма разработки программного обеспечения, сформировавшаяся в эпоху расцвета генеративного искусственного интеллекта (GenAI). Суть подхода заключается в радикальном смещении роли программиста: от ручного набора синтаксических конструкций («кодинга» в классическом понимании) к управлению потоком («вайбом») генерации кода нейросетями. В этой модели разработчик перестает быть «писателем» и становится «архитектором» и «редактором». Основной упор делается на интуицию, скорость проверки гипотез и фокус на конечном результате, а не на деталях реализации . Термин стал вирусным и получил статус культурного феномена в начале 2025 года, во многом благодаря авторитету Андрея Карпатого (Andrej Karpathy), бывшего директора по ИИ в Tesla. WIKI Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"

#Model #drift Model Drift (Дрейф Модели) — это неизбежный процесс снижения производительности и точности модели машинного обучения с течением времени. Это происходит, когда статистические свойства данных, на которых модель работает в реальном мире, начинают отличаться от данных, на которых она изначально обучалась. Проще говоря, Model Drift — это «старение» модели. Мир вокруг постоянно меняется, а модель, обученная на данных из прошлого, перестает эти изменения понимать. WIKI Курсы: MLOPS AGENT Наш сайт Копирование, размножение, распространение, перепечатка (целиком или частично), или иное использование материала допускается только с письменного разрешения правообладателя ООО "УЦ Коммерсант"