Data Science | Вопросы собесов

🤔 Как работает where? Функция where возвращает элементы, соответствующие условию: 1. В SQL — фильтрует строки, соответствующие критериям. 2. В NumPy — выбирает элементы массива по условию или заменяет значения. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

Услуги дата-центра в Москве Размещение и аренда серверного оборудования в дата-центре. 👍 4 современных дата-центра в Москве. 👍 Лицензированный оператор связи. 👍 Индивидуальные конфигурации выделенных серверов под задачи клиента. 👍 Круглосуточная техническая поддержка в Телеграм, без ботов. Узнать цену #реклама 16+ itsoft.ru О рекламодателе

🤔 Как систематическая ошибка и дисперсии связаны между собой? Это два важных понятия в статистике и машинном обучении, которые вместе с шумом описывают общую ошибку предсказаний модели. Они часть компромисса, известного как "bias-variance tradeoff", который является центральным в построении эффективных предиктивных моделей. Рассмотрим их связь и взаимное влияние. 🚩Систематическая ошибка (Bias) Машинного обучения — это ошибка, возникающая из-за ошибочных предположений в алгоритме обучения. Высокая систематическая ошибка указывает на то, что модель слишком упрощена и не улавливает основные закономерности данных (недообучение). Примером модели с высокой систематической ошибкой может быть линейная регрессия, примененная к данным, которые фактически обладают сложной нелинейной структурой. 🚩Дисперсия (Variance) Показывает, насколько предсказания модели чувствительны к небольшим изменениям в обучающем наборе данных. Модель с высокой дисперсией хорошо работает на обучающих данных, но плохо генерализует предсказания на новых данных (переобучение). Примером модели с высокой дисперсией может быть сложная нейронная сеть, которая "запоминает" обучающие данные, включая шум и аномалии. 🚩Взаимосвязь между систематической ошибкой и дисперсией Они через компромисс, который необходимо достичь при построении моделей. Уменьшение одного из этих компонентов часто приводит к увеличению другого: Уменьшение систематической ошибки обычно ведет к более сложным моделям, которые лучше аппроксимируют данные, но это может привести к увеличению дисперсии, делая модель более чувствительной к флуктуациям в данных. Уменьшение дисперсии обычно достигается за счет упрощения модели, что может увеличить систематическую ошибку, так как модель становится неспособна захватывать сложные закономерности. Ставь 👍 и забирай 📚 Базу знаний

LUBEX - умный выбор для вашего бизнеса Если важны сохранение ресурса техники и снижение затрат. Официальные допуски Узнать больше #реклама lubex-oil.ru О рекламодателе

🤔 Как оценивать эффективность работы рекомендательных моделей? Используются метрики: 1. Precision@K и Recall@K для точности и полноты рекомендаций. 2. NDCG для оценки релевантности на основе позиций элементов. 3. Coverage — доля уникальных рекомендованных элементов. 4. Оценка на основе A/B-тестов или пользовательских метрик, таких как удержание. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Что такое декоратор в питоне? Это функции, которые позволяют модифицировать или расширять поведение других функций или методов без изменения их кода. Они часто используются для логирования, контроля доступа, измерения времени выполнения и других задач. Декораторы предоставляют гибкий и элегантный способ изменения поведения функций и классов. 🚩Основные концепции декораторов 🟠Функция-декоратор Это функция, которая принимает другую функцию в качестве аргумента и возвращает новую функцию, изменяющую или расширяющую поведение оригинальной функции. 🟠Использование синтаксиса `@` Декораторы в Python применяются с использованием синтаксиса @decorator_name перед определением функции, которую нужно модифицировать. 🚩Пример простого декоратора Определение декоратора

def my_decorator(func):
    def wrapper():
        print("Что-то происходит до вызова функции")
        func()
        print("Что-то происходит после вызова функции")
    return wrapper

Применение декоратора

@my_decorator
def say_hello():
    print("Hello!")

say_hello()

# Вывод:
# Что-то происходит до вызова функции
# Hello!
# Что-то происходит после вызова функции

🚩Декораторы с аргументами Если функция, которую нужно декорировать, принимает аргументы, декоратор также должен быть написан так, чтобы он мог принимать и передавать эти аргументы. Пример декоратора с аргументами

def my_decorator(func):
    def wrapper(*args, **kwargs):
        print("Что-то происходит до вызова функции")
        result = func(*args, **kwargs)
        print("Что-то происходит после вызова функции")
        return result
    return wrapper

@my_decorator
def say_hello(name):
    print(f"Hello, {name}!")

say_hello("Alice")

# Вывод:
# Что-то происходит до вызова функции
# Hello, Alice!
# Что-то происходит после вызова функции

🚩Декораторы для классов Декораторы также могут применяться к методам классов. Пример декоратора для метода класса

def my_decorator(func):
    def wrapper(*args, **kwargs):
        print("Что-то происходит до вызова метода")
        result = func(*args, **kwargs)
        print("Что-то происходит после вызова метода")
        return result
    return wrapper

class MyClass:
    @my_decorator
    def say_hello(self, name):
        print(f"Hello, {name}!")

obj = MyClass()
obj.say_hello("Alice")

# Вывод:
# Что-то происходит до вызова метода
# Hello, Alice!
# Что-то происходит после вызова метода

🚩Встроенные декораторы Python предоставляет несколько встроенных декораторов, таких как @staticmethod, @classmethod и @property. Пример использования встроенных декораторов

class MyClass:
    @staticmethod
    def static_method():
        print("Это статический метод")

    @classmethod
    def class_method(cls):
        print("Это метод класса")

    @property
    def some_property(self):
        return "Это свойство"

obj = MyClass()
obj.static_method()
obj.class_method()
print(obj.some_property)

# Вывод:
# Это статический метод
# Это метод класса
# Это свойство

Ставь 👍 и забирай 📚 Базу знаний

🤔 Как работают несимметрические метрики? Несимметрические метрики в контексте машинного обучения оценивают модель, акцентируя внимание на одном классе или типе ошибки больше, чем на других. Это особенно полезно в случаях, когда стоимость одного типа ошибки значительно выше другого. Примером несимметричной метрики является F1-score, который более чувствителен к классам с меньшим числом образцов или когда важно сбалансировать точность и полноту. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Какие есть детекторы и архитектуры в cv ? Существует множество детекторов и архитектур для задач обнаружения и распознавания объектов. Вот некоторые из наиболее популярных и широко используемых детекторов и архитектур: 🟠HOG (Histogram of Oriented Gradients) Это метод, основанный на вычислении и нормализации гистограмм направленных градиентов в локальных областях изображения. Он используется для обнаружения объектов на основе их формы и контуров. Применение: Обнаружение пешеходов, транспортных средств и других объектов. 🟠Детектор Хаара Метод, основанный на использовании каскадных классификаторов Хаара. Вычисляет простые характеристики, такие как разница в интенсивности между соседними областями изображения. Применение: Обнаружение лиц и других объектов. 🟠DPM (Deformable Parts Model) Метод, который разбивает объект на части и использует деформируемую модель для определения взаимного расположения частей. Применение: Обнаружение сложных объектов, таких как животные и транспортные средства. 🚩Современные глубокие архитектуры 🟠R-CNN (Region-Based Convolutional Neural Networks) Извлекает предложенные регионы (Region Proposals) с использованием метода Selective Search, а затем использует сверточную нейронную сеть (CNN) для классификации каждого региона. Архитектуры R-CNN: Использует CNN для классификации предложенных регионов. Fast R-CNN: Улучшенная версия, которая ускоряет процесс обучения и предсказания за счет использования ROI Pooling. Faster R-CNN: Включает сеть предложений регионов (RPN), что позволяет получать предложения регионов непосредственно из CNN. Mask R-CNN: Расширение Faster R-CNN для задач сегментации объектов, добавляющее предсказание масок объектов.

from torchvision import models

# Загрузка предобученной модели Faster R-CNN
model = models.detection.fasterrcnn_resnet50_fpn(pretrained=True)
model.eval()

# Пример использования модели для обнаружения объектов
import torch
from PIL import Image
from torchvision import transforms as T

# Преобразование изображения
def transform_image(image_path):
    image = Image.open(image_path).convert("RGB")
    transform = T.Compose([T.ToTensor()])
    return transform(image).unsqueeze(0)

# Пример изображения
image_path = "example.jpg"
image = transform_image(image_path)

# Предсказание
with torch.no_grad():
    predictions = model(image)

print(predictions)

🟠YOLO (You Only Look Once) Разделяет изображение на сетку и предсказывает bounding boxes и вероятности классов для каждой ячейки сетки. Обучается end-to-end, что делает его очень быстрым. Архитектуры: YOLOv1: Первая версия YOLO. YOLOv2 (YOLO9000): Улучшенная версия с поддержкой большого числа классов. YOLOv3: Добавляет несколько масштабов детекции для улучшения точности. YOLOv4 и YOLOv5: Дальнейшие улучшения в скорости и точности.

import torch

# Загрузка предобученной модели YOLOv5
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')

# Пример изображения
image_path = "example.jpg"

# Предсказание
results = model(image_path)

# Отображение результатов
results.show()

Ставь 👍 и забирай 📚 Базу знаний

🤔 В чем преимущество медианы над средним? Медиана менее чувствительна к выбросам, чем среднее (mean): - Среднее (Mean) – учитывает все значения, поэтому искажается выбросами. - Медиана (Median) – просто находит центральное значение в упорядоченном ряду, игнорируя крайние выбросы. Медиана особенно полезна при распределении доходов, цен, длительностей и других данных с выбросами. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Для чего используют бач нормализацию? Это метод, используемый для ускорения и стабилизации обучения нейронных сетей. Она была предложена в 2015 году Сержем Иоффе и Кристианом Шилле для решения проблемы внутреннего ковариационного сдвига. 🚩Зачем нужна 🟠Стабилизация обучения Нормализация входных данных каждого слоя помогает уменьшить внутренний ковариационный сдвиг (изменения распределений входных данных каждого слоя во время обучения), что стабилизирует и ускоряет обучение. 🟠Ускорение сходимости Благодаря нормализации градиенты становятся более устойчивыми, что позволяет использовать более высокие значения скорости обучения и ускоряет процесс обучения. 🟠Регуляризация Батч-нормализация добавляет небольшой шум к данным в процессе обучения, что имеет эффект регуляризации и может снизить переобучение. 🟠Снижение зависимости от инициализации параметров Нормализация данных помогает уменьшить зависимость от начальной инициализации весов, делая процесс обучения более надежным. 🚩Как работает 🟠Вычисление среднего и дисперсии Для каждого мини-батча вычисляются среднее значение и дисперсия входов.

\mu_B = \frac{1}{m} \sum_{i=1}^{m} x_i

\sigma_B^2 = \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_B)^2

🟠Нормализация Входы нормализуются, вычитая среднее значение и деля на стандартное отклонение.

\hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}

🟠Скалирование и смещение Нормализованные значения масштабируются и сдвигаются с использованием обучаемых параметров \(\gamma\) и \(\beta\).

y_i = \gamma \hat{x}_i + \beta

🚩Пример использования

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, BatchNormalization, Activation

# Создание модели
model = Sequential([
    Dense(64, input_shape=(32,)),
    BatchNormalization(),
    Activation('relu'),
    Dense(64),
    BatchNormalization(),
    Activation('relu'),
    Dense(10, activation='softmax')
])

# Компиляция модели
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

# Вывод структуры модели
model.summary()

Ставь 👍 и забирай 📚 Базу знаний

🤔 Что известно о Gradient-boosted trees? Это ансамблевый метод, строящий модель как последовательность слабых моделей (обычно деревьев), где каждая новая модель корректирует ошибки предыдущей. Он использует градиентный спуск по функции потерь. Обладает высокой точностью и хорошо работает с табличными данными, но чувствителен к гиперпараметрам. Популярные реализации — XGBoost, LightGBM, CatBoost. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 В чем разница между метрикой качества и функции потери при обучении? Функция потерь (loss function) — это функция, которая измеряет разницу между предсказанным значением модели и фактическим значением для конкретного примера в обучающих данных. Она используется в процессе обучения для оптимизации параметров модели. Функция потерь напрямую влияет на процесс обучения модели: оптимизационный алгоритм (например, градиентный спуск) стремится минимизировать эту функцию потерь по всему обучающему набору данных. Примеры функций потерь включают среднеквадратичное отклонение для регрессии, перекрестную энтропию для классификации и т.д. Метрика качества (performance metric) Это мера, используемая для оценки качества модели после или во время ее обучения. Помогают понять, насколько хорошо модель работает на валидационных или тестовых данных, и не влияют напрямую на процесс обучения. Они предоставляют информацию, которая позволяет сравнивать разные модели или настройки модели. Примеры метрик включают точность (accuracy), F1-меру, AUC-ROC и т.д. 🚩Основные различия 🟠Цель использования Функция потерь направлена на минимизацию ошибки во время обучения модели. Она помогает в определении направления изменения весов модели. Метрика качества используется для оценки и сравнения моделей с точки зрения их производительности на задаче. 🟠Влияние на обучение Функция потерь напрямую влияет на процесс обучения, так как градиенты этой функции используются для обновления весов в модели. Метрика качества не влияет на обучение модели; она только предоставляет информацию о том, насколько хорошо модель работает на отдельных примерах или целых наборах данных. 🟠Применение Функция потерь часто бывает дифференцируемой, чтобы ее можно было использовать в алгоритмах, основанных на градиентном спуске. Метрика качества может быть не дифференцируемой и не всегда подходит для использования в качестве функции потерь. Например, точность или F1-мера имеют пороги решения и могут быть разрывными. Ставь 👍 и забирай 📚 Базу знаний

Kafka кажется сложной? Быстрый старт за один вебинар Kafka кажется сложной и непонятной? Откладываете изучение, потому что не знаете, с чего начать, и боитесь утонуть в терминах? Присоединяйтесь к открытому уроку Евгения Непомнящего и получите быстрый старт в Kafka. 📅 21 октября в 20:00. Разберём: - Архитектуру Kafka: брокеры, топики, партиции, реплики. - Producer и Consumer: как данные записываются и читаются. - Инструменты для работы с Kafka. - Базовое API для интеграции из Python/Java с примерами отправки и чтения сообщений. Вы будете понимать принципы работы Kafka, научитесь настраивать топики, производителей и потребителей через CLI и использовать базовые API в своих приложениях. ✅ Запишитесь сейчас и освойте Kafka с нуля за один вебинар! Узнать больше #реклама 16+ otus.ru О рекламодателе

🤔 В чём смысл Information Value (IV)? Это метрика, используемая для оценки предсказательной способности признака относительно целевой переменной. 1. Высокое значение IV говорит о сильной связи между признаком и целевой переменной. 2. Часто используется в кредитном скоринге для выбора наиболее значимых признаков. 3. Значения IV помогают определить, какие признаки следует включить в модель, а какие можно исключить. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

Встречай смартфон Honor — с выгодой для себя! ✅ Стильный дизайн ✅ Заряд надолго ✅ Качественные фото ✅ Быстрая и плавная работа Выбирай свой Honor по привлекательной цене! Купить #реклама market.yandex.ru О рекламодателе

🤔 Как работает регресс ? Термин "регресс" в контексте статистики и машинного обучения относится к методам прогнозирования количественных значений (например, цен, температур, доходов, и т.д.) на основе данных. Основная цель — оценить взаимосвязи между зависимой переменной (что нужно предсказать) и одной или несколькими независимыми переменными (факторами, которые влияют на предсказание). 🚩Основные виды 🟠Линейная регрессия Наиболее базовая и часто используемая модель регрессии, которая предполагает линейную зависимость между зависимой переменной и независимыми переменными. Модель описывается уравнением: y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \ldots + \beta_nx_n + \epsilon где \( y \) — зависимая переменная, \( x_1, x_2, \ldots, x_n \) — независимые переменные, \( \beta_0, \beta_1, \ldots, \beta_n \) — коэффициенты модели, а \( \epsilon \) — случайная ошибка. 🟠Полиномиальная регрессия Расширение линейной регрессии, которое позволяет моделировать нелинейные взаимосвязи путем введения степеней независимых переменных. 🟠Логистическая регрессия Хотя это и называется "регрессией", это метод классификации, используемый для прогнозирования двоичных исходов (да/нет, 0/1). Модель предсказывает вероятность принадлежности к одному из классов. 🟠GРидж (Ridge) и Лассо (Lasso) регрессии Варианты линейной регрессии с добавлением регуляризации (штрафа за большие значения коэффициентов), что помогает уменьшить переобучение и улучшить обобщающую способность модели. 🚩Как он работает 🟠Подготовка данных Включает сбор, очистку и возможно трансформацию данных. 🟠Выбор модели Основываясь на понимании данных и предварительном анализе, выбирается соответствующий тип регрессионной модели. 🟠Обучение модели На этапе обучения алгоритм использует исторические данные для оценки параметров (коэффициентов) модели. Это обычно делается путем минимизации функции потерь, например, методом наименьших квадратов для линейной регрессии. 🟠Оценка модели Проверка качества модели с помощью различных метрик, таких как среднеквадратичная ошибка (MSE), коэффициент детерминации \( R^2 \) и других. 🟠Использование модели для прогнозирования После обучения и валидации модель можно использовать для предсказания новых данных. Ставь 👍 и забирай 📚 Базу знаний

sailust: декабрь в Андаманском море Таиланда Пока в Москве слякоть, мы стоим на якоре у Пхи-Пхи и решаем, на какой остров идти завтра. Катамаран, небольшая компания и неделя «сабая». Маршрут и подробности на сайте. *«сабай» — это тайское слово, которое означает душевный и физический комфорт, уют, расслабленность, легкость и гармонию Узнать больше #реклама sailust.club О рекламодателе

🤔 Как решить задачу, где присутствует одновременно два target – один categorical, другой continuous? Используются модели multi-output, которые обучаются на несколько целевых переменных, например, через отдельные выходные слои в нейросети. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Как происходит детекция без anchor box-ов? Обнаружение объектов без использования anchor box-ов достигается благодаря архитектурам сетей, таким как YOLOv3, CenterNet, или более современные модели как EfficientDet. В этих методах отсутствует необходимость в заранее определенных anchor box-ах, которые фиксируют потенциальные положения и размеры объектов. 🚩Объяснение 🟠Что такое anchor box-ы и зачем они нужны? Anchor box-ы — это заранее определенные прямоугольные области, которые используются для предсказания объектов различных размеров и форм в изображении. Они помогают моделям предсказывать координаты объектов с большей точностью, задавая определенные рамки для поиска. 🟠Почему отказ от anchor box-ов? Подбор оптимальных размеров и аспектных соотношений anchor box-ов требует значительных усилий и экспериментов. Методы без anchor box-ов могут быть более эффективными и точными, поскольку они не ограничены фиксированными рамками и могут адаптироваться к различным масштабам объектов более гибко. 🟠Методы детекции без anchor box-ов YOLOv3 (You Only Look Once v3): YOLOv3 использует сетку, разбивающую изображение на ячейки, где каждая ячейка отвечает за предсказание объектов в этой области. Вместо фиксированных anchor box-ов, модель учится предсказывать размеры и координаты объектов непосредственно. 🟠CenterNet: CenterNet использует подход, при котором центр каждого объекта определяется как пик в тепловой карте. Затем сеть предсказывает размеры и оффсеты от этого центра. Этот метод позволяет эффективно находить объекты различных размеров и форм. 🟠EfficientDet: Включает в себя BiFPN (Bidirectional Feature Pyramid Network) для объединения характеристик с различных уровней сети. EfficientDet использует масштабируемую архитектуру, позволяющую адаптироваться к различным размерам объектов без необходимости в anchor box-ах.

import torch
import torchvision.transforms as transforms
from PIL import Image
from centernet import CenterNet

# Загрузка модели CenterNet
model = CenterNet(num_classes=80)
model.load_state_dict(torch.load('centernet_weights.pth'))
model.eval()

# Загрузка и предобработка изображения
image = Image.open('image.jpg')
transform = transforms.Compose([
    transforms.Resize((512, 512)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
image = transform(image).unsqueeze(0)

# Предсказание объектов
with torch.no_grad():
    outputs = model(image)
    # Обработка результатов
    # Преобразование тепловых карт и оффсетов в координаты объектов
    boxes, scores, classes = model.decode(outputs)

# Вывод результатов
for box, score, class_id in zip(boxes, scores, classes):
    print(f'Object: {class_id}, Score: {score}, Box: {box}')

Ставь 👍 и забирай 📚 Базу знаний

От гипотезы до сделки — в одной инфраструктуре ⚡ «Финам» собрал сервисы алготрейдера так, что выход одного становится входом следующего: AI-скринер находит кандидатов по 200+ метрикам, «машина времени» проверяет гипотезы, Spread Insight сторожит арбитражные спреды, Trade API доводит до исполнения. • Бесплатные курсы, медиа и разборы кейсов • Поддержка инженеров по каждому звену • Конкурсы: сравните свой алгоритм с другими в равных условиях ✅ Запустите первую сквозную стратегию в одном контуре. Информация не является индивидуальной инвестиционной рекомендацией и не гарантирует доходности. Инвестиции связаны с риском. Перейти на сайт Финансовые услуги оказывает: АО «Инвестиционная компания «ФИНАМ». #реклама 16+ broker.finam.ru О рекламодателе