Data Science: Алгоритмы и Структуры данных

Запустите рекламу в телеграм-каналах с Яндекс Директом Перфоманс-реклама теперь в телеграм-каналах ⚡ Яндекс Директ знает, как привлечь целевую аудиторию 💰👌 Попробовать #реклама yandex.ru О рекламодателе

Сжать и не пожалеть: как работает сжатие без потерь Более 9 миллиардов гигабайт информации ежедневно путешествуют по интернету, заставляя постоянно искать все новые и новые методы упаковки данных. Самые эффективные решения используют подходы, которые позволяют достичь большей плотности за счет "потерь" информации в процессе сжатия. Google, например, недавно представили вариант сжатия с потерями, в котором отправляющий компьютер отбрасывает детали изображения, а ИИ на принимающей стороне их восстанавливает. Даже Netflix использует подход, допускающий потери, понижая качество как только становится известно, что пользователь использует устройство с низким разрешением. В то же время очень мало внимания уделяется сжатию без потерь. Почему? Ответ прост - методы сжатия без потерь уже невероятно эффективны. С их помощью работает буквально всё, от формата PNG до утилиты PKZip. И это все благодаря студенту, что захотел пропустить экзамен. https://habr.com/ru/articles/763248/ Алгоритмы и Структуры данных

Введение в трассировку лучей: простой метод создания 3D-изображений. Часть 1 — как создается изображение? Первое, что нам нужно для создания изображения, - это двумерная поверхность (эта поверхность должна иметь некоторую площадь и не может быть точкой). С помощью этого, мы можем визуализировать изображение в виде разреза, сделанного через пирамиду, вершина которой расположена в центре нашего глаза, а высота параллельна линии нашего зрения (помните, чтобы что-то увидеть, мы должны смотреть вдоль линии, соединяющей глаз с этим объектом). Мы будем называть этот срез, упомянутый ранее, плоскостью изображения (эта плоскость изображения подписана как холст, из-за схожести с художественным холстом). Плоскость изображения - это концепция компьютерной графики, и мы будем использовать ее как двумерную поверхность для проецирования нашей трехмерной сцены. Возможно, кому-то всё это может показаться очевидным, однако, то, что мы только что описали, является одной из самых фундаментальных концепций, используемых для создания изображений на различных устройствах. Например, эквивалентом в фотографии является поверхность пленки (сенсор для цифровой камеры) или, как упоминалось ранее, холст, используемый художниками. https://habr.com/ru/articles/763416/ Алгоритмы и Структуры данных

Представьте: через полгода вы работаете из дома или из кафе у моря и получаете от 80 000 ₽. Это не фантазия — это карьера тестировщика, которую можно начать без кода и без опыта. Именно сейчас Skillbox дарит знания стоимостью боле 100 тыс.руб. БЕСПЛАТНО — мини-курс за 4 дня даст вам практику на реальных кейсах, понимание профессии и план действий, чтобы выйти на первую работу в IT. [Начать обучение бесплатно]

Введение в трассировку лучей: простой метод создания 3D-изображений. Часть 2 — прямая трассировка Если данный материал покажется Вам не актуальным, не уникальным или, более того, бессмысленным, прошу обратить Ваше внимание на то, что данная статья является лишь второй из цепочки связанного рассказа про различные аспекты трассировки лучей и рендеринг трёхмерных изображений. Я считаю необходимым, со своей стороны, подвести читателя к теме полноценно и сохраняя нить повествования. https://habr.com/ru/articles/763894/ Алгоритмы и Структуры данных

ИИ для рисования: раскрываем секреты нейронного переноса стиля Раскладываем по полочками, как «думает» нейронная сеть VGG-19, когда ей прилетает задача скопировать стиль художника из вида Homo sapiens. https://proglib.io/p/ii-dlya-risovaniya-raskryvaem-sekrety-neyronnogo-perenosa-stilya-2022-08-29 Алгоритмы и Структуры данных

ЦУМ умер, Farfetch закрылся, перекупы и байеры обнаглели Все, кого вы видите за соседними столиками в White Rabbit или Novikov, заказывают вещи через Fabur Concierge. Они официально сотрудничают с главными реселлерами в России и закупают редкие айтемы по спецценам. Всё, что вам нужно, — отправить им в личку ссылку или фото товара, который хотите купить. Ребята найдут лучшую цену и самостоятельно займутся доставкой. Кстати, у них есть свой Telegram-канал, где публикуются самые горячие предложения — например, прямо сейчас можно урвать сумочку Chanel или Birkin.

Как не сломать продакшен: 8 основных паттернов распределенных систем Распределeнные системы стали основой современных высоконагруженных и отказоустойчивых приложений. Однако их разработка сопряжена сo множеством вызовов – от управления состоянием и взаимодействия сервисов до обработки отказов и масштабирования. Чтобы упростить решение этих задач, инженеры используют проверенные временем архитектурные паттерны. В этой статье мы разберeм восемь ключевых шаблонов, помогающих строить надeжные и эффективные распределенные системы. https://proglib.io/p/kak-ne-slomat-prodakshen-8-osnovnyh-patternov-raspredelennyh-sistem-2025-02-10 Алгоритмы и Структуры данных

Визуализация алгоритмов стандартной библиотеки C++ (продолжение) В стандартной библиотеке C++ много разных алгоритмов для работы с контейнерами. С помощью этих алгоритмов можно искать значения, сортировать последовательности, изменять их и делать многое другое. Среди такого большого количества алгоритмов есть довольно сложные, которые сходу не поймешь. Но если визуализировать их работу, то все становится ясно. https://habr.com/ru/articles/763024/ Алгоритмы и Структуры данных

ESP32 + LD2410: Архитектуры нейронных сетей для классификации движений Микроконтроллеры давно перестали быть простыми устройствами для управления датчиками и исполнительными механизмами. Сегодня, благодаря библиотекам вроде TensorFlow Lite, даже компактный ESP32 способен выполнять инференс нейросетей в реальном времени. В этой статье я расскажу о серии экспериментов по классификации движений человека с помощью сверхширокополосного радарного датчика LD2410 и различных базовых архитектур машинного обучения, таких как полносвязная, свёрточная, рекуррентная нейронные сети и трансформер (механизм внимания). Каждый из подходов я реализовал и проверил на практике. В итоге получилась серия видеоуроков и репозиториев с кодом, но здесь я соберу все в одну статью, чтобы показать эволюцию решений и сравнить их эффективность. https://habr.com/ru/articles/952548/ Алгоритмы и Структуры данных

Задачи по алгоритмам: ищем непростые числа Я не математик, но люблю решать задачи. Я люблю трудные задачи, которые не знаешь, как решать, а если и знаешь, трудно написать код верно. Наконец, все работает. Остаются черновики, которые выбросить жалко. Выброшу лишнее с черновика и оставлю конспект, который и через годы напомнит решение. Говорят "У человека феноменальная память - он помнит все". Он записывает. Не помните, что делали три дня назад? Ведите дневник, а не покупайте "таблетки для памяти". https://habr.com/ru/articles/952986/ Алгоритмы и Структуры данных

Хотите зарабатывать на творчестве от 100 000 ₽ и работать удалённо? Начните с бесплатного мини-курса по цифровому дизайну. За 4 дня вы попробуете себя в веб-дизайне, графике и иллюстрации, разберётесь в трендах 2025 года и соберёте первые проекты в портфолио. Это реальная возможность понять, подходит ли вам профессия, и сразу получить план выхода на фриланс или в IT-компанию. На рынке сейчас более 5 000 вакансий, а средняя зарплата дизайнеров — 150 000 ₽. Спрос растёт, и хорошие специалисты нужны всем: от стартапов до корпораций. Успевайте присоединиться к набору — количество мест ограничено.

Зубрить сложно, понимать легко: бинарный поиск Как правило, обучающие материалы сводятся к показу одного «правильного» решения. Такие решения можно попробовать запомнить, но они быстро забываются и не помогают по-настоящему понять алгоритм. Меня интригует вопрос: возможно ли объяснение, которое позволит не просто заучивать формулы, а понять саму логику? И если такое объяснение существует, даст ли оно возможность решать похожие задачи — или даже помогает становиться лучшим программистом? Сразу оговорюсь: мы не будем останавливаться на тривиальных проверках, вроде пустого массива или некорректных параметров. Фокус статьи — на сути алгоритма. https://habr.com/ru/articles/952810/ Алгоритмы и Структуры данных

Нормированные пространства и рендеринг трёхмерных фрактальных множеств: ray marching, поле расстояний, базовые примеры Как и любому ИТ‑специалисту, мне приходится сталкиваться с новыми нестандартными задачами, для решения которых нужно погрузиться в новую для себя область, взглянуть на работу под другим углом, активизировать весь свой бэкграунд, в особенности математический. Для меня самыми интересными из таких задач всегда являются те, которые связаны с визуализацией данных. Вот один из примеров. Я работал в команде Platform V Monitor — это кроссплатформенный ИТ‑мониторинг и сервисы телеметрии, для которого нужно было визуализировать представление данных в виде ориентированного графа с большим количество (1000+) вершин и еще большим количеством рёбер. Каждая вершина должна была иметь подпись‑название и являлась управляющим элементом интерфейса. Одним из возможных вариантов решения, было использование методов компьютерной графики, «выход в 3D». И хотя в итоге удалось решить задачу, оставаясь в 2D, трёхмерный вариант решения имел свои достоинства. https://habr.com/ru/companies/sberbank/articles/952102/ Алгоритмы и Структуры данных

ESP32: Базовые алгоритмы машинного обучения ESP32 давно зарекомендовал себя как универсальный микроконтроллер для IoT: он умеет работать с Wi-Fi и Bluetooth, управлять сенсорами и исполнительными устройствами. Но за последние годы стало ясно, что даже на таких простых устройствах можно запускать алгоритмы машинного обучения. В этой статье рассмотрим, как на ESP32 можно реализовать три базовых алгоритма классификации — дерево решений, метод К-ближайших соседей (KNN) и полносвязную нейросеть на TensorFlow Lite. https://habr.com/ru/articles/952518/ Алгоритмы и Структуры данных

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов Аннотация. Классический перцептрон Розенблатта с архитектурой S–A–R исторически не имел устойчивого алгоритма обучения многослойных структур. В результате в современном машинном обучении доминирует метод обратного распространения ошибки (backpropagation), основанный на градиентном спуске. Несмотря на успехи, этот подход имеет фундаментальные ограничения: необходимость вычисления производных нелинейных функций и высокая вычислительная сложность. В данной работе показано, что при интерпретации работы нейросети через алгоритм ID3 (Rule Extraction) скрытый слой автоматически формирует чистые окрестности в смысле кластерного анализа — признаки группируются по классам ещё до завершения обучения. На основе этого наблюдения автором предложен новый стохастический алгоритм обучения, восходящий к идеям Розенблатта, но принципиально расширяющий их: он позволяет обучать скрытые слои перцептрона без вычисления градиентов. Таким образом, впервые решается классическая проблема обучения архитектуры S–A–R без градиентных методов. Это открывает путь к созданию принципиально новых алгоритмов обучения нейросетей с более простой и интерпретируемой динамикой. https://habr.com/ru/articles/952532/ Алгоритмы и Структуры данных

Бэктестер для торговых стратегий на GPU со скоростью просчёта 150 тыс стратегий за 1 секунду Меня зовут Андрей Счастливый. Пишу на Python. Месяц назад разбираясь с одним пакетом для бэктестинга торговых стратегий на C был очень разочарован в низкой скорости. А ведь в пакете для бэктестинга самое главное скорость и вообще возможность массово пакетами тестировать торговые стратегии. Решил написать на Python свой бэктестер с GPU. За месяц написал пакет и вот ближе к делу, хочу рассказать о нём. Тянуть не буду сразу в лоб, цифры в факты. WarpTrade - высокопроизводительный GPU-бэктестинг торговых стратегий, написанный на Python с использованием Taichi. Проект построен на модульной архитектуре с универсальным движком, способным запускать любые торговые стратегии через систему регистрации ядер. В основе лежит алгоритм собственной разработки. https://habr.com/ru/articles/952434/ Алгоритмы и Структуры данных

🤖 Ломаете голову, как заставить ИИ управлять бизнесом? Ловите рабочий кейс, который «отрабатывает себя» на 1000%. Что берём: связку 1С + Битрикс24 (у большинства уже есть) и добавляем в Битрикс24 армию ИИ-агентов. Что получаем: у вас появляется виртуальный директор — знает, что происходит в компании, сам ставит задачи и следит за отделами. Если нужно решение уровня руководителя — пишет вам в личный Telegram. Живой кейс: Производство → Склады → Продажи 1) Агент запасов и продаж • Анализирует продажи за день/неделю. • Сверяет фактические остатки на складах. • Создаёт задачу снабжению в Битрикс24 с чётким списком: «что и сколько купить», срок выполнения и ответственный. • Дублирует уведомление в Telegram руководителю/закупкам. 2) Агент сделок (контроль воронки) • Следит за стадиями в Битрикс24. • Видит, что сделка «зависла» → пишет ответственному с конкретным списком действий. • Если движения нет — эскалация: сообщение вам, директору, в личного Telegram-бота «ИИ-директор» с кратким резюме: «Где стопор, что сделать, кто отвечает». 3) Ваши команды голосом (без звонков и чатов с сотрудниками) Говорите в Telegram-бот: • «Сколько у нас сегодня чистая прибыль?» → бот собирает данные, отвечает цифрой и раскладкой. • «Скинь остатки по всем складам» → бот берёт данные из складского учёта Битрикс24 и других источников, присылает короткую таблицу без воды. • «Какие риски по отгрузкам на завтра?» → список рисков + авто-задачи ответственным. 4) Что меняется для руководителя • Вы видите картину по компании в один взгляд (сводка утром + дежурные оповещения днём). • Рутины меньше: контроль сроков, напоминания и «пинки» — на ИИ. • Провалы ловятся заранее: запасы, просрочки, «висящие» сделки — под присмотром. Почему это работает • Используем привычные системы (1С, Битрикс24, Telegram). • Доступы по ролям, все действия логируются. • Начинаем с одного потока (например, запасы ↔ продажи), и масштабируем на отделы. Нужна помощь и консультация? Ловите контакты ИИ-инженеров, которые бесплатно консультируют и помогают бизнесу в РФ с реальными ИИ-интеграциями любой сложности: 🌐 industria-ai.ru 🔵 @industria_ai

Двадцать вопросов, которые помогают разработать алгоритм Как разработать алгоритм, решающий сложную задачу? Многие считают, что для этого нужно «испытать озарение», что процесс этот не вполне рационален и зависит от творческой силы или таланта. На самом деле решение любой задачи сводится к сбору информации о наблюдаемом объекте. Причем этот принцип применим как для решения самых сложных научно-исследовательских задач, так и для решения прикладных задач. Работа изобретателя напоминает не столько работу волшебника, сколько путешествие первооткрывателя по неизведанной территории. Главное качество хорошего изобретателя – умение собирать информацию. Если вы хотите решить сложную задачу, собирайте информацию в самых разных направлениях. Ответив на следующие 20 вопросов, вы легко выстроите план работы над задачей. https://habr.com/ru/articles/113597/ Алгоритмы и Структуры данных

Сначала ездил курьером с доходом 14.000 рублей в неделю А потом нашел эту подработку и стал получать 20 тыс. рублей за 30-40 минут в день. Все что я делал — копировал шаги опытных трейдеров в крипте и забирал чистую прибыль сразу на карту. На старте вложил 15.000, сейчас доход в месяц стал 300.000 Не нужно выдумывать никаких схем и стратегий. Главное найти опытного трейдера и просто нажимать на кнопки по его последовательности. Я копирую сделки по этому каналу Евгений Артемов — трейдер с оборотом 720.000$ и входит в топ 10 на бирже Bybit по СНГ Подпишись, сейчас набирают людей в команду и доводят до первых 300.000 рублей абсолютно бесплатно: https://t.me/+vOKeVwRCmtk3ODYy