Data Science: Алгоритмы и Структуры данных

OSDEV: Разработка аллокатора на С++ часть 3. Финальный аллокатор со списками свободных блоков Оглавление Часть 1 Часть 2 Часть 4 Весь код можно найти в этом репозитории В третьей статье пойдет речь уже о готовом аллокаторе который вполне пригоден для распределения памяти. Он полностью переписан, но идея та же самая, неявный список свободных блоков с граничными тегами сверху и снизу, но с массивом списков свободных блоков. Т.е. по сути с бинами. https://habr.com/ru/articles/1045692/ Алгоритмы и Структуры данных

Итеративное декодирование LDPC/турбо, полярные коды — разбираем на C++ и сравниваем с MATLAB Когда моделируешь помехоустойчивые коды, декодер обычно остаётся чёрным ящиком: пишешь ldpcDecode(llr, cfg, 30), comm.TurboDecoder или dvbs2ldpc(1/2) — и получаешь красивый «водопад» BER, не заглядывая внутрь. А самое интересное в современных кодах именно там: не в том, как закодировать, а в том, как декодер из зашумлённого сигнала достаёт правильные биты. Первая часть заканчивалась предложением: «если интересно разобрать итеративное декодирование LDPC/турбо в деталях или полярные коды с последовательным отменением — пишите в комментариях». Написали — так что эта статья и есть ответ на запрос из комментариев. Читать первую часть необязательно: там мы прошли эволюцию кодов в сотовой связи от GSM до 5G по BER‑кривым в MATLAB, а всё нужное я напомню по ходу. Здесь — вскрываем сами декодеры. https://habr.com/ru/articles/1043922/ Алгоритмы и Структуры данных

Изоляция рунета произошла быстрее, чем ты думал

Loading … ██████████████] 99%

Роскомнадзору воспользовался карт-бланшем на блокировку, а «белые списки» сайтов внедрены уже во всех регионах. И гайки будут закручиваться только сильнее. Чтобы в одночасье не лишиться доступа к свободному Интернету, просто сохрани Only Hack. Тут профессиональный хакер делится фишками, с которыми доступ к глобальной сети у тебя будет даже в случае ядерного апокалипсиса. Не жди момента «Х». Перестрахуйся подпиской.

Основы информатики для всех Всем привет, я сделал обучающую платформу shlyk.tech постарался акцент сделать на визуализации идей и структур. Графы, системы счисления, логику, комбинаторику, индукцию здесь можно потрогать, покрутить, прошагать, увидеть, как оно устроено внутри и понять почему оно так работает. На платформе будет минимум 3 курса: основы информатики, уже открыт и вы или микровы, можете прямо сейчас приступить к учебе. Второй это C++ с нуля до стажировок, часть уже сделана, но там создание визуализаций намного сложнее чем в первом. Третий пока секрет, но он далеко от них не ушел по профилю. Регистрация открытая, денег не прошу, рекламы внутри нет. https://habr.com/ru/articles/1043816/ Алгоритмы и Структуры данных

Торговля на отклонениях: почему мы вернулись к тесту Дики-Фуллера (ADF) Как бы мы ни пытались отказаться от этого инструмента в поисках более изящных алгоритмических решений, каждый раз мы к нему возвращаемся. В прошлой статье про Гамма-флип я вскользь касался механики работы с отклонениями (Mean Reversion), но не раскрыл тему до конца. К тому же, в комментариях справедливо заметили, что текст вышел перегруженным терминологией, применимой скорее к американскому опционному рынку. В этой статье мы углубимся в стохастический анализ и рассмотрим методы определения стационарности временных рядов в реальном времени. Разберем математический аппарат расширенного теста Дики-Фуллера (ADF), причины его интеграции в ядро нашей торговой системы и особенности реализации на Python при работе с большими массивами данных. https://habr.com/ru/articles/1043810/ Алгоритмы и Структуры данных

🧐 Лень считать ночной дожор? Навел телефон — и он сам посчитал калории.

Без взвешиваний и таблиц. Просто фото еды → и через пару секунд видишь калории, белки, жиры и углеводы.

Качать ничего не нужно — всё прямо в Telegram Попробуй, это правда похоже на магию 👇

Как шахматный подход помог разобраться с фотолентой Яндекс Диска Когда вы загружаете фотографии на Яндекс Диск, они не просто лежат в облаке: ML‑модели анализируют снимки, группируют их в альбомы и выбирают хайлайты для фотоленты в Яндекс Диске. Но чтобы улучшать такую систему, нужно уметь измерять качество её работы. И здесь начинается проблема: модель выбирает «красивые» и «удачные» кадры, а эстетика — вещь субъективная. Одному важны насыщенные цвета, другому — композиция, третьему — эмоции и лица в кадре. Если попросить асессоров ставить оценки от 1 до 10, мы быстро получим не объективную шкалу, а смесь личных вкусов, разной строгости и шума. Поэтому мы подошли к задаче не как к обычной разметке, а как к исследованию. Вместо абсолютных оценок использовали шахматный подход. Каждая фотография стала «игроком», который соревнуется с другими по 16 признакам эстетики — цветам, фокусу, геометрии, эмоциональности и другим параметрам. Это позволило получить не просто рейтинг кадров, а инструмент для анализа того, какие визуальные признаки учитывают ML‑модели Диска. Всем привет! Я Всеволод Мещеряков из службы разметки Yandex Crowd Solutions. Мы собираем и размечаем фото, видео, тексты — в общем, готовим данные, на которых учатся ML‑модели. В этой статье расскажу, как подход из мира шахмат помог нам связать субъективное восприятие фотографий с математическими оценками и сделать фотоленту Яндекс Диска ещё красивее. https://habr.com/ru/companies/yandex/articles/1042040/ Алгоритмы и Структуры данных

📣 Портативный монитор 15.6 Laptomo Цена: ~6500₽ Рейтинг: 4.8 😀 Отзывов: 503 💬 🖱 Заказать Портативный монитор 15.6" с IPS FHD (1920×1080) и Ultra HDR обеспечивает яркое и четкое изображение с широкими углами обзора. Оснащен матовым антибликовым экраном, защитой зрения Low Blue Light и Flicker-Free. Тонкий (8.9 мм) и легкий (697 г), комплектуется чехлом-подставкой. Подключается через USB-C и mini HDMI, совместим с ноутбуками, ПК, смартфонами, PS5, Xbox и Nintendo Switch. Поддерживает режимы дублирования и расширения экрана, работает по Plug & Play без установки драйверов. #монитор #laptomo Еще товары: Находки Программиста

Почему маленькие модели побеждают большие – и что это значит для вашего стека Есть такое устойчивое интеллектуальное заблуждение: если модель больше — значит, она лучше. Больше параметров, больше обучающих данных, больше денег в предобучении — и вот вам SOTA. Гонка за размером казалась единственной игрой в городе. Но в 2025–2026 годах что‑то сломалось в этой логике. И сломалось публично, с цифрами и бенчмарками. Я хочу рассказать три истории, которые произошли практически одновременно и складываются в одну картину. Первая — про то, как Microsoft заткнула за пояс «самую опасную» языковую модель Anthropic с помощью ста специализированных агентов. Вторая — про MIT‑трюк, позволяющий маленькой GPT-5-mini обогнать полноразмерный GPT-5 вдвое на сложных задачах. Третья — про китайскую модель Qwen, которую сделала небольшая команда с ограниченными ресурсами, и которая сейчас работает в 200 000 продуктах по всему миру. В каждой истории маленький (или менее очевидный) игрок побеждает «большого». И каждый раз причина примерно одна и та же. https://habr.com/ru/articles/1043590/ Алгоритмы и Структуры данных

Помочь пользователю открыть новое: как мы боролись с замкнутым кругом рекомендаций в Яндекс Лавке Хорошая рекомендательная система быстро учится угадывать, что вы положите в корзину. И чем точнее она угадывает, тем реже показывает что‑то незнакомое: ведь выгоднее предлагать проверенное. Со временем система замыкается на привычках человека и перестаёт показывать ему хоть что‑то за их пределами. https://habr.com/ru/companies/yandex/articles/1051044/ Алгоритмы и Структуры данных

48-кубитный гибридный симулятор Гровера на домашней видеокарте: пробиваем стены памяти и времени Вокруг квантовых вычислений много маркетингового шума. Если вы попытаетесь смоделировать честное 48-кубитное квантовое состояние в комплексном базисе complex128, то неизбежно упретесь в «стену памяти» в 4.5 Петабайта. Если же вы решите применить блочную декомпозицию пространства состояний для ее поочередного обсчета, то упретесь в «стену времени» длиною в несколько лет непрерывных вычислений на GPU. В этой статье мы разберем проект гибридного симулятора, который обходит обе стены, удерживая потребление видеопамяти в пределах 268 МБ, а время симуляции сокращает в 400 раз. Давайте сразу снимем маски: физически данный симулятор не удерживает 48 кубитов в единой суперпозиции. Между старшей и младшей половиной регистра полностью отсутствует квантовая запутанность (entanglement). https://habr.com/ru/articles/1043474/ Алгоритмы и Структуры данных

⚡️В России запустили первую онлайн-магистратуру по искусственному интеллекту Её создали Университет Иннополис и Зерокодер, обучивший работе с ИИ более 15 000 человек. Для рынка это большой прорыв – раньше такой программы просто не было. Что даёт магистратура лично вам: - Вы запускаете собственный ИИ-продукт за время учёбы – он же становится дипломной работой; - Осваиваете ИИ, no-code и вайб-кодинг без программирования, техническая база не нужна; - Получаете диплом магистра государственного образца и отсрочку от армии; - Учитесь онлайн из любого города, без отрыва от работы; - Попадаете в среду практиков: основатели, венчурные инвесторы, выпускник Y Combinator; практика – в Т-Банке, Яндексе, Сбере. Программа платная. Но чтобы разобраться, подходит ли она вам, поступать прямо сейчас не нужно. 7 июля в 13:00 МСК пройдёт бесплатный День открытых дверей. На нём выпускники и студенты лично расскажут, как собрали свои продукты – среди них вирусный ИИ-сервис и B2B-платформа, которой уже пользуются 70 компаний. Приёмная комиссия ответит на ваши вопросы и разберёт детали поступления. Никаких обязательств: приходите, узнайте и оцените возможности – для этого День открытых дверей и проводится. Мест на потоке осталось всего 9, к августу их не останется вовсе. Поэтому анонсируем заранее – разберитесь 7 июля. Регистрация бесплатная по ссылке.

Как шахматный подход помог разобраться с фотолентой Яндекс Диска Когда вы загружаете фотографии на Яндекс Диск, они не просто лежат в облаке: ML‑модели анализируют снимки, группируют их в альбомы и выбирают хайлайты для фотоленты в Яндекс Диске. Но чтобы улучшать такую систему, нужно уметь измерять качество её работы. И здесь начинается проблема: модель выбирает «красивые» и «удачные» кадры, а эстетика — вещь субъективная. Одному важны насыщенные цвета, другому — композиция, третьему — эмоции и лица в кадре. Если попросить асессоров ставить оценки от 1 до 10, мы быстро получим не объективную шкалу, а смесь личных вкусов, разной строгости и шума. Поэтому мы подошли к задаче не как к обычной разметке, а как к исследованию. Вместо абсолютных оценок использовали шахматный подход. Каждая фотография стала «игроком», который соревнуется с другими по 16 признакам эстетики — цветам, фокусу, геометрии, эмоциональности и другим параметрам. Это позволило получить не просто рейтинг кадров, а инструмент для анализа того, какие визуальные признаки учитывают ML‑модели Диска. Всем привет! Я Всеволод Мещеряков из службы разметки Yandex Crowd Solutions. Мы собираем и размечаем фото, видео, тексты — в общем, готовим данные, на которых учатся ML‑модели. В этой статье расскажу, как подход из мира шахмат помог нам связать субъективное восприятие фотографий с математическими оценками и сделать фотоленту Яндекс Диска ещё красивее. https://habr.com/ru/companies/yandex/articles/1042040/ Алгоритмы и Структуры данных

⚡️ Айтишник из «VISION» скупил курсы айти школ и выложил гигабайты материалов к себе Каждый найдет что-то по душе: 1202 ГБ — Python 1811 ГБ — Frontend 1100 ГБ — C / C++ / C# 804 ГБ — Java 411 ГБ — SQL & БД 309 ГБ — DevOps 998 ГБ — ИБ & Хакинг 773 ГБ — Kotlin / Swift 189 ГБ — PHP 201 ГБ — GoLang 170 ГБ — Rust 167 ГБ — QA / Тестирование 310 ГБ — 1C + Лицензии 495 ГБ — Машинное обучение 704 ГБ — Аналитика Данных 991 ГБ — Дизайн Материалы в закрепе, постоянно пополняются👆🏻

Шахматные программы VIII. Заключение Итак, мы подробно рассмотрели в статье, как работают важнейшие составляющие реальной шахматной программы по отдельности и вместе. Пора подвести некоторые итоги, сделать выводы, и попытаться оценить будущие перспективы. https://habr.com/ru/articles/1040238/ Алгоритмы и Структуры данных

Джим Саймонс и Medallion: что инженер рынка может вынести из истории величайшего quant-фонда Математик, криптограф, создатель стратегии «чёрного ящика» — разбор принципов, которые работали 35 лет, и того, что остаётся загадкой Человек, который обыграл рынок на десятилетия 10 мая, в возрасте 86 лет умер Джим Саймонс, создатель Renaissance Technologies — одного из самых прибыльных хедж-фондов в истории. Его состояние оценивается в $31,4 млрд, 55-е место в рейтинге Forbes. Аналитики Уолл-стрит до сих пор не смогли разгадать главный секрет успеха самого прибыльного фонда Саймонса — Medallion. Для создателей стратегий и алготрейдеров это не просто новость. Это повод задать вопрос: что именно делал Medallion и можно ли из этого извлечь практические уроки для собственных систем? https://habr.com/ru/companies/finam_broker/articles/1046616/ Алгоритмы и Структуры данных

Деградируешь со своей нейронной сетью? Ну что, Великий Вайбкодер, сколько тысяч строк кода ты сегодня уже успел сгенерировать? Небось сдал 5 проектов за вчерашний вечер на трёх параллельных работах? А думал ли ты, кем станешь ты и такие как ты через 10 лет? Может, всё-таки «Идиократия» ближе, чем кажется? Давайте погадаем немного на лавандовом рафе и прикинем, что же всё-таки произойдёт уже в ближайшем будущем. https://habr.com/ru/articles/1043136/ Алгоритмы и Структуры данных

Избегаем парадокса пестицида, или Как мы внедрили систему рекомендаций «забытых» тест‑кейсов Регрессионное тестирование часто опирается на один и тот же набор сценариев, и со временем это превращается в проблему: привычные проверки перестают находить новые дефекты, а часть функциональности надолго выпадает из поля зрения команды. Возникает так называемый парадокс пестицида — снижение эффективности неизменных тестовых сценариев с течением времени. Название возникло по аналогии с сельскохозяйственными вредителями, которые вырабатывают устойчивость к постоянно применяемым веществам. Меня зовут Александра Атаман, я QA‑инженер в команде веба Яндекс Такси. В этой статье я расскажу, как мы оптимизировали процесс формирования регрессионного тестирования для ручного прогона, внедрив систему весов для тест‑кейсов. Этот подход помогает прицельно отбирать наиболее «опасные» сценарии: самые старые, забагованные или потенциально проблемные. Я поделюсь техническими деталями реализации, логикой распределения весов и результатами нашего эксперимента. Спойлер: ожидания не во всём совпали с реальностью — но именно этот опыт оказался для нас самым ценным. https://habr.com/ru/companies/yandex/articles/1040612/ Алгоритмы и Структуры данных

Сбер отмечает постепенное оживление спроса на кредиты на фоне снижения ключевой ставки. При этом банк сохраняет прогноз по росту корпоративного кредитования в 2026 году на уровне 10–12%, заявил на Финконгрессе Банка России первый зампред правления Сбера Александр Ведяхин. В мае корпоративный кредитный портфель банка сократился примерно на 300 млрд рублей, при этом около половины снижения пришлось на валютную переоценку. 🤑 The Экономист

Проблема 3x+1: Задача для школьника, которая сломала величайших математиков Представьте себе математическую задачу, условия которой можно объяснить восьмилетнему ребенку ровно за тридцать секунд. А теперь представьте, что эта же самая задача десятилетиями заставляет сдаваться величайших математиков современности. Звучит как преувеличение, но это реальность гипотезы Коллатца, которую чаще называют проблемой «3x+1». Эта задача оказалась настолько неприступной, что один из самых выдающихся умов XX века, математик Пауль Эрдёш, однажды прямо заявил: «Математика еще не созрела для таких задач». Желая хоть как-то сдвинуть дело с мертвой точки, он предложил 500 долларов из собственного кармана тому, кто сможет ее доказать или опровергнуть. Спойлер: эта премия до сих пор остается невостребованной. На первый взгляд, это всего лишь безобидная игра с простейшим делением и умножением. Но на деле проблема 3x+1 доказывает поразительную вещь: за самыми элементарными арифметическими правилами может скрываться абсолютно непредсказуемый хаос и бесконечная сложность. https://habr.com/ru/articles/1042976/ Алгоритмы и Структуры данных