Data Science: Алгоритмы и Структуры данных

Ненормальное марковское программирование Какие программы могут быть по-настоящему достойны хаба "ненормальное программирование"? Конечно же, программы для нормальных марковских алгорифмов! (Далее - НАМ). Но, будем честны перед собой: абстрактные машины - очень просты в реализации. Зачастую вызов состоит в том, чтобы сделать какую-нибудь эзотерическую версию, язык для машины на минималках, и затем ещё и минимизировать транслятор для него. Поэтому поставим задачу со звёздочкой: научимся писать для НАМ в компайл-тайме С++! (Далее - компайл-тайм - КТ, рантайм - РТ https://habr.com/ru/articles/1046688/ Алгоритмы и Структуры данных

Три фикса, четыре ошибки, один файл Несколько недель назад я писал, как мы четыре раза неправильно чинили мерцание при рендеринге 4,4 миллиона полигонов. Тогда казалось, что это рекорд: месяц блужданий, четыре отброшенных подхода, решение на неделю. Эта история хуже. Баг пережил четыре диагноза подряд, два из которых мы успели «подтвердить числами», получил по дороге три работающих фикса от несуществующих причин — и в итоге оказался файлом, который лежал на рабочем столе. Напомню контекст: мы небольшой командой пишем на Rust + Vulkan редактор топологий интегральных схем + верификатор (DRC/LVS/Antenna/PEX) с прицелом на российский рынок. Команда — три человека, я в роли CTO направляю архитектуру и принимаю основные решения. В том числе неверные, о которых ниже. Тестовый основной дизайн всё тот же — Caravel SkyWater SKY130: 4,4 миллиона полигонов, 1014 уникальных ячеек, 22 уровня иерархии, 278 МБ GDS (недавно воспользовались прекрасным проектом TinyTapeout — для прогона на различных gds). https://habr.com/ru/articles/1047302/ Алгоритмы и Структуры данных

Джим Саймонс и Medallion: что инженер рынка может вынести из истории величайшего quant-фонда 10 мая, в возрасте 86 лет умер Джим Саймонс, создатель Renaissance Technologies — одного из самых прибыльных хедж-фондов в истории. Его состояние оценивается в $31,4 млрд, 55-е место в рейтинге Forbes. Аналитики Уолл-стрит до сих пор не смогли разгадать главный секрет успеха самого прибыльного фонда Саймонса — Medallion. Для создателей стратегий и алготрейдеров это не просто новость. Это повод задать вопрос: что именно делал Medallion и можно ли из этого извлечь практические уроки для собственных систем? https://habr.com/ru/companies/finam_broker/articles/1046616/ Алгоритмы и Структуры данных

OSDEV: Разработка аллокатора на С++ часть 4. mem_malloc_aligned Подразумевается что читатель знаком с архитектурой аллокатора из части 3 и понимает алгоритм неявного списка свободных блоков который был освещен в части 1 Аллокатор работает стабильно, все тесты зеленые, включая тесты на стабильность. И следующим шагом логично бы реализовать перегрузки new и delete для abi, но вот незадача: там есть версии принимающие дополнительный аргумент, а именно выравнивание. Эту фичу я реализовать как раз забыл. В архитектуре которая рассматривается в предыдущей статье это оказалось простой, но интересной задачей. Ее мы и обсудим ниже. Решение потребовало реализации функции mem_malloc_aligned которая выделит бОльший кусок памяти с учетом запрошенного выравнивания что бы мы там точно нашли правильно выровненный адрес. Но что если адрес указателя из mem_malloc_aligned не совпадает с адресом указателя который вернул mem_malloc? Что делать в mem_free? Что делать в mem_realloc? Как мне работать с указателем перед которым не хедера? https://habr.com/ru/articles/1047178/ Алгоритмы и Структуры данных

🔥 Хотите управлять увереннее и принимать решения быстрее? Чем выше должность, тем дороже обходятся ошибки и тем сложнее находить работающие решения. Многие месяцами ищут ответы, когда можно получить уже готовый опыт. Школа управления РБК — это сообщество руководителей, где каждую неделю проходят практические онлайн-события с экспертами и топ-менеджерами бизнеса. Что это даст вам: ✔️ умение эффективнее управлять командой ✔️ находить новые профессиональные возможности ✔️ увереннее проходить кризисы и изменения ✔️ расширить круг полезных деловых контактов ✔️ развивать карьеру через сильное окружение Получите гостевой доступ за 1₽ прямо сейчас и начните использовать опыт сильных управленцев в своих задачах. Реклама. Информация о рекламодателе по ссылкам в посте.

Лампа плавного пуска У меня было множество вело фар и всегда меня раздражало то, что фара включается практически мгновенно. Глаза даже не успевают приспособиться и это доставляет существенный дискомфорт. При этом на работе я много лет как раз разрабатывал ECU-прошивки для управления кузовной электроникой. В связи с этим я принял решение разработать себе прототип вело фары с плавным включением яркости для вело-фары. https://habr.com/ru/articles/1044098/ Алгоритмы и Структуры данных

Реставрируем музыку дома или как маленькая нейронка способна конкурировать с платными технологиями Я люблю музыку. Не “фоном в наушниках”, а так, что жалко каждый трек. Развалившись в кресле или диване, взяв наушники и обмусолив каждую из нескольких тысяч композиций из моего плеера. https://habr.com/ru/articles/1046878/ Алгоритмы и Структуры данных

Графический интерфейс Мандельброта: Визуализатор с методом возмущений и предела 1e-308 Ключевые особенности: Расчёт опорной траектории на 5000 бит всего один раз. Реактивный расчёт миллионов пикселей на аппаратном double. При использовании чисел с плавающей запятой двойной точности (порядка ) теория возмущений позволяет приблизиться к уровню  - не дальше. Революционный алгоритм Reference Reset to Zero. Настоящий SSAA 2x2 для идеально сглаженного изображения. Параллелизм OpenMP для высокоскоростного многопоточного рендеринга. Синхронизация через DwmFlush для плавного вывода кадров. Динамическое вращение палитры для создания классического эффекта. https://habr.com/ru/articles/1046708/ Алгоритмы и Структуры данных

Появился новый провайдер LLM - SaveRouter: лёгкий и выгодный доступ к Fable 5 и Opus 4.8 🧠 Самые современные модели Anthropic стали доступны и без лимитов. $50 на тестирование — каждому пользователю Telegram Premium при регистрации Скидка 70% всем, кто зарегистрируется до 23:59 UTC 24.07 (3:00am по Мск) • Лучший вариант для OpenClaw, Hermes и других AI-агентов • Совместимость с Anthropic API: Claude Code, Cursor, Cline, aider — подключение за 2 минуты 👉 svrtr.org

Алгоритмы векторного поиска: IVF и HNSW В данной статье я хочу пройтись по двум самым популярным алгоритмам векторного поиска, используемым на практике. Попробуем понять, почему точный поиск не работает в высоких размерностях и почему мы в итоге приходим к приближенному поиску. Заодно мы затронем тему метрик, чтобы понять, как вообще сравнивают эмбеддинги. Рассмотрим вспомогательный и очень простой алгоритм k-means из классического ML’а, лежащий в основе IVF. И наконец, подробно разберем два самых главных алгоритма IVF и HNSW с примерами их реализации на Python’е. https://habr.com/ru/articles/1046654/ Алгоритмы и Структуры данных

Как учить иностранные слова через интервальные повторения Когда я учился в университете, то активно изучал английские слова. Тогда ещё не использовал какой-то специальный софт для этого. Я просто записывал слова в тетрадь: в первом столбце — слово на английском, во втором — транскрипция, в третьем — перевод на русский. https://habr.com/ru/articles/1046267/ Алгоритмы и Структуры данных

HFT + LLM: почему «просто добавить ИИ» не работает и как строить системы без потери микросекунд Если вы читали восторженные статьи о том, как ИИ трансформирует финансовые услуги, у вас могло сложиться впечатление, что внедрение больших языковых моделей и агентных систем в институциональные торговые среды — это в первую очередь инженерная задача: нужно лишь выбрать подходящую модель, настроить нужные параметры и дождаться роста эффективности. Проработав почти пять лет архитектором по ИИ и интеграциям для платформы, обрабатывающей HFT-данные петабайтного масштаба более чем для 100 институциональных клиентов, включая Bank of America, Merrill Lynch, JPMorgan Chase и Citigroup, Лев Яцемирский, директор по искусственному интеллекту и интеллектуальным системам в Банке Монреаля, утверждает, что такое представление упускает самую важную часть проблемы. Самая сложная часть применения ИИ в высокочастотном трейдинге — это не сам ИИ. Это ограничения. https://habr.com/ru/companies/finam_broker/articles/1046413/ Алгоритмы и Структуры данных

Гиперсвязные нейронные сети. Имитация биологических нейронов: ОС, прунинг, ингибирование и межбатчевая связь В этой статье я расскажу о собственных наработках, которые должны помочь связать признаки из разных слоев внутри одной сети. Как встроить возможность обобщения потока данных в саму механику модели, путем объединения показаний слоев на разных батчах. И о том, как адаптировать технологию для различных архитектур. Как и всегда, вы имеете возможность изучить материал в разных режимах от простого развлечения до опробывания описанных принципов в своих проектах. Буду рад, если попробуйте и поделитесь результатами в комментариях. Кроме того, я намеренно скрыл детальную информацию в спойлеры, чтобы не загромождать статью. Если вам интересны технические подробности, то вы знаете, что делать. https://habr.com/ru/articles/1036164/ Алгоритмы и Структуры данных

UVS: честность розыгрыша как факт, который можно пересчитать, а не как бумажка, которой никто не верит 15 лет я разрабатываю игровые системы и слот-механики. С отделами комплаенса старался не пересекаться, но однажды пришлось написать для сертификационной лаборатории официальное, подробное описание алгоритма. Я сделал его технически точным, сдал — и понял, что его никто не прочитал и не перепроверил. Лаборатория проставила галочки, взяла деньги, выдала бумажный сертификат. Через два часа можно было выкатить хотфикс в прод, и сертифицированный хеш превращался в труп — но это уже никого не волновало. Индустрия живёт на мёртвой бумаге, а не на проверке в реальном времени. И это касается не только казино: любая жеребьёвка, лотерея, гача-баннер, распределение мест в школу или раздача билетов на ивент — везде один и тот же провал. Есть «✓ Provably Fair», server seed, хеш — но почти никто никогда это не проверяет, а часто и не может, включая самого оператора. https://habr.com/ru/articles/1046299/ Алгоритмы и Структуры данных

🇷🇺 Разбираешься в радиочипах, оптике и связи? Забери до 1 000 000 рублей за свои инженерные навыки на турнире «Дронкон» 🇷🇺 «Сталинские Соколы» открывают регистрацию на 4-й Всероссийский турнир «Дронкон», который пройдет с 22 по 26 августа. Турнир пройдет по направлению: - Инженерное дело: навыки программирования, сборка электронного оборудования, беспроводная связь, оптические системы + стратегия «Битва Дронов»; Призовой фонд для победителей: 🥇место – 1 000 000 рублей 🥈место – 700 000 рублей 🥉место – 500 000 рублей Награда за 4-8 места - 100 000 рублей Пройди заочный онлайн-этап и получи путевку на очный этап турнира в Республику Татарстан! Перелет, питание, проживание - за счет организаторов. 🇷🇺 Подать заявку и узнать подробности 🇷🇺

Как я реализовал передачу диалога из ИИ-консультанта сайта в MAX Всё началось с простого вопроса: почему малый бизнес теряет клиентов ночью? Клиент заходит на сайт в 23:00, пишет в чат — и уходит. Потому что менеджер спит. Утром менеджер видит сообщение, перезванивает — а клиент уже купил у конкурента. Стандартное решение — чат-бот. Но обычный чат-бот либо ограничен заранее заданными сценариями, либо требует интеграции с крупными облачными LLM. (отвечает по скриптам), либо слишком дорогой (GPT-4 за десятки тысяч в месяц), либо хранит данные за рубежом, что не всегда удобно для российского бизнеса. Я решил сделать иначе. https://habr.com/ru/articles/1045412/ Алгоритмы и Структуры данных

ИИ-агент, который лучше чем ChatGPT Давно использую в работе автономного Hermes Agent. Этот ИИ умеет работать в фоне, обладает долговременной памятью и сам создает навыки под сложные задачи. На днях я поручил ему полную зачистку своего инфополя в Telegram, где скопилось слишком много подписок. Задача была жесткой: отфильтровать ресурсы по теме AI и IT, оставив только авторские каналы с уникальным опытом и практикой. Hermes полностью проанализировал контент, сверил его с метриками вовлеченности и убрал всё, где были банальные репосты и новостной шум. Результат автоматической чистки получился отличным — ИИ отобрал именно те проекты, которые дают максимальную пользу. Объединил эту выжимку в одну удобную подборку. Подписывайтесь на авторов в 1 клик. Здесь каждый найдет для себя что-то полезное: 👉 https://t.me/addlist/NKxqrdxh611jM2Vi

Как мы перепридумали голосовую активацию для Яндекс Дропс и уместили новую модель в 200 килобайт Голосовая активация в умных колонках — задача в целом решённая: несколько микрофонов, стабильное питание от розетки, хороший процессор. А вот перенести то же самое в наушники оказалось совсем другой историей. Крошечный аккумулятор, мало памяти, чип с жёсткими ограничениями по тактовой частоте, да ещё и с кое‑какими неожиданным сюрпризами на уровне SDK. Всё это потребовало переосмыслить с нуля архитектуру споттера (компонента, который распознаёт обращение «Алиса» прямо на устройстве). Меня зовут Григорий Афанасенко, я работаю в команде голосовых технологий Яндекса. Сегодня мы запустили Яндекс Дропс — первое носимое ИИ‑устройство с Алисой AI. В этой статье я расскажу, как мы адаптировали споттер под железо наушников, какие решения пришлось принять, где мы наступили на грабли и что планируем делать дальше. https://habr.com/ru/companies/yandex/articles/1042706/ Алгоритмы и Структуры данных

Преобразование Фурье в цифровой обработке сигналов. Часть 1: Дискретное преобразование Фурье Преобразование Фурье - это математический инструмент, который переводит сигнал из временной области в частотную. Проще говоря, оно раскладывает сложный сигнал на простые составляющие - синусоиды и косинусы разных частот, амплитуд и фаз. Как химик разлагает вещество на отдельные элементы, так и преобразование Фурье «разбирает» сигнал на его частотные компоненты. В этой статье мы начинаем погружение в одну из фундаментальных тем цифровой обработки сигналов (ЦОС) - дискретное преобразование Фурье (ДПФ). Именно ДПФ служит математической основой для понимания более сложных методов спектрального анализа и является отправной точкой для изучения всех остальных видов преобразования Фурье в ЦОС. https://habr.com/ru/articles/1045118/ Алгоритмы и Структуры данных

Преобразование числа в строку методом умножения на 10 В этом тексте рассматривается метод преобразование двоичного числа в строку без использования операций деления и остатка. Обычно для преобразования целого числа в строку используется метод последовательного деления данного числа на основание требуемой системы исчисления и сбор остатков, которые соответствуют цифрам в десятичной системе. https://habr.com/ru/articles/1044764/ Алгоритмы и Структуры данных