Data Science: Алгоритмы и Структуры данных

Дерево Киви для поиска шаблонов по тексту История этого эксперимента началась где-то в 2022 году с желания фильтровать поступающую из разнородных каналов информацию. В современном мире люди вынуждены находиться в бурном потоке всевозможных новостей, публикаций и коммерческих объявлений и вручную пытаться найти в этом потоке то, что им нужно. https://habr.com/ru/articles/742496/ Алгоритмы и Структуры данных

Алгоритмический тупик: почему платформы продвигают мусор, имея инструменты для его фильтрации Мы живем в 2026 году, когда технологии позволяют оценить глубину и оригинальность текста, но крупные площадки по большей части все еще живут по старинке и судят о качестве по числу лайков и частоте публикаций. Отсюда мы наблюдаем фундаментальный системный сбой, который медленно убивает сложный технический контент. https://habr.com/ru/articles/987794/ Алгоритмы и Структуры данных

👩‍💻 В сеть вывалилась гигантская куча курсов и книг от топовых IT‑школ Держи сотни гигабайт свежих уроков, и каждую неделю мы подкидываем ещё! • 1612 ГБ — DevOps • 1402 ГБ — Python • 1300 ГБ — C, C++ • 1815 ГБ — Frontend • 1515 ГБ — Backend • 898 ГБ — ИБ, Хакинг • 996 ГБ — Kotlin, Swift • 212 ГБ — JavaScript • 315 ГБ — Flutter • 820 ГБ — Go, PHP • 419 ГБ — Java, Rust • 648 ГБ — GameDev • 517 ГБ — Windows, Linux • 998 ГБ — Дизайн (UX/UI) • 617 ГБ — Нейросети (ML/RL) • 546 ГБ — БД (SQL & NoSQL) • 687 ГБ — Аналитика данных • 115 ГБ — QA-тестирование Подписывайся и не плати за то, что можно получить бесплатно

Как заставить LLM сортировать данные: от наивного подхода до TrueSkill Если вы когда-нибудь грузили в LLM список и просили выбрать лучшее или отсортировать — вы, скорее всего, получали посредственный результат. Я проверил это на 164 постах своего телеграм-канала, сравнив пять разных методов сортировки. Оказалось, что разница между «дёшево и плохо» и «дёшево и хорошо» — в правильном алгоритме, а не в модели. В этой статье разберём, почему наивные подходы не работают, как алгоритм из Xbox Live помогает ранжировать контент, и какой метод даёт лучшую корреляцию с реальными данными. https://habr.com/ru/articles/987538/ Алгоритмы и Структуры данных

Топ 5 мифов о налоговом контроле: разбор от экс-налоговика В последнее время в информационном поле мне всё чаще попадается информация о заблуждениях в сфере налогового контроля, и по большей части эти заблуждения исходят от людей, которые называют себя специалистами или экспертами. Таким образом формируется в корне неверное представление о том, чем на самом деле занимается служба и как она осуществляет свой контроль. Вы наверняка видели подобные заголовки: «эксперты предупреждают», «юристы советуют» - смотреть и читать это уже просто больно. Поэтому на правах бывшего сотрудника ФНС, прошедшего три контрольных отдела - предпроверочный анализ, контрольно-аналитический отдел и отдел выездных проверок, я решил подготовить статью с разбором самых популярных мифов, которые встречались мне за последнее время. Если в этой статье я разберу не все популярные мифы, и вы слышали что-то ещё, что на ваш взгляд не похоже на правду - пишите в комментариях, или в личные сообщения. Я добавлю это к разбору в следующей статье. https://habr.com/ru/articles/987500/ Алгоритмы и Структуры данных

Python: ИИ для “Четыре в ряд” с алгоритмом AlphaZero В этой статье мы рассмотрим применение алгоритма AlphaZero для создания ИИ игры "Четыре в ряд" с самообучением и Deep Learning. https://proglib.io/p/connect4-alphazero Алгоритмы и Структуры данных

Поиск решений управляемый данными. Терминологический словарь Ранее в статье «Почему нейросети не заменят прикладных специалистов: простая логика против вероятностных подходов» рассматривались общие вопросы поиска решений управляемого данными. Кратко: это механизм динамического связывания отдельных фрагментов решения в виде информационных блоков в последовательности для определения запрошенных параметров. Эта информационная технология, основанная на простой логике, позволяет оперативно вести диалог с пользователем, используя накопленные в процессе поиска решения данные. Для того чтобы общаться с системой на естественном языке необходим терминологический словарь предметной области. https://habr.com/ru/articles/987218/ Алгоритмы и Структуры данных

Планирование расписаний водителей: как математическая модель укрощает хаос перевозок Что есть план, если ему не следуют? Системы планирования работы сотрудников представляют человека в виде последовательности операций: работа, обед, работа, сон. Иногда и того проще - оставляют без обеда. Такая саркастическая интерпретация жизни вызывает улыбку и наводит грусть. Но в этой статье мы не будем уделять внимание сентиментам, а сосредоточимся на бездушном повествовании об одной из таких систем, а точнее - о задаче планирования графиков работы водителей на круговых маршрутах. Работа будет полезна специалистам в области логистики, транспортного планирования и оптимизации, а также исследователям в сфере математического моделирования транспортных задач. https://habr.com/ru/articles/985680/ Алгоритмы и Структуры данных

Планирование расписаний водителей: как математическая модель укрощает хаос перевозок Что есть план, если ему не следуют? Системы планирования работы сотрудников представляют человека в виде последовательности операций: работа, обед, работа, сон. Иногда и того проще - оставляют без обеда. Такая саркастическая интерпретация жизни вызывает улыбку и наводит грусть. Но в этой статье мы не будем уделять внимание сентиментам, а сосредоточимся на бездушном повествовании об одной из таких систем, а точнее - о задаче планирования графиков работы водителей на круговых маршрутах. https://habr.com/ru/articles/985680/ Алгоритмы и Структуры данных

Как сравниваются изображения — от MSE до Dino Моя страсть к накопительству картинок зародилась еще в эпоху диалапа, когда каждый JPEG проявлялся построчно под писк и скрежет модема, а бэкап стянутых с BBS цифровых сокровищ на дискету напоминал ритуал. С тех пор куча скарба разрослась до масштабов домашнего дата‑центра: здесь доисторические смишные мемы, тонны диснеевского клипарта, сканы журналов, галереи фанарта от известных в узких кругах артоделов, масса неотсортированного фототреша из собственных поездок, картинки природы и красоток, порция клубнички, шедевры CGI, нейроарт и фотографии Элизабет Уинстед. Проблема в том, что весь этот терабайтный зоопарк из разных разрешений, битности и форматов — абсолютно неструктурированная свалка, и попытка найти нужное превращается в квест «убей свои выходные». По мере роста коллекции я пробовал подряд все костыли, которые лучшие умы изобретали для сравнения изображений. В этой статье я пройдусь по эволюционной цепочке: от одноклеточных хэш‑сумм до венца творения — свежесобранного монстра DINOv3. Объять необъятное не выйдет — по каждому методу сравнения можно катать лонгрид с иллюстрациями и с примерами кода (что, возможно, и сделаю, если меня не закидают жжёными тряпками). Но сейчас попробую изложить суть: как метод устроен, когда он тащит, а когда выдает откровенный бред. https://habr.com/ru/articles/986360/ Алгоритмы и Структуры данных

Как сравниваются изображения — от MSE до Dino В этой статье я пройдусь по эволюционной цепочке: от одноклеточных хэш‑сумм до венца творения — свежесобранного монстра DINOv3. Объять необъятное не выйдет — по каждому методу сравнения можно катать лонгрид с иллюстрациями и с примерами кода (что, возможно, и сделаю, если меня не закидают жжёными тряпками). Но сейчас попробую изложить суть: как метод устроен, когда он тащит, а когда выдает откровенный бред. https://habr.com/ru/articles/986360/ Алгоритмы и Структуры данных

Создание максимально стабильной автоматизированной торговой системы: от бектеста до реального бота Сегодня мы разберём полный цикл создания торговой системы на Python: от бэктеста стратегии до её запуска в реальном времени на бирже BingX. Стратегия будет основа на индикаторах и математике, но они будут довольно неклассические и, думаю, что многим это будет интересно. Я опишу логику стратегии, покажу код и объясню каждую часть шаг за шагом. Это не просто копипаст - это полноценный гайд, чтобы вы могли адаптировать систему под себя. Мы используем библиотеки вроде Pandas, NumPy, Matplotlib и API бирж (Binance для данных, BingX для торгов). https://habr.com/ru/articles/986298/ Алгоритмы и Структуры данных

Начни 2026 правильно вместе с Zerocoder 💚 На cайте университета открыли запись на новогодний бесплатный практикум по Perplexity AI. На занятии ребята покажут, как: – Создавать презентации, визуалы, игры и тексты в одном инструменте; – Сокращать затраты и время, заменяя набор сервисов одним ИИ; – Находить идеи для монетизации ИИ прямо в ходе работы; – Выстраивать рабочие процессы так, чтобы Perplexity действительно ускорял выполнение задач, а не усложнял их. Все участники получат готовый гайд с подборкой рабочих промптов – для работы, личных задач и повседневного использования. Бонус: в конце практикума расскажем, как оформить годовую подписку Perplexity Pro бесплатно (обычная стоимость – $240). Жмите на ссылку и успевайте зарегистрироваться!

Создание максимально стабильной автоматизированной торговой системы: от бектеста до реального бота Сегодня мы разберём полный цикл создания торговой системы на Python: от бэктеста стратегии до её запуска в реальном времени на бирже BingX. Стратегия будет основа на индикаторах и математике, но они будут довольно неклассические и, думаю, что многим это будет интересно. Я опишу логику стратегии, покажу код и объясню каждую часть шаг за шагом. Это не просто копипаст - это полноценный гайд, чтобы вы могли адаптировать систему под себя. Мы используем библиотеки вроде Pandas, NumPy, Matplotlib и API бирж (Binance для данных, BingX для торгов). Предупреждение: Сейчас система находится в тесте около 2 недель. На данный момент профит составляет 5% к капиталу бота, но потеря капитала также возможна. Это не финансовый совет — тестируйте на демо-счёте. Я также постоянно подгоняю параметры, чтобы бот был актуален и периодически заменяю монетки в боте. https://habr.com/ru/articles/986298/ Алгоритмы и Структуры данных

Налоговая следит за каждым переводом на карту? Объясняю, что происходит на самом деле В этой статье я подробно разберу как в действительности осуществляется налоговый контроль за счетами физических лиц. Расскажу, как на самом деле работает система, какие данные видят инспекторы и почему начисление налогов за переводы — это бред. https://habr.com/ru/articles/986266/ Алгоритмы и Структуры данных

Хакатон Норникеля: как мы выжали максимум из YOLO и заняли 2 место Привет, Хабр! Пару лет назад мы с коллегами из Центра искусственного интеллекта СФУ искали способы набраться практического опыта в задачах компьютерного зрения. Одним из таких форматов оказались хакатоны — соревнования по решению ML-задач на реальных кейсах с жесткими дедлайнами. За эти пару лет мы успели поучаствовать примерно в десяти хакатонах (Цифровой прорыв, Атомик Хак) и в половине из них доходили до призовых мест. Один из кейсов оказался особенно интересным из-за условий, в которых его пришлось решать. Это хакатон от Норникеля под названием «Интеллектуальные горизонты» https://habr.com/ru/articles/985728/ Алгоритмы и Структуры данных

Генерация 3D-мешей из текста Недавно мне захотелось научиться преобразовывать текст в 3D-меши для последующего рендеринга, так, чтобы такими объектами можно было манипулировать в рамках моего проекта Geotoy и на языке Geoscript. Я занялся исследованием инструментов и библиотек, которые могли бы решать разные аспекты этой задачи, и потом собрал конвейер, реализующий всё вместе. Получились красивые 2-многообразные 3D-меши, поддерживающие произвольные шрифты, текстовые стили и многое другое. В этом посте мы подробно разберём всю получившуюся конструкцию. Надеюсь, материал пригодится всем, кому интересно реализовать что-то подобное и самостоятельно пустить такой проект в работу. https://habr.com/ru/companies/piter/articles/985524/ Алгоритмы и Структуры данных

Почему ваш бектест врёт на 50%, и при чём тут выбор между Python и C++ Pandas-бектесты завышают доходность на 30-70%. Это не баг, это by design. Попробовал разобрать на данных MOEX, сравнил с event-driven подходом и показал замеры latency для Tinkoff API. Плюс немного боли про то, когда Python уже не вывозит https://habr.com/ru/articles/985076/ Алгоритмы и Структуры данных

Поиск решений управляемый данными. Информационный блок В предыдущей статье "Почему нейросети не заменят прикладных специалистов: простая логика против вероятностных подходов" рассматривались общие вопросы поиска решений управляемого данными. Эта информационная технология, основанная на простой логике, позволяет оперативно вести диалог с пользователем, используя накопленные в процессе поиска решения данные. Для того чтобы это работало - требуется фрагментировать знания предметной области в виде функций с заданными областями допустимых значений входящих в них параметров. В данной статье рассматривается вопрос о представлении предметных знаний в виде общедоступных документов, позволяющих интерпретировать их, как вышеозначенные функции и затем использовать в качестве компонентов базы знаний. https://habr.com/ru/articles/985248/ Алгоритмы и Структуры данных

LLM — это афера на доверии, которая длится 400 лет В 1623 году немец Вильгельм Шиккард создал первые известные чертежи механического калькулятора. Спустя двадцать лет Блез Паскаль разработал машину улучшенной конструкции, чтобы помочь справляться с огромным количеством утомительных арифметических расчётов, необходимых в его работе сборщика налогов. Интерес к механическим вычислениям не ослабевал последующие века: поколения людей по всему миру продолжали дело Паскаля и Шиккарда, разделяя их убеждение, что перекладывание умственной нагрузки на машину принесёт облегчение. https://habr.com/ru/articles/985142/ Алгоритмы и Структуры данных