Data Science: Алгоритмы и Структуры данных

Смогу ли я уложить оптимизирующий компилятор в тысячу строк питона? Прогон первый: mem2reg Год назад мне пришлось взять на себя курс лекций по теории компиляторов. Вы встречались некомпетентными преподавателями? Это я, здравствуйте! Прежде чем учить других, я всё-таки решил заглянуть в учебник сам, и это вылилось в серию статей "компилятор за выходные" (да, я помню, что за мной должок с описанием лексера/парсера). В итоге я уложил компилятор со мной придуманного си-подобного языка на GNU ассемблер в шестьсот строк кода, причём без внешних зависимостей, включая парсинг. Всё бы хорошо, вроде работает, но кажется, самое веселье осталось за бортом. Мой компилятор, по факту, это простой pretty print вокруг синтаксического дерева, подумаешь. А как работают оптимизирующие компиляторы? И поставил я себе задачу попробовать уложить игрушечный, но всё же рабочий оптимизирующий компилятор в тысячу строк кода. Как думаете, получится? Итак, тема сегодняшнего разговора - вынос переменных из памяти в регистры, оно же оптимизационный проход mem2reg, см. кпдв. https://habr.com/ru/articles/881192/ Алгоритмы и Структуры данных

Алгоритмы сортировки и их производительность Здравствуйте, давно читаю Хабр и все хотел написать какую-нибудь статью, но не знал с чего начать и о чем писать. Однако решил, что тянуть кота за причинное место. Надо просто взять и написать обзор о чем то, что я знаю и что будет просто для начала. Поэтому решил описать алгоритмы сортировки в размере 37 штук. Я понимаю, что на Хабре есть подобные статьи, однако постараюсь их добавить количеством алгоритмов и приведением небольшого числа графиков. https://habr.com/ru/articles/689738/ Алгоритмы и Структуры данных

Ожидание: переговоры Путина и Трампа вот-вот закончат СВО, а мы вернёмся к прежней стабильной жизни, доллару по 50 и ставке 7%. Реальность: экономика России настолько истощена рекордно высокими инфляцией и санкциями, что конец СВО ничего не изменит. Только глупые надеятся, что Трамп - друг России. Взгляните правде в глаза и почитайте, какие прогнозы дают авторитетные аналитики — например, автор канала «Русский Уолл-стрит». Он ещё никогда не ошибался в своих прогнозах: начиная с курса доллара и заканчивая датой начала СВО и подъёма ключевой ставки. Прямо сейчас он даёт прогноз на весь 2025 год: к каким потрясениями готовиться уже в марте, что будет с рублём и и что на самом деле будет после мирных переговоров и окончания СВО. Сохраняйте, сегодня это больше необходимость, чем рекомендация: @ruswallstreet

Выразить иерархически: вопрос как увидеть хамелеона Проблема нейросетей - невозможность обучаться на единичных примерах. Справиться может табличное RL, но обучаться на данных большой размерности - иная неразрешимая сторона этой парадигмы https://habr.com/ru/post/437020/. Решение только в одном: видеть мир иерархически, где каждая его подчасть также может быть выражена иерархически. https://habr.com/ru/articles/690518/ Алгоритмы и Структуры данных

💳 Разрежь карту своего банка — от неё нет пользы! Копеечными бонусами можно только рассмешить коллег... Канал «это грабёж!» расскажет, какие тарифы и акции российских банков сейчас самые выгодные: • Какой банк даёт 15.000 за вход в приложение • Как оформить кешбэк до 100% по дебетовой карте • Как получить 4.000 за оплату коммунальных услуг Подписывайся, чтобы получать от банков реальные деньги, а не бонусы: @etogrаbezh

Когда и как следует инвалидировать кэш В этой статье я опишу один способ, помогающий определить, когда инвалидировать записи кэша. В качестве примера я приведу специфическую конфигурацию, которая, тем не менее, должна получиться достаточно универсальной, а в заключении поста расскажу, как обобщить ее еще сильнее. https://habr.com/ru/companies/piter/articles/690764/ Алгоритмы и Структуры данных

Боль ML-проектов: как перестать ее чувствовать и начать доходить до прода Меня зовут Илья Туксов, я проджект-менеджер проектов, связанных с машинным обучением и искусственным интеллектом. Работаю в команде персонализации и параллельно учусь сам разрабатывать модели. Сегодня я расскажу об устройстве ML-проектов с точки зрения менеджмента. Мы разберем ключевые этапы проекта, поговорим об их специфике, поищем подводные камни и способы их избежать. Это будет интересно в первую очередь техлидам команд, где есть машинное обучение, а также менеджерам продуктов и проектов. Еще текст будет полезен разработчикам моделей, желающим перейти на следующий уровень, и бизнес-заказчикам, которые хотят внедрить машинное обучение в процессы, но пока не знают, как это сделать. https://habr.com/ru/companies/tbank/articles/713210/ Алгоритмы и Структуры данных

Открытые книги по ML и работе с данными Мы регулярно публикуем подборки литературы для специалистов: делали дайджест книг для желающих поближе познакомиться с Postgres и Kubernetes. Сегодня на очереди справочники и пособия по машинному обучению, которые можно найти в открытом доступе. Эти материалы помогут погрузиться в ML, разобраться в базовых математических концепциях, понять тренды опенсорсных технологий для систем ИИ и перейти к работе с ML-платформой. https://habr.com/ru/companies/mws/articles/872230/ Алгоритмы и Структуры данных

Квест для тех, кто хочет больше зарабатывать! Есть способ изменить свою жизнь без долгого обучения и огромных затрат. Освой профессию SMM-менеджера всего за месяц и начни зарабатывать от 80 000 ₽ уже через несколько недель после старта. Пройди 3-дневный челлендж и узнай: ☑️ Как создавать вирусный контент ☑️ Как привлекать клиентов без бюджета ☑️ Как зарабатывать в соцсетях от 80 000 ₽ 💡 Успеешь выполнить задания за 3 дня? Тогда ты точно сможешь стать крутым SMM-специалистом и зарабатывать больше, чем сейчас. Пройти челлендж Реклама. Информация о рекламодателе по ссылкам в посте.

Обзор постквантовых криптостандартов США со схемами и комментариями Поскольку принятие стандартов на постквантовые криптоалгоритмы можно считать весьма значительным событием в сфере асимметричной криптографии, а также принимая во внимание предполагаемый переход с традиционных на вышеупомянутые стандарты на горизонте в несколько лет (причем не только в США, но и в той значительной части мира, которая ориентируется на стандарты США), предлагаю вашему вниманию в данной статье описание (помимо описаний, я попытался схематично изобразить основные преобразования – под катом много схем с пояснениями) алгоритмов, на которых основаны постквантовые криптостандарты США, а также краткое обсуждение ближайших перспектив выхода новых стандартов на постквантовые криптоалгоритмы и рекомендаций по переходу с традиционных криптографических алгоритмов на постквантовые. Перечень текущих стандартов и рекомендаций NIST в части асимметричной криптографии со ссылками на их официальные публикации приведен в списке литературы к данной статье. https://habr.com/ru/companies/aktiv-company/articles/882490/ Алгоритмы и Структуры данных

5 способов нарисовать обводку Рендеринг обводки (контуров) — это техника, часто используемая в играх или из эстетических, или из геймплейных соображений. Например, в игре Sable контуры применяются для создания стиля, напоминающего комиксы, а Last of Us контуры используются для выделения врагов, когда игрок переходит в режим скрытности. https://habr.com/ru/articles/879788/ Алгоритмы и Структуры данных

10 лет назад вы могли купить биткоин по $8. Сейчас он стоит $96.000 5 лет назад вы могли купить эфириум по $3. Сейчас он стоит $2.700 3 года назад вы могли купить TON по $0,06. Сейчас он стоит $4 Сегодня вы можете купить сотни монет, которые со временем вырастут в 3-5-10 раз. Но бедные люди не замечают таких возможностей, поэтому становятся только беднее. Богатые делают иначе. Подписались на канал CryptoTEX и каждый день получают подборки токенов с перспективой роста до 1000%. Это как иметь хорошего друга-криптана, который за вас изучает рынок и на пальцах объясняет, куда тыкать, чтобы на выходе из $10 заработать $1000. Подписывайтесь, крипта – это главная золотая жила 2025 года: @cryptotexx

Как устроены алгоритмы онлайн-кинотеатра. Разбираем на примере Вы приходите домой и включаете любимый стриминг. Лента сразу же выдаёт вам несколько фильмов и сериалов, которые… действительно хочется смотреть. Сегодня разберём, как именно рождается эта магия вне Хогвартса, и что сидит под капотом рекомендательного движка онлайн-кинотеатра. https://habr.com/ru/articles/882000/ Алгоритмы и Структуры данных

Несудьба, интегрально-ролевая система Правила универсальной нарративно-вычислительной ролевой системы, предназначенной как для соло игр, так и вождения партии. Использует калькулятор, теги с идентификаторами и строится на интерпретации ассоциаций. https://habr.com/ru/articles/882258/ Алгоритмы и Структуры данных

SQL HowTo: укрощаем рекурсию в лабиринте (Advent of Code 2024, Day 16: Reindeer Maze) В этой челлендж-серии статей попробуем использовать PostgreSQL как среду для решения задач Advent of Code 2024. Возможно, SQL не самый подходящий для этого язык, зато мы рассмотрим его различные возможности, о которых вы могли и не подозревать. Сегодняшняя задача заставила попотеть и разработать различные способы оптимизации рекурсивного запроса как по количеству итераций, так и по объему используемой памяти. https://habr.com/ru/companies/tensor/articles/882034/ Алгоритмы и Структуры данных

Создаём свою библиотеку виджетов на Javascript голыми руками. Часть 0: Классы и модули На сегодняшний день существуют большое количество JS-фреймворков, библиотек и тому прочее. Казалось бы, выбираешь крупный и надёжный фреймворк, и пишешь свой интерфейс. Но, во-первых, у разных фреймворков различный подход к написанию кода. Каждый предлагает свой синтаксис и свои фичи, по решению различных частных задач, наподобие создания элементов по шаблону, внедрение хуков, ссылок, данных. Во-вторых, у каждого есть свои зависимости. И размер всех зависимостей порой доходит аж до гигабайтов. В итоге, появляется желание написать свой, очередной, лучший фреймворк. В данной статье перечислены начальные шаги, и проблемы, с которыми Я столкнулся, когда решил написать для себя очередной, универсальный инструмент, для создания интерфейса веб-приложения. https://habr.com/ru/articles/690852/ Алгоритмы и Структуры данных

Как MLOps помогает обеспечить гибкость машинного обучения и стимулирует инновации Многие компании внедряли машинное обучение рывками, приобретая и разрабатывая модели, алгоритмы, инструменты и сервисы под конкретные задачи. Этот подход неизбежен на старте, когда бизнес только узнает о возможностях технологий. Но в результате получается сборная солянка из изолированных, запускаемых вручную, нестандартизированных процессов и компонентов. Как следствие, появляются неэффективные громоздкие сервисы, которые приносят меньше пользы, чем могли бы, или полностью блокируют дальнейшее развитие. https://habr.com/ru/companies/vk/articles/713182/ Алгоритмы и Структуры данных

Ни одна реализация элементарных функций не соответствует стандарту IEEE 754 Введённый в 1985 году стандарт IEEE-754 для чисел с плавающей запятой был предназначен для решения проблемы разнородности реализаций чисел с плавающей запятой, мешавших портируемости кода, а также для повышения стабильности между платформами. Он получил широкое применение и многократно пересматривался в течение прошедших лет. Если вы когда-нибудь работали с любыми вещественными числами в своих приложениях, то они, вероятно, отвечали этому стандарту. Моя работа в течение последнего года заключалась в анализе погрешности различных математических функций, накопления этой погрешности и способов её уменьшения при помощи различных программных паттернов. Одной из исследованных мной тем были базовые математические функции, используемые в функциях активации нейронных сетей, а также способы их аппроксимации для повышения производительности. В процессе работы нам пришлось столкнуться с противодействием со стороны людей, активно стремящихся к корректной реализации математических функций и к соответствию их стандартам, в частности, к соблюдению обеспечения корректности одной наименее значимой единицы измерения (unit in last place, ULP) для элементарных функций. Я был заинтересован в дальнейшей работе по аппроксимации этих функций, поэтому приступил к исследованию того, каким образом они гарантируют корректность, и если они корректны только на 1 ULP, то где располагаются ошибки в области определения функции. В процессе изучения я обнаружил, что ни одна из популярных математических библиотек, используемых во множестве сфер вычислений, на самом деле не выполняет корректное округление в соответствии с требованиями любой версии IEEE 754 после первой редакции 1985 года. https://habr.com/ru/companies/ruvds/articles/881698/ Алгоритмы и Структуры данных

Изучи Java и начни карьеру в IT за 5 дней! Java-разработчики зарабатывают от 80 000 ₽, а вакансий более 4 700. Пройди мини-курс и создай три реальные программы: Telegram-бота, обработку файлов и чат. Ты сразу поймёшь, подходит ли тебе разработка на Java. Обучение в удобное время, поддержка спикера, полезные материалы и комьюнити. Все шаги просты и понятны — ты всему научишься с нуля! Успей записаться, пока есть места! Получи гайд по старту карьеры в подарок. Старт сразу после регистрации.

Как стиральная машина управляет двигателем. Часть I — подключение двигателя и алгоритм стабилизации Данная вступительная статья рассчитана на самый начальный уровень, “продвинутых” в области электроники читателей сможет заинтересовать следующая, где я доберусь до анализа схемотехники реальных машин https://habr.com/ru/articles/694892/ Алгоритмы и Структуры данных