Всё про Алгоритмы и Структуры данных

Векторизация изображений. Как создать алгоритм поиска похожих изображений на Python Многочисленные исследования ученых доказывают, что около 90% информации человек воспринимает через зрение. Изображения являются одним из самых богатых источников информации, которую можно использовать для разнообразных задач, включая классификацию, детекцию объектов, ранжирование изображений, поиск по изображениям и генерацию текстовых описаний. Все перечисленные выше задачи сегодня реализуются с применением машинного и глубокого обучения. Однако для эффективной обработки изображений необходимо иметь их числовое представление, так как модели машинного обучения способны воспринимать только его. https://habr.com/ru/companies/ppr/articles/787254/ Алгоритмы и Структуры данных

Алгоритм для аппроксимации плоскости Алгоритм построения плоскости по облаку точек методом наименьших квадратов – довольно простой, но я не нашел готового алгоритма в Интернете. В итоге, пришлось самому разбираться. Я решил написать эту статью, т.к. в конце статьи будет готовый к применению алгоритм расчета. Надеюсь, кому-нибудь окажется полезно. https://habr.com/ru/articles/787186/ Алгоритмы и Структуры данных

Улучшаем динамические таблицы YTsaurus с помощью алгоритмов Динамические таблицы в YTsaurus занимают заметное место во внутренней инфраструктуре Яндекса. В них можно хранить огромные массивы данных, и читать их можно настолько быстро, что многие сервисы Яндекса используют YTsaurus при построении ответа внешним пользователям. Всё это звучит здорово, но стоять на месте никак нельзя. Поэтому мы постоянно работаем над всякого рода улучшениями и оптимизациями. Зачастую новые фичи хранят под капотом не самую тривиальную идею. И сегодня я хочу рассказать о нескольких таких улучшениях, которые мы затащили в виде новых фич в последнем релизе. В этой статье разберёмся, как работает xor‑фильтр, в чём особенность чанкового хеш‑индекса и как overload controller повышает стабильность работы. Все примеры разберём на примере YTsaurus, но они будут полезны любому разработчику СУБД. https://habr.com/ru/companies/yandex/articles/785994/ Алгоритмы и Структуры данных

Недостатки и предложения по улучшению метода анализа иерархий В данной статье выполнен обзор метода анализа иерархий (МАИ) Т.Саати в части формирования экспертами матриц парных сравнений, выявлены недостатки и разработаны рекомендации по совершенствованию МАИ. https://habr.com/ru/articles/787550/ Алгоритмы и Структуры данных

Отсечение и поиск / Prune and search Решал задачу на LeetCode (Word Search) и наткнулся на незнакомый мне термин "search pruning", либо "Prune and search". Немного погуглив узнал, что это метод решения задач оптимизации, на Википедии есть соответствующая статья. На русском языке я не нашел такого термина, только некоторые работы на studfile и автоматический корявый перевод на Wiki5, из-за чего решил перевести статью на Википедии, которую привел выше и немного пояснить, что этот термин означает. Перевод любительский и вольный, если будут ошибки, то поправьте, пожалуйста. Перевожу для ссылки из своего расширения LeetCode to Russian и для тех, кто наткнется на такой термин и решит погуглить его на русском языке. Если в русском языке существует похожее определение, но называется по-другому, то прошу написать в комментариях, чтобы я поправил статью. https://habr.com/ru/articles/787580/ Алгоритмы и Структуры данных

Станьте IT-специалистом с зарплатой от 100 000 рублей бесплатно 👉 Только в январе GeekBrains дарит 3 недельное обучение на профессию Python разработчика бесплатно. Записавшись на обучение, вы получите не только технические знания, но и возможность войти в профессию с высоким спросом и перспективами для карьерного роста. Не упустите шанс начать свой путь в IT с поддержкой опытных преподавателей и располагающей обучающей средой. Зарегистрируйтесь сейчас и получите бонусом карьерную консультацию. Реклама. Информация о рекламодателе по ссылкам в посте.

«Пора ли гнать на мороз Computer Vision — scientist'ов ?» (Fondation Models и вокруг) Прошлый год в Computer Vision запомнился тем, что появилось множество больших претрейненных сетей (Fondation Models). Самая известная - GPT4v (ChatGPT с обработкой изображений). В статье я попробую простым языком объяснить что это такое (для тех кто пропустил), как меняет индустрию. И когда можно будет выгнать на мороз лишних "ресерчеров". https://habr.com/ru/companies/recognitor/articles/786646/ Алгоритмы и Структуры данных

Обучаем JavaScript-разработчиков В Kata Academy можно выучиться на Frontend-разработчика бесплатно, а заплатить уже после трудоустройства по специальности из фактической зарплаты. Если задуматься, то все в выигрыше —Ты получаешь работу с хорошей зарплатой, мы получаем процент за инвестиции в тебя и продолжаем прокачивать твои навыки еще 2 года; — в наших интересах научить тебя так, чтобы твоя зарплата была как можно выше; — мы развиваем твои навыки и после курсов: проводим выездные мероприятия и мастер-классы — и доходы наших выпускников растут; — мы не зависим от банков и их рассрочек — кризис не повлиял на доступность курсов. Чтобы попасть на курс, нужно выполнить небольшое тестовое задание. Переходи по ссылке и оставляй заявку! Узнать больше #реклама kata.academy О рекламодателе

Основы обработки радиолокационных данных дистанционного зондирования Земли В последние годы повысился интерес к теме коммерциализации отечественной аэрокосмической отрасли и, в частности, к теме дистанционного зондирования Земли (ДЗЗ) из космоса. Государственные и частные компании стали анонсировать планы по созданию отечественных многоспутниковых группировок космических аппаратов (КА) ДЗЗ, в том числе и КА радиолокационного наблюдения. Повысился и интерес к вопросам организации эффективной наземной инфраструктуры приема и обработки данных ДЗЗ. Наш коллектив более 20 лет занимается разработкой программного обеспечения в области ДЗЗ и создал в общей сложности более 20 наземных комплексов автоматической обработки данных с космических аппаратов оптико-электронного и радиолокационного наблюдения. Наблюдая повышенный интерес к этой предметной области с одной стороны и явный недостаток информационных материалов по теме обработки радиолокационных данных ДЗЗ с другой, решили написать статью, которая, надеемся, будет полезна для всех интересующихся темой ДЗЗ. https://habr.com/ru/articles/787074/ Алгоритмы и Структуры данных

Коротко про алгоритмы и структуры данных Нужно ли программисту знать «структуры данных»? Да, нужно. Нужно ли ему знать алгоритмы? Не обязательно. Однако нужно их понимать, уметь в них разобраться. Из второго пункта можно вывести и другой вопрос «Нужно ли программисту знать математику?». На самом деле ответ будет примерно таким же. Представим, что вам придется погрузиться в алгоритмы не только на собеседовании. Например, появится задача существенно модифицировать библиотеку или фреймворк под нужды компании, взяв сам алгоритм только за основу. Имея за плечами даже базовое (со времен школы или студенчества) воспоминание о различных областях математики, вы справитесь с задачей гораздо быстрее. https://habr.com/ru/companies/vk/articles/787014/ Алгоритмы и Структуры данных

Как добыть свечи по всем акциям Мосбиржи В конце прошлого года я писал о том, как с помощью Algopack можно вытащить справочную информацию о всех акциях Мосбиржи. Приводил пример моего первого скрипта на python, использующего библиотеку moexalgo для Algopack и обозначил планы дописать его с целью добычи всех исторических данных. https://habr.com/ru/articles/786770/ Алгоритмы и Структуры данных

Книги, специализированные Статья в которой собраны лучшие специализированные книги https://habr.com/ru/articles/786644/ Алгоритмы и Структуры данных

Про сортировку чисел и SIMD или как я обогнал STL в 16 раз Cитуация, когда недостаток производительности пытаются покрыть новым железом, не редка. Важно понимать, однако, что железо, которое мы использовали и используем сегодня, содержит в себе множество механизмов, способных актуализировать наш код на годы вперед. В моем понимании программист, умеющий грамотно оперировать этими механизмами(в частности в терминах бизнес процессов, требующих 'Здесь и Сейчас', терминах поиска золотой середины между Скоростью и Дизайном) - профессионал. В этой статье речь пойдет про довольно изъезженную и, казалось бы, понятную тему - тему сортировок, но с одним небольшим дополнением - SIMD. Эту тему я выбрал не случайно: в процессе решения довольно важной для индустрии задачи возникла следующая подзадача: есть входное множество целых чисел. Каждому множеству сопоставлено свое уникальное значение. При этом множества элементов, которые отличаются между собой только порядком следования элементов, а не их значениями, считаются одинаковыми и должны возвращать одно и тоже значение. Одно из решений - посортировать множества, а затем использовать результат как ключ в Хеш Таблице. Одно из важных условий - количество элементов в множестве не превышает 128 элементов. Под катом рассказываю о том, как сортировать такие множества быстро. https://habr.com/ru/articles/785938/ Алгоритмы и Структуры данных

Информатика, зачем? Я и так умею программировать! (на примере языка C++) Буду честен перед читателем. Все современные языки программирования обладают полнотой по Тьюрингу, то есть написанные алгоритмы будут эквивалентны между собой. Эквивалентность алгоритма означает одинаковый вход и выход. Так почему здесь указан язык C++? https://habr.com/ru/articles/786366/ Алгоритмы и Структуры данных

Компилятор за выходные, часть первая Вам когда-нибудь приходилось задаваться вопросом, как работает компилятор, но так руки и не дошли разобраться? Тогда этот текст для вас. Мне тоже не доводилось заглядывать под капот, но тут так случилось, что мне нужно прочитать курс лекций о компиляторах местным третьекурсникам. Кто встречался с некомпетентными преподавателями? Здравствуйте, это я :) https://habr.com/ru/articles/786158/ Алгоритмы и Структуры данных

Алгебры процессов для бизнес-процессов на примере CCS: кофе-машина-теорема Формализация бизнес-процессов алгебраическими выражениями полвека будоражит умы математиков и методологов BPM (Business Process Management, ранее называемое CASE). Однако появление разнообразных алгебр процессов не добавили в практику BPM алгебраического формализма. https://habr.com/ru/articles/786286/ Алгоритмы и Структуры данных

Сказ о том, как я за год решил более 600 leetcode задач Хочу рассказать вам историю о том, как я начинал с уровня — «не могу решить даже 1 easy задачу из 10» до уровня — «могу решить каждую вторую medium задачу» и прошел несколько coding сессий в таких компаниях как Meta, Booking, Careem, Avito... https://habr.com/ru/articles/786184/ Алгоритмы и Структуры данных

Сжатие целых чисел Цель статьи осветить state of the art методы сжатия целых чисел, чтобы сэкономить в будущем время исследования алгоритмов и терминологии. При этом описание части алгоритмов может быть упрощено для понимания. Сравнение алгоритмов тоже находится вне рамках этой статьи. Подробнее можно почитать в ссылках. https://habr.com/ru/articles/786170/ Алгоритмы и Структуры данных

Искусственный интеллект для игры Точки Вводная информация Быстро найти какой-то наработанный теоретический материал по этой теме не удалось. В интернете можно разыскать буквально пару тупиковых обсуждений написания искусственного интеллекта для этой игры. Вне стран СНГ точек, можно сказать, вообще не существует. Однако гуглёж на польском таки выдал мне открытый репозиторий с реализацией точек на Си и аж двумя версиями ИИ. Это открытие стало моей отправной точкой для написания собственного решения. Я поставил для себя следующие цели: Перевести проект c Си на родной C#. Написать ИИ, который бы как минимум обыгрывал ИИ из найденного репозитория. Исследовать возможность использования нейросети. В мире до сих пор нет нормальных решений для этой игры. Да и плохих нагуглилось всего шесть: 2 приложения в Google Play, 2 от польского разработчика, 1 сайт и 1 приложение AppStore. Я поиграл во всё, и во всех играх ИИ был чрезвычайно слаб. Поэтому у меня не было иллюзий, что я смогу написать решение, которое бы превосходило человека. Весомости моему прогнозу придавал тот факт, что до нейросетей ИИ для го также не блистал умом. У меня же нет ни вычислительных, ни интеллектуальных ресурсов, чтобы повторить успех AlphaGo или KataGo. https://habr.com/ru/articles/786140/ Алгоритмы и Структуры данных

Станьте маркетологом за 0₽ Зарплата начинающего маркетолога от 70 000₽, а стоимость обучения на профессию в онлайн-школах от 120 000 до 250 000 рублей. Прямо сейчас GeekBrains отдают бесплатно 5 курсов по IT, в том числе и курс по Маркетингу. Переходите по ссылке и забирайте курс по маркетингу. Акция продлится до 15 января: https://go.2038.pro/d4cffce86bf63fa0?erid=LdtCK7b7u&m=1