Data Science: Алгоритмы и Структуры данных

Найти за полсекунды: сравниваем похожие фотографии Привет, меня зовут Петр и я работаю в Badoo в команде биллинга. В этой статье я хочу поделиться своим опытом работы над пет-проектом по созданию хранилища фотографий с возможностью поиска дубликатов. Я расскажу, с каким багажом я вошел в этот проект, в чем заключалась задача и как её решал. В конце поделюсь результатами и почему я считаю, что это один из лучших проектов, которым я занимался. Однажды мои знакомые попросили сделать им хранилище изображений для их проекта по модерации внешних ресурсов. Условия: срок хранения до трех лет, фотографии при этом присылаются неравномерно, в среднем поток — 150.000 картинок в сутки. Казалось бы, достаточно банальная задача. Если бы не еще одно условие: хорошо бы сопоставлять фотографии с уже имеющимися: искать дубликаты и помечать их. https://habr.com/ru/companies/oleg-bunin/articles/663012/ Алгоритмы и Структуры данных

Маркетинг за 4 дня: бесплатно! Зарплата начинающего маркетолога от 70 000₽, а стоимость обучения на профессию в онлайн-школах основам от 120 000 до 250 000 рублей. Сейчас Skillbox дарит мини-курс на 4 дня: попробуйте себя в интернет-маркетинге, SMM, таргетинге и копирайтинге. Только практика, полезные чек-листы и доступ к материалам навсегда. Переходите по ссылке и забирайте курс по маркетингу. Акция продлится до 19 мая: https://go.avnxt.site/8b2d902d157e1120?erid=2VfnxxcSezk&m=1

Изящное шестистраничное доказательство. Как возникают случайные структуры Двое молодых математиков ошеломили коллег, представив полное доказательство гипотезы Кана-Калаи — обобщающее утверждение о том, как возникает структура в случайных множествах и графах. Когда математики Джефф Кан и Гиль Калаи в 2006 году впервые выдвинули свою гипотезу о «пороге ожидания», они сами в нее не поверили. Их тезис – широкое утверждение о природе математических объектов, именуемых «случайными графами» — казался слишком категоричным, слишком всеобъемлющим, слишком смелым, чтобы претендовать на истинность. Казалось, что он скорее выдает желаемое за действительное, чем отражает математическую истину. Даже с такими оговорками, никто не смог опровергнуть эту гипотезу, и она быстро стала одной из важнейших нерешенных задач в своей области. Теперь, более 15 лет спустя, двое молодых математиков из Стэнфордского университета сделали то, что, по мнению Кана и Калаи, граничит с невозможным. В на удивление кратком препринте, выложенном в онлайне всего несколько недель назад, Джинён Пак и Гью Туан Фам дали полное доказательство этой гипотезы. https://habr.com/ru/articles/663864/ Алгоритмы и Структуры данных

Мой личный Proof-of-Work. Как я майнил знания о блокчейне Помню тот вечер, когда мне в сотый раз пришла в голову мысль: "А не попробовать ли что-то действительно новое?". Сидя над очередным мердж-реквестом, я вдруг осознал — пора менять рутину. Но куда податься человеку, который хочет впечатлений, но не готов полностью отказываться от своего стека? Блокчейн. Это слово звучало повсюду — на конференциях, в блогах, в разговорах коллег. Все твердили, что это будущее, что это революция. Но никто не мог толком объяснить, как это работает на практике. Так началось мое путешествие в мир распределенных систем. Первой остановкой стал оригинальный whitepaper Биткоина. Читая его, я чувствовал себя студентом-первокурсником, который впервые увидел указатели после паскаля. Все эти термины — "децентрализация", "консенсусные алгоритмы", "смарт-контракты" — казались какой-то магией. Особенно меня добило описание Proof-of-Work. "Так что, компьютеры просто перебирают числа, пока не угадают?" — спросил я у коллеги. Он усмехнулся: "Примерно так, только представь, что это делают миллионы машин одновременно". В тот момент я понял, что мое представление о программировании было слишком узким. Воодушевившись, я решил написать свой блокчейн. "Ну что там сложного? — думал я. — Просто цепочка структур с хешами". Как же я ошибался. Первый вариант выглядел жалко: https://habr.com/ru/articles/920604/ Алгоритмы и Структуры данных

Эффективный обмен данными между информационными системами В ходе работы с многочисленными проектами электронной коммерции мы часто сталкиваемся с ситуацией, когда сайт и бэк-офис представляют собой разные информационные системы, требующие постоянного обмена данными. При этом традиционные подходы к синхронизации данных часто оказываются недостаточно эффективными. Вероятно Вы уже сталкивались с таким и у Вас уже есть готовое решение. Но я очень часто встречаю системы, с подобными проблемами и может быть кому-то при написании своего обмена эта статья немного облегчит жизнь. https://habr.com/ru/articles/920546/ Алгоритмы и Структуры данных

Сиденье пропержено. Коврик для мыши стерся еще пару лет назад. Слышу это от каждого второго прогера. Но это все в прошлом, когда подписан на AliExpress Программиста Ежедневно публикуем самые интересные находки для айтишников, подписывайся – https://t.me/+wuZuKdYccG1kMjJi

Красно-чёрное дерево: полная реализация на C# Что может заставить обратить внимание на красно-чёрные деревья, и как их реализовать? Статья ответит на оба эти вопроса. Бонусом будет показано, как на основе красно-чёрного сконструировать дерево интервалов. https://habr.com/ru/articles/920390/ Алгоритмы и Структуры данных

Бесплатный мини-курс по Java — начните программировать уже сегодня Java-разработчики востребованы и зарабатывают от 80 000 ₽. Хотите проверить свои силы? На мини-курсе вы создадите три проекта, освоите основы языка и поймете, подходит ли вам этот путь. Без опыта в IT, бесплатно и с поддержкой эксперта. А еще получите доступ к материалам и скидку на обучение. К тому же, каждый, кто посмотрит 1-е занятие, получит доступ к изучению английского языка на платформе Skillbox на год. Количество мест ограничено! Успейте записаться. Реклама. Информация о рекламодателе по ссылкам в посте.

Тайное уравнение, позволявшее США следить за всеми В 2006 году АНБ скрыла в криптографическом стандарте Dual EC DRBG математический бэкдор. Агентство отрицало его наличие восемь лет. Затем утечки Сноудена подтвердили его существование. Двойные эллиптические кривые (Dual Elliptic Curve) используются как безопасные генераторы случайных чисел (RNG). Математический бэкдор позволял правительству США расшифровывать SSL-трафик Интернета (Green 2013)1. Эта статья будет технически глубоким исследованием для программистов. Мы реализуем и исходную правительственную научную статью (SP 800-90 2006)2, и бэкдор, обнаруженный исследователями Microsoft (Shumow & Ferguson 2007)3. https://habr.com/ru/articles/919218/ Алгоритмы и Структуры данных

ARGUS: как масштабировать рекомендательные трансформеры Я руковожу командой, которая занимается R&D для рекомендательных технологий в Яндексе. Одна из наших основных задач — развивать трансформерные технологии в контексте рекомендательных систем, и мы активно занимаемся этим уже примерно пять лет. Не так давно у нас произошёл новый виток в развитии рекомендательных технологий, которым мы хотим поделиться с вами в этой статье. https://habr.com/ru/companies/yandex/articles/919058/ Алгоритмы и Структуры данных

Начни изучать Python на бесплатном пятидневном курсе и уже через 6 месяцев претендуй на заработную плату 90 000₽+ Хотите войти в IT, но не знаете, с чего начать? Python — лучший выбор для новичков, и вот почему: — Простой синтаксис — легче учиться, чем на Java или C++. — Востребованность — используют в Google, Netflix, NASA и стартапах. — Универсальность — веб, анализ данных, AI, автоматизация. Skillbox запустил бесплатный 5-дневный мини-курс, на котором вы поработаете с настоящим кодом на реальных задачах. А также получите карьерную консультацию — эксперты помогут определить ваши сильные стороны и выбрать направление в программировании. Из 100 участников мини-курса 43% записываются на полное обучение — потому что после 5 дней уже видят свой прогресс. Не упустите шанс начать с нуля и с поддержкой экспертов по ссылке.

Почему программистам нужно знать структуры данных и как я сэкономил компании $22 000 в год Правильное использование структур данных поможет оптимизировать скорость/память кода. В больших продуктах каждая оптимизация умножается на миллионы/миллиарды сессий пользователей. Так я сэкономил компании $22 000 в год используя базовые знания структуры данных Set. https://habr.com/ru/articles/664054/ Алгоритмы и Структуры данных

Останется ли это правдой завтра? Как проверка устойчивости фактов помогает LLM стать честнее и умнее Привет, Хабр! Мы в команде «Вычислительная семантика» в AIRI сфокусированы на исследовании галлюцинаций и решении проблем доверительной генерации. Мы учимся находить галлюцинации и бороться с ними. Большие языковые модели (LLMs) вроде GPT-4 стали незаменимыми помощниками в повседневной жизни — от генерации текстов до поддержки в кодинге и ответов на вопросы. Однако у них есть ахиллесова пята: они часто галлюцинируют. В этом посте мы разберем нашу последнюю работу Will It Still Be True Tomorrow?, посвященную тому, как на надёжность моделей влияет феномен неизменного вопроса (evergreen question) — то есть вопроса, ответ на который не зависит ни от времени, когда вы его задаёте, ни от места, вопроса про факт, который зафиксирован в истории и не меняется от обстоятельств. https://habr.com/ru/companies/airi/articles/915296/ Алгоритмы и Структуры данных

Как мы научились прогнозировать грозы на карте осадков в Яндекс Погоде Экстремальные погодные явления оказывают большое влияние на нашу жизнь. Это может проявляться в бытовых вещах, просто чтобы не попасть под сильный ливень или грозу. А ещё — в обеспечении бизнеса. Например, в прошлом году в Европе из‑за града погиб один из самых старых виноградников. Именно поэтому мы решили улучшить наш прогноз экстремальных погодных явлений. Прежде всего мы сфокусировались на суперкраткосрочном прогнозе молний на карте осадков, также известной как наукаст, чтобы расширить нашу технологию прогнозирования погоды Meteum. Таким образом мы стали первыми в России, кто сделал карту наукаста гроз на ближайшие два часа с шагом 10 минут. Дело в том, что экстремальные погодные явления часто связаны с конвективными явлениями в атмосфере, которые сложно прогнозировать на долгий срок. То есть если в прогнозе есть гроза, то часто вместе с ней будет ожидаться сильный дождь и ветер, а в некоторых регионах и град. Меня зовут Пётр Вытовтов. Я руководитель группы ML и качества прогноза в Яндекс Погоде. Сегодня я хочу рассказать вам о том, как мы добавляли прогноз молний в нашу модель наукаста с использованием данных со спутников, метеорологических радаров и применением трансформерных моделей. https://habr.com/ru/companies/yandex/articles/919492/ Алгоритмы и Структуры данных

Грокаем алгоритмы Грокаем алгоритмы. Иллюстрированное пособие для программистов и любопытствующих от Бхаргава А. Эта книга рекомендована Яндекс Практикум при подготовке к алгоритмическому собеседованию. Сам автор указывает, что книга для самоучек, студентов, выпускников и тех, у кого программирование не является основным профилем. Мое впечатление неоднозначно. С одной стороны, до сего момента я не встречал описания динамического программирования, поиска кратчайшего пути в графе по алгоритму Дейкстры и использование K ближайших соседей для классификации и аппроксимации (возможно, все это есть в 4м или последующих томах Кнута, но в магазине они мне не встречались). С другой стороны, описания и примеры, приведенные в книге, таковы, что практической пользы не представляют. Описания очень поверхностны, примеры нарочно примитивны, код в половине случаев не приведен. Но даже там где есть код, он нарочито упрощен под конкретный пример и на практике бесполезен. https://habr.com/ru/articles/664360/ Алгоритмы и Структуры данных

Первый зампред правления Сбербанка Александр Ведяхин призвал защитить отечественный бизнес от возвращения западных компаний.

«Сбер» кредитует программы импортозамещения. Поэтому мы и как кредитор в этом заинтересованы, конечно, и как субъект экономики, и как граждане», — заявил Ведяхин.

Также, он напомнил, что немало иностранных вендоров ушли с российского рынка, бросив партнеров без предупреждения — и не из-за санкций, а по внутренним соображениям. По его словам, важно защищать тех, кто занял освободившиеся ниши. Сбербанк уже финансирует программы импортозамещения и намерен и дальше продолжать такую поддержку 🇷🇺 Подписаться на РОССИЮ СЕЙЧАС

Решаем задачу про ферзей при помощи SMT-солвера Автор статьи Modern SAT solvers: fast, neat and underused утверждает, что SAT-солверы «преступно мало используются в нашей отрасли». [SAT — Boolean SATisfiability Solver, то есть солвер, способный находить присвоения, делающие истинными сложные булевы выражения. Более подробно я писал о них ранее.] Какое-то время назад я задался вопросом, почему: как получилось, что они настолько мощны, но ими никто не пользуется? Многие специалисты заявили, что причина в неудобстве кодирования SAT: они лучше предпочтут работать с инструментами, которые выполняют компиляцию в SAT. https://habr.com/ru/articles/919106/ Алгоритмы и Структуры данных

Способы цветовой сегментации в задачах детектирования дорожных знаков Распознавание дорожных знаков основывается на анализе изображений, полученных с камер, установленных на автомобиле. Эффективность работы такой системы зависит от корректной предварительной обработки изображений, в частности – от точного выделения области, содержащей дорожный знак. Основой этой процедуры выступает цветовая сегментация, поскольку большинство дорожных знаков обладают характерной цветовой окраской (например, красный, синий, жёлтый), позволяющей отличить их от фона. На практике задача сегментации усложняется различиями в освещении, погодных условиях, наличием теней, бликов, а также загрязнением камеры. Это делает использование стандартного цветового пространства RGB неэффективным, поскольку оно неразрывно связано с яркостью. В связи с этим актуальной становится задача выбора более устойчивого цветового пространства – например, HSV, LAB или IHLS – для выделения дорожных знаков при помощи цветовой сегментации [1]. https://habr.com/ru/articles/919088/ Алгоритмы и Структуры данных

Когда O(n) мешает отбирать резюме в Росатоме Главная проблема поиска сотрудников — предвзятость. Порой кажется, что наше резюме подходит под свою роль на 100 %, а рекрутер отклоняет его. Проблема с противоположной стороны баррикад: рекрутер должен отсмотреть по 200, 300 и более резюме в день. По разным данным, на каждое уходит всего лишь 6–10 секунд. А что если можно решить эти две проблемы с помощью ML? Сделать модель, которая исключит любой байес и поможет рекрутеру объективно отбирать подходящих кандидатов (где «подходящесть» обусловлена красивой математикой!). Мы это сделали. Оказалось, что если вы хотите добиться непредвзятости, то вам придётся внести в систему предвзятость. Оксюморон в статистике! https://habr.com/ru/companies/greenatom/articles/917546/ Алгоритмы и Структуры данных

Способы цветовой сегментации в задачах детектирования дорожных знаков Распознавание дорожных знаков основывается на анализе изображений, полученных с камер, установленных на автомобиле. Эффективность работы такой системы зависит от корректной предварительной обработки изображений, в частности – от точного выделения области, содержащей дорожный знак. Основой этой процедуры выступает цветовая сегментация, поскольку большинство дорожных знаков обладают характерной цветовой окраской (например, красный, синий, жёлтый), позволяющей отличить их от фона. На практике задача сегментации усложняется различиями в освещении, погодных условиях, наличием теней, бликов, а также загрязнением камеры. Это делает использование стандартного цветового пространства RGB неэффективным, поскольку оно неразрывно связано с яркостью. В связи с этим актуальной становится задача выбора более устойчивого цветового пространства – например, HSV, LAB или IHSL – для выделения дорожных знаков при помощи цветовой сегментации [1]. https://habr.com/ru/articles/919088/ Алгоритмы и Структуры данных