Data Science: Алгоритмы и Структуры данных

Самый быстрый способ нахождения гласной в строке Но начав разбираться, я осознал, что задача гораздо глубже. Я бросил себе вызов: придумать как можно больше способов обнаружения гласной. Я даже попросил присоединиться ко мне нескольких друзей. Какой способ самый быстрый? Каким никогда не стоит пользоваться? Какой самый умный? Какой самый удобочитаемый? В этом посте я рассмотрю 11 способов обнаружения гласных, алгоритмический анализ, дизассемблирование байт-кода Python, реализацию CPython и даже исследую опкоды скомпилированного регулярного выражения. Поехали! https://habr.com/ru/companies/ruvds/articles/920932/ Алгоритмы и Структуры данных

Хочешь попробовать себя в IT без риска? Чтобы не тратить сотни тысяч рулей на профессию, не понимая, подойдет она тебе или нет — есть решение. Всего 3 дня — и ты попробуешь себя в роли тестировщика: найдешь баги в реальных проектах, поработаешь с Postman и SQL, а еще получишь: — 4 полезных гайда (от резюме до подборки книг). — 3 проекта в портфолио. — Скидку на курс, если захочешь продолжить. С нуля, абсолютно без опыта — просто пройди мини-курс и начни учиться. Курс лишит тебя страхов и сомнений в выборе профессии. Попробовать бесплатно P.S. У 85% участников после мини-курса появляется четкий ответ: "Моё/не моё". А ты проверь себя!

Лучший технический вопрос, который мне задавали на собеседовании Много воды утекло с тех пор, как я в последний раз участвовал в собеседовании по программированию как соискатель. Но до сих пор помню особенно полюбившийся мне вопрос с такого собеседования. Дело было в MemSQL, году так в 2013. (Они даже успели переименоваться, поэтому, полагаю, конкретно этот вопрос они на собеседовании уже не задают. Не чувствую вины за то, что выдаю его. Это отличная история, которая также кажется мне поучительной; просто раньше я о ней никогда не писал). Окей, вообще, это даже не вопрос как таковой, это программерская задачка на засыпку. Не помню, сколько времени мне на нее дали. Скажем, три часа, считая время, потребовавшееся на постановку задачи. Поскольку компания MemSQL разрабатывала базу данных, этот челлендж из той же оперы. https://habr.com/ru/articles/662247/ Алгоритмы и Структуры данных

Знакомство со стековыми графами В декабре 2021 года Github объявил, что открывает общий доступ к точной навигации по коду для всех публичных и приватных репозиториев с Python на сайте GitHub.com. Точную навигацию в коде обеспечивают стековые графы, новый фреймвввооорк с открытым исходным кодом, созданный в Github и позволяющий устанавливать правила привязки имен для языка программирования при помощи декларативного предметно-ориентированного языка (DSL). Стековые графы позволяют генерировать данные о навигации по стеку для конкретного репозитория, не требуя при этом какого-либо участия в конфигурировании со стороны владельца репозитория и не вмешиваясь в процесс сборки или другие задания, связанные с непрерывной интеграцией. В этом посте будет подробно рассказано, как работают стековые графы, и как с их помощью достигаются такие результаты. https://habr.com/ru/companies/piter/articles/662662/ Алгоритмы и Структуры данных

Строковые алгоритмы на практике. Часть 3 — Алгоритм Рабина — Карпа Сегодня мы разберем хитроумный и нетривиальный алгоритм поиска подстроки в строке. Он основан не на сравнении символов, а на сравнении чисел. Я уже писал, что основная моя цель это не написать простой разбор алгоритмов, а посмотреть их эффективность, какие-то интересные места и сравнить их производительность между собой. https://habr.com/ru/articles/662678/ Алгоритмы и Структуры данных

Найти за полсекунды: сравниваем похожие фотографии Привет, меня зовут Петр и я работаю в Badoo в команде биллинга. В этой статье я хочу поделиться своим опытом работы над пет-проектом по созданию хранилища фотографий с возможностью поиска дубликатов. Я расскажу, с каким багажом я вошел в этот проект, в чем заключалась задача и как её решал. В конце поделюсь результатами и почему я считаю, что это один из лучших проектов, которым я занимался. Однажды мои знакомые попросили сделать им хранилище изображений для их проекта по модерации внешних ресурсов. Условия: срок хранения до трех лет, фотографии при этом присылаются неравномерно, в среднем поток — 150.000 картинок в сутки. Казалось бы, достаточно банальная задача. Если бы не еще одно условие: хорошо бы сопоставлять фотографии с уже имеющимися: искать дубликаты и помечать их. https://habr.com/ru/companies/oleg-bunin/articles/663012/ Алгоритмы и Структуры данных

Маркетинг за 4 дня: бесплатно! Зарплата начинающего маркетолога от 70 000₽, а стоимость обучения на профессию в онлайн-школах основам от 120 000 до 250 000 рублей. Сейчас Skillbox дарит мини-курс на 4 дня: попробуйте себя в интернет-маркетинге, SMM, таргетинге и копирайтинге. Только практика, полезные чек-листы и доступ к материалам навсегда. Переходите по ссылке и забирайте курс по маркетингу. Акция продлится до 19 мая: https://go.avnxt.site/8b2d902d157e1120?erid=2VfnxxcSezk&m=1

Изящное шестистраничное доказательство. Как возникают случайные структуры Двое молодых математиков ошеломили коллег, представив полное доказательство гипотезы Кана-Калаи — обобщающее утверждение о том, как возникает структура в случайных множествах и графах. Когда математики Джефф Кан и Гиль Калаи в 2006 году впервые выдвинули свою гипотезу о «пороге ожидания», они сами в нее не поверили. Их тезис – широкое утверждение о природе математических объектов, именуемых «случайными графами» — казался слишком категоричным, слишком всеобъемлющим, слишком смелым, чтобы претендовать на истинность. Казалось, что он скорее выдает желаемое за действительное, чем отражает математическую истину. Даже с такими оговорками, никто не смог опровергнуть эту гипотезу, и она быстро стала одной из важнейших нерешенных задач в своей области. Теперь, более 15 лет спустя, двое молодых математиков из Стэнфордского университета сделали то, что, по мнению Кана и Калаи, граничит с невозможным. В на удивление кратком препринте, выложенном в онлайне всего несколько недель назад, Джинён Пак и Гью Туан Фам дали полное доказательство этой гипотезы. https://habr.com/ru/articles/663864/ Алгоритмы и Структуры данных

Мой личный Proof-of-Work. Как я майнил знания о блокчейне Помню тот вечер, когда мне в сотый раз пришла в голову мысль: "А не попробовать ли что-то действительно новое?". Сидя над очередным мердж-реквестом, я вдруг осознал — пора менять рутину. Но куда податься человеку, который хочет впечатлений, но не готов полностью отказываться от своего стека? Блокчейн. Это слово звучало повсюду — на конференциях, в блогах, в разговорах коллег. Все твердили, что это будущее, что это революция. Но никто не мог толком объяснить, как это работает на практике. Так началось мое путешествие в мир распределенных систем. Первой остановкой стал оригинальный whitepaper Биткоина. Читая его, я чувствовал себя студентом-первокурсником, который впервые увидел указатели после паскаля. Все эти термины — "децентрализация", "консенсусные алгоритмы", "смарт-контракты" — казались какой-то магией. Особенно меня добило описание Proof-of-Work. "Так что, компьютеры просто перебирают числа, пока не угадают?" — спросил я у коллеги. Он усмехнулся: "Примерно так, только представь, что это делают миллионы машин одновременно". В тот момент я понял, что мое представление о программировании было слишком узким. Воодушевившись, я решил написать свой блокчейн. "Ну что там сложного? — думал я. — Просто цепочка структур с хешами". Как же я ошибался. Первый вариант выглядел жалко: https://habr.com/ru/articles/920604/ Алгоритмы и Структуры данных

Эффективный обмен данными между информационными системами В ходе работы с многочисленными проектами электронной коммерции мы часто сталкиваемся с ситуацией, когда сайт и бэк-офис представляют собой разные информационные системы, требующие постоянного обмена данными. При этом традиционные подходы к синхронизации данных часто оказываются недостаточно эффективными. Вероятно Вы уже сталкивались с таким и у Вас уже есть готовое решение. Но я очень часто встречаю системы, с подобными проблемами и может быть кому-то при написании своего обмена эта статья немного облегчит жизнь. https://habr.com/ru/articles/920546/ Алгоритмы и Структуры данных

Сиденье пропержено. Коврик для мыши стерся еще пару лет назад. Слышу это от каждого второго прогера. Но это все в прошлом, когда подписан на AliExpress Программиста Ежедневно публикуем самые интересные находки для айтишников, подписывайся – https://t.me/+wuZuKdYccG1kMjJi

Красно-чёрное дерево: полная реализация на C# Что может заставить обратить внимание на красно-чёрные деревья, и как их реализовать? Статья ответит на оба эти вопроса. Бонусом будет показано, как на основе красно-чёрного сконструировать дерево интервалов. https://habr.com/ru/articles/920390/ Алгоритмы и Структуры данных

Бесплатный мини-курс по Java — начните программировать уже сегодня Java-разработчики востребованы и зарабатывают от 80 000 ₽. Хотите проверить свои силы? На мини-курсе вы создадите три проекта, освоите основы языка и поймете, подходит ли вам этот путь. Без опыта в IT, бесплатно и с поддержкой эксперта. А еще получите доступ к материалам и скидку на обучение. К тому же, каждый, кто посмотрит 1-е занятие, получит доступ к изучению английского языка на платформе Skillbox на год. Количество мест ограничено! Успейте записаться. Реклама. Информация о рекламодателе по ссылкам в посте.

Тайное уравнение, позволявшее США следить за всеми В 2006 году АНБ скрыла в криптографическом стандарте Dual EC DRBG математический бэкдор. Агентство отрицало его наличие восемь лет. Затем утечки Сноудена подтвердили его существование. Двойные эллиптические кривые (Dual Elliptic Curve) используются как безопасные генераторы случайных чисел (RNG). Математический бэкдор позволял правительству США расшифровывать SSL-трафик Интернета (Green 2013)1. Эта статья будет технически глубоким исследованием для программистов. Мы реализуем и исходную правительственную научную статью (SP 800-90 2006)2, и бэкдор, обнаруженный исследователями Microsoft (Shumow & Ferguson 2007)3. https://habr.com/ru/articles/919218/ Алгоритмы и Структуры данных

ARGUS: как масштабировать рекомендательные трансформеры Я руковожу командой, которая занимается R&D для рекомендательных технологий в Яндексе. Одна из наших основных задач — развивать трансформерные технологии в контексте рекомендательных систем, и мы активно занимаемся этим уже примерно пять лет. Не так давно у нас произошёл новый виток в развитии рекомендательных технологий, которым мы хотим поделиться с вами в этой статье. https://habr.com/ru/companies/yandex/articles/919058/ Алгоритмы и Структуры данных

Начни изучать Python на бесплатном пятидневном курсе и уже через 6 месяцев претендуй на заработную плату 90 000₽+ Хотите войти в IT, но не знаете, с чего начать? Python — лучший выбор для новичков, и вот почему: — Простой синтаксис — легче учиться, чем на Java или C++. — Востребованность — используют в Google, Netflix, NASA и стартапах. — Универсальность — веб, анализ данных, AI, автоматизация. Skillbox запустил бесплатный 5-дневный мини-курс, на котором вы поработаете с настоящим кодом на реальных задачах. А также получите карьерную консультацию — эксперты помогут определить ваши сильные стороны и выбрать направление в программировании. Из 100 участников мини-курса 43% записываются на полное обучение — потому что после 5 дней уже видят свой прогресс. Не упустите шанс начать с нуля и с поддержкой экспертов по ссылке.

Почему программистам нужно знать структуры данных и как я сэкономил компании $22 000 в год Правильное использование структур данных поможет оптимизировать скорость/память кода. В больших продуктах каждая оптимизация умножается на миллионы/миллиарды сессий пользователей. Так я сэкономил компании $22 000 в год используя базовые знания структуры данных Set. https://habr.com/ru/articles/664054/ Алгоритмы и Структуры данных

Останется ли это правдой завтра? Как проверка устойчивости фактов помогает LLM стать честнее и умнее Привет, Хабр! Мы в команде «Вычислительная семантика» в AIRI сфокусированы на исследовании галлюцинаций и решении проблем доверительной генерации. Мы учимся находить галлюцинации и бороться с ними. Большие языковые модели (LLMs) вроде GPT-4 стали незаменимыми помощниками в повседневной жизни — от генерации текстов до поддержки в кодинге и ответов на вопросы. Однако у них есть ахиллесова пята: они часто галлюцинируют. В этом посте мы разберем нашу последнюю работу Will It Still Be True Tomorrow?, посвященную тому, как на надёжность моделей влияет феномен неизменного вопроса (evergreen question) — то есть вопроса, ответ на который не зависит ни от времени, когда вы его задаёте, ни от места, вопроса про факт, который зафиксирован в истории и не меняется от обстоятельств. https://habr.com/ru/companies/airi/articles/915296/ Алгоритмы и Структуры данных

Как мы научились прогнозировать грозы на карте осадков в Яндекс Погоде Экстремальные погодные явления оказывают большое влияние на нашу жизнь. Это может проявляться в бытовых вещах, просто чтобы не попасть под сильный ливень или грозу. А ещё — в обеспечении бизнеса. Например, в прошлом году в Европе из‑за града погиб один из самых старых виноградников. Именно поэтому мы решили улучшить наш прогноз экстремальных погодных явлений. Прежде всего мы сфокусировались на суперкраткосрочном прогнозе молний на карте осадков, также известной как наукаст, чтобы расширить нашу технологию прогнозирования погоды Meteum. Таким образом мы стали первыми в России, кто сделал карту наукаста гроз на ближайшие два часа с шагом 10 минут. Дело в том, что экстремальные погодные явления часто связаны с конвективными явлениями в атмосфере, которые сложно прогнозировать на долгий срок. То есть если в прогнозе есть гроза, то часто вместе с ней будет ожидаться сильный дождь и ветер, а в некоторых регионах и град. Меня зовут Пётр Вытовтов. Я руководитель группы ML и качества прогноза в Яндекс Погоде. Сегодня я хочу рассказать вам о том, как мы добавляли прогноз молний в нашу модель наукаста с использованием данных со спутников, метеорологических радаров и применением трансформерных моделей. https://habr.com/ru/companies/yandex/articles/919492/ Алгоритмы и Структуры данных

Грокаем алгоритмы Грокаем алгоритмы. Иллюстрированное пособие для программистов и любопытствующих от Бхаргава А. Эта книга рекомендована Яндекс Практикум при подготовке к алгоритмическому собеседованию. Сам автор указывает, что книга для самоучек, студентов, выпускников и тех, у кого программирование не является основным профилем. Мое впечатление неоднозначно. С одной стороны, до сего момента я не встречал описания динамического программирования, поиска кратчайшего пути в графе по алгоритму Дейкстры и использование K ближайших соседей для классификации и аппроксимации (возможно, все это есть в 4м или последующих томах Кнута, но в магазине они мне не встречались). С другой стороны, описания и примеры, приведенные в книге, таковы, что практической пользы не представляют. Описания очень поверхностны, примеры нарочно примитивны, код в половине случаев не приведен. Но даже там где есть код, он нарочито упрощен под конкретный пример и на практике бесполезен. https://habr.com/ru/articles/664360/ Алгоритмы и Структуры данных