Data Science: Алгоритмы и Структуры данных

Железный Асессор, ML-оценка манеры вождения и безопасный диспатч: как технологии делают такси безопаснее В этом посте я расскажу, как мы внедряли технологии, которые повышают безопасность пассажиров и водителей. За годы существования сервиса мы научили алгоритмы проверять документы, считывать опасное вождение, а также подбирать водителей в соответствии со сложностью заказа. https://habr.com/ru/companies/yandex/articles/753620/ Алгоритмы и Структуры данных | ChatGPT

Симметрии СМ-модели, идемпотенты. Часть V Продолжаем знакомство с моделью числа и ее свойствами, а конкретно, с симметриями, которое этой публикацией завершается. Симметрии излагались на разном уровне представления модели: областей строк, отдельных строк, элементов одной строки и элементов разных строк. Для читателей, ознакомившимися с моими предыдущими статьей 1(О разложении модели числа), статьей 2 (О симметриях...) и др. предлагается продолжить знакомство с проблемой моделирования и исследования чисел. https://habr.com/ru/articles/834744/ Алгоритмы и Структуры данных | ChatGPT

Определение области коллизии В процессе разработки своего собственного 3D движка в определённый момент я наткнулся на следующую проблему: как можно вычислить точки контакта между двумя объектами для правильного расчёта центра приложенных сил. Ожидая получить ответ на свой вопрос в интернете я начал искать его. Однако, что меня удивило, нет ни одного внятного объяснения решения данной проблемы. В лучшем случае вы найдёте небольшой комментарий с кратким описанием того, что должны сделать. Дабы закрыть эту проблему я решил написать собственную статью о нахождении точек контакта и помочь будущим поколениям. https://habr.com/ru/articles/753776/ Алгоритмы и Структуры данных | ChatGPT

Эти прекрасные древовидные карты (альтернатива pprint) Древовидные карты — это инструмент визуализации, позволяющий обобщать данные разной формы и размеров. На сегодня они чаще всего используются для отображения файлов, занимающих всё пространство диска, но путём некоторых доработок их можно сделать гибким инструментом для анализа и навигации по беспорядочным массивам данных. Древовидные карты заполняют всё пространство. Вы указываете границы, и алгоритм генерирует график, занимающий все пиксели обозначенной области. Это отличает их от модуля pprint, который генерирует представление данных, пропорциональное их количеству. Возможность ограничения визуальной области даёт преимущество в том, что древовидные карты изящно масштабируются для данных небольшого и среднего размеров. Такие карты задействуют для представления данных все доступные пиксели. Как правило, чем больше пикселей, тем более чётким получается представление. Тем не менее древовидная карта отлично подходит и для относительно небольших размеров. https://habr.com/ru/companies/ruvds/articles/753530/ Алгоритмы и Структуры данных | ChatGPT

⚡️Россию отключают от интернета: с 12 сентября начнут работать новые санкции США. Google, Gmail и даже WhatsApp — отвалится ВСЁ. Большинство окажутся не готовы: потеряют работу, жизненно важные данные и просто связь с близкими. Чтобы такого не было с вами — читайте канал «Провод». Это главный техноканал Телеграма, где рассказывают, как обойти любые блокировки без VPN, сохранить все свои данные и пользоваться платным софтом бесплатно. Сейчас такие навыки жизненно необходимы — подписывайтесь: @provod

Криптовалюта и алготрейдинг где правда В данной статье рассматриваются определенные аспекты криптовалют и финансовых рынков. Несмотря на мою профессиональную деятельность в качестве программиста, статья не содержит программного кода. Основное внимание уделяется возможностям автоматизации в области торговли и оценке целесообразности таких решений. Статья будет полезна тем, кому интересны такие направления как, трейдинг, арбитраж, покупка мем-токенов, DeFi, а также программистам, желающим автоматизировать эти процессы. Кроме того, я рассмотрю применение нейронных сетей в торговле и запуск собственной Telegram-игры в экосистеме TON. https://habr.com/ru/articles/835308/ Алгоритмы и Структуры данных | ChatGPT

Обучение YOLOv8s на Google Colab: детектим дорожные знаки Сегодня попробуем детектить дорожные знаки используя YOLOv8. Что ж, приступим! https://habr.com/ru/articles/754206/ Алгоритмы и Структуры данных | ChatGPT

Обработка больших и очень больших графов: Pregel Статья является продолжением предыдущей статьи в рамках цикла статей, посвященных обработке больших и очень больших графов. В статье реализованы распределенные версии четырех классических алгоритмов: "Связные компоненты", "Кратчайшее расстояние", "Топологическая сортировка" и PageRank на Apache Spark DataFrame API. Алгоритмы составлены в соответствии с идеями популярного фреймворка распределенной обработки графов Pregel. https://habr.com/ru/articles/753904/ Алгоритмы и Структуры данных | ChatGPT

Запустите рекламу в телеграм-каналах с Яндекс Директом Перфоманс-реклама теперь в телеграм-каналах ⚡ Яндекс Директ знает, как привлечь целевую аудиторию 💰👌 Попробовать #реклама yandex.ru О рекламодателе

📝 Reddit теперь в Telegram! Крупнейший англоязычный агрегатор вирусного контента запустил канал на русском языке. Подписывайтесь: @RuReddit

Улучшаем BARSiC: как мы проверяли и совершенствовали алгоритм консенсуса в кластере В команде ВКонтакте существует система управления репликацией и консенсусом в кластере, которая называется BARSiC (Binary Asynchronous Replication with Simple Consensus). Прежде всего она контролирует состав кластера, определяя, кто реплика, а кто — мастер. А при выходе мастера из строя реплики выбирают нового с непротиворечивой линейной историей. Для решения этой задачи команда ВКонтакте совместно с университетом ИТМО работали над научно-исследовательским проектом «Разработка моделей для верификации распределенных алгоритмов в системе BARSiC». В этой статье подробно расскажем о том, как мы в рамках проекта верифицировали выбранный для BARSiC алгоритм, и попутно исправили найденную в нём ошибку. https://habr.com/ru/companies/vk/articles/753736/ Алгоритмы и Структуры данных | ChatGPT

Простая красота XOR-сжатия чисел с плавающей запятой Недавно я реализовал небольшую программу для визуализации внутренней работы схемы, сжимающей временные последовательности чисел с плавающей запятой при помощи выполнения XOR последующих значений. Визуализации получились красивыми и помогли мне понять этот красивый алгоритм гораздо проще, чем все объяснения, которые я встречал ранее. Алгоритм: Алгоритм* прост. Сначала мы записываем первое число с плавающей запятой полностью; для всех последующих чисел выполняется XOR с предыдущим числом, а затем результат кодируется одним из трёх способов. https://habr.com/ru/companies/sportmaster_lab/articles/834840/ Алгоритмы и Структуры данных | ChatGPT

Если вас бесят безмозглые коллеги, клиенты и начальники — подписывайтесь на Е-коммерса. Там собирают самое свежее из мира торговли: зашквары бизнесменов, беспредел покупателей и бредовые объявления на онлайн-площадках. Просто посмотрите, на сколько это залипательно: https://t.me/+l5HwITmagLo5NWVi

Внутреннее устройство sync.Map, сравнение производительности с map + RWMutex Эта статья для тех, кто хочет понять, когда стоит использовать sync.Map, а когда достаточно обычной map с мьютексом. В Каруне этот вопрос иногда возникал на код ревью, поэтому такая статья мне показалась полезной. TLDR: sync.Map лучше работает на задачах, где много операций чтения, и ключи достаточно стабильны. https://habr.com/ru/companies/karuna/articles/834400/ Алгоритмы и Структуры данных | ChatGPT

Whale — мета NFT начинается? Чем ближе к осени, тем сильнее пахнет бычьим рынком, а значит давно забытые нарративы будут оживать > Один из них — NFT, а еще лучше NFT китов от проекта Whale > Флор на китенка 5 TON, все роялти проекта уходят на выкуп этих NFT по флору > Whale активно развиваются как проект, так что можете прикупить себе ручного кита вот тут Дополнительно можно залутать токены WHALE, подробности у них в боте — тыкс

Симметрии модели числа. ЧКСС. Часть IV Продолжаем знакомство с моделью числа и ее свойствами, а конкретно, с симметриями на разном уровне представления модели: областей строк, отдельных строк, элементов одной строки и элементов разных строк. Для читателей, ознакомившимися с моими предыдущими статьей 1(О разложении модели числа), статьей 2 (О симметриях...) и др. предлагается продолжить знакомство с проблемой моделирования и исследования чисел. Объект натуральный ряд чисел (НРЧ) настолько богат известными и совершенно новыми свойствами, что само их перечисление потребовало бы много места и времени. Рассмотрение же конкретного свойства в деталях ограничивает автора с одной стороны располагаемыми знаниями, а с другой - ограниченным объемом публикации. Тем не менее, есть желание показать читателям развернутую картину проявлений такого свойства НРЧ, как симметрия в поведении элементов этого замечательного объекта. https://habr.com/ru/articles/833386/ Алгоритмы и Структуры данных | ChatGPT

Математика матричных расширений: как происходит умножение матриц на примере T-Head Matrix Extension Месяц назад моя коллега Валерия запустила цикл статей про матричные расширения, ускоряющие операции над матрицами. Вы уже смогли узнать, что они делают и какие существуют, какие из них разрабатываются для открытой архитектуры RISC-V. В заключительной статье цикла разберем пример использования матричного расширения T-Head под RISC-V для реализации алгоритма матричного умножения. Сначала кратко рассмотрим наивную скалярную реализацию и блочный вариант алгоритма. Затем реализуем аналогичный вариант с использованием матричного расширения — как для квадратных матриц, так и матриц произвольного размера. Второй случай интересен тем, что возникает необходимость обработки так называемых «хвостов» — блоков неправильной конфигурации. В заключение немного расскажу, какие идеи можно использовать для дальнейшей оптимизации матричного умножения, и поделюсь полезными ссылками. Статья не показывает пошаговую оптимизацию умножения матриц для достижения максимума FLOPS и не учит, как писать вычислительные ядра на ассемблере. Она демонстрирует использование матричного расширения и основные идеи оптимизации матричного умножения. Постарался описать все простыми словами, с иллюстрациями и небольшими вставками кода. https://habr.com/ru/companies/yadro/articles/833948/ Алгоритмы и Структуры данных | ChatGPT

Софтмакс Гумбеля: как устроен и для каких нейронных сетей полезен Сегодня хочу затронуть интересную тему: что делать, если в графе вычислений (aka нейронная сеть) возникает дискретное место, через которое не проходит градиент. Как многие знают, для решения этой проблемы есть такие методы, как REINFORCE и софтмакс Гумбеля (Gumbel-Softmax trick). О последнем и пойдёт речь. Хотя про софтмакс Гумбеля уже много написано, ценность этой статьи в том, что вам не придётся ничего искать в интернете и не потребуется делать выкладки на бумаге. Я постарался собрать всю нужную информацию и расписать все промежуточные вычисления. https://habr.com/ru/companies/yandex/articles/834262/ Алгоритмы и Структуры данных | ChatGPT

Зачем изучать программирование в школе и при чем здесь технологическое предпринимательство В этой статье я предлагаю один из возможных ответов на вопросы: что и для чего изучать в школе в области программирования, чтобы не потеряться на полпути и подготовиться к вызовам современности. Эта статья написана для родителей и школьников, поэтому, возможно, вам будет интересно обсудить их с вашими детьми или просто поделиться с ними. Буду рад комментариям, вопросам, обсуждению и вашему мнению по содержанию статьи. https://habr.com/ru/articles/834370/ Алгоритмы и Структуры данных | ChatGPT

Как мы выбираем задания на отбор Route 256: подход и разбор задач Однажды мы решили, что грамотных инженеров эффективнее всего растить самим. Так 3 года назад родился Route 256 — курсы Ozon для разработчиков и тестировщиков уровней junior и middle. Во время курса ведущие специалисты Ozon погружают в индустрию e-com, знакомят с актуальным стеком и бизнес-задачами. Самые успешные выпускники получают оффер в команду Ozon. В статье расскажем, почему для отбора мы используем алгоритмы, и покажем разбор задач с контеста. https://habr.com/ru/companies/ozontech/articles/833762/ Алгоритмы и Структуры данных | ChatGPT