Data Science: Алгоритмы и Структуры данных
الذهاب إلى القناة على Telegram
Мы не претендуем на оригинальность контента, мы лишь собираем материал из открытых источников. Ссылка: @Portal_v_IT Сотрудничество: @oleginc Канал на бирже: https://telega.in/c/structuredata
إظهار المزيد7 577
المشتركون
-424 ساعات
-187 أيام
-6330 أيام
أرشيف المشاركات
Скандал в Госдуме: в прямом эфире журналиста выгнали за неудобный вопрос об экономике РФ.
Он рассказал о том, как банки начали обманывать людей после повышения ставки и спросил, почему ЦБ утаило информацию о скорейшем крахе трёх крупных банков РФ.
Его тут же выгнали, но он не успокоился и выложил всю тревожную информацию в своём телеграм-канале «баррель чёрной икры»
Почитайте его, там он в пух и прах разносит выступление Набиуллиной, говорит что на самом деле будет с рублём/сбережениями и из каких банков лучше срочно забирать деньги. Вот ссылка: @banki_oil
Муравьиный алгоритм | Задача коммивояжёра
Задача коммивояжёра — это классическая комбинаторная задача, в которой необходимо найти самый короткий маршрут, проходящий через все заданные города, и вернуться в начальную точку. Путешественник должен посетить каждый город один раз, при этом общая длина пути должна быть минимальной.
Задача коммивояжера является NP-полной, то есть нет известного эффективного алгоритма для ее решения, который работал бы для всех вариантов. Вместо этого применяются различные приближенные алгоритмы. В данной статье мы рассмотрим Муравьиный алгоритм и его реализацию на С++
https://habr.com/ru/companies/timeweb/articles/754462/
Алгоритмы и Структуры данных
Repost from Apple Media
⚡️ Запускаем розыгрыш новенького iPhone 15 Pro на 256 ГБ!
В честь выхода нового айфона, мы решили разыграть его среди наших подписчиков!
УСЛОВИЯ для участия:
– Подписаться на 3 канала:
1. 1337: IT, ChatGPT, Midjourney
2. Не баг, а фича
3. Apple News
– Нажать кнопку «Участвовать» ниже у поста
Итоги будут 1 ноября на канале. Всем желаем удачи!
Участников: 53838
Призовых мест: 1
Дата розыгрыша: 21:00, 01.11.2023 MSK (2 дня)
Использование технологий машинного обучения в аудите: примеры эффективного применения
Аудит является неотъемлемой частью бизнес-практики, обеспечивая независимую оценку финансовой отчётности и процессов в организации. Аудиторы полагаются на опыт и статистическую выборку для ручной проверки сотен документов и свидетельств, определения сильных сторон и углублённого анализа организационных процедур и транзакций. Однако этот ручной процесс превратил аудит в трудоёмкую деятельность.
Сегодня почти каждая крупная технологическая компания внедряет машинное обучение (ML) в аудит. Вот, например, как оно применяется в Facebook и Amazon. Его можно задействовать в разных аспектах, включая анализ данных, обнаружение мошенничества, прогнозирование рисков и оптимизацию процессов. Алгоритмы машинного обучения могут обрабатывать и анализировать огромные объёмы данных, выявлять скрытые зависимости и аномалии, что помогает аудиторам принимать более обоснованные и точные решения. Далее мы рассмотрим различные типы задач машинного обучения, которые могут быть применены в аудите.
https://habr.com/ru/companies/sberbank/articles/762472/
Алгоритмы и Структуры данных
Визуализация алгоритмов стандартной библиотеки C++
В интернете много различных видео, в которых визуализируются алгоритмы. Как правило, такая визуализация делается под определенный алгоритм, и код отрисовки соединен с кодом самого алгоритма. Автору пришла идея отделить визуализацию алгоритма от его исполнения. Тогда можно будет визуализировать любой алгоритм. В том числе алгоритмы стандартной библиотеки С++. Автор нашёл способ сделать это, и вот что у меня получилось.
https://habr.com/ru/articles/762554/
Алгоритмы и Структуры данных
Сравнение алгоритмов балансировки нагрузки: Round Robin vs. Least Connections vs. IP Hash
Сегодня сетевые приложения чрезмерно сложны. В такой среде балансировка нагрузки становится неотъемлемой частью инфраструктуры, позволяя равномерно распределять запросы между серверами и обеспечивать отказоустойчивость. Без балансировки нагрузки, сетевые приложения столкнутся с недоступностью, ухудшением производительности и непредсказуемыми сбоями.
В этой статье мы проведем сравнительный анализ трех известных алгоритмов балансировки нагрузки: Round Robin, Least Connections и IP Hash. Мы рассмотрим их преимущества и недостатки, а также сценарии использования, в которых каждый из них сияет особенным образом.
https://habr.com/ru/companies/otus/articles/770248/
Алгоритмы и Структуры данных
Как мы определили веса алгоритмов ранжирования крупнейших маркетплейсов на открытых данных
Перед автором стояла задача создать алгоритм, который определяет влияние характеристик карточки товара на поисковую позицию в крупнейших российских маркетплейсах. Большинство из них не раскрывают принципы ранжирования — эту проблему нужно было решить с помощью анализа открытых данных. В этой статье автор расскажет, как они прошли этот путь и проверили, что решение действительно работает.
https://habr.com/ru/companies/okkamgroup/articles/770328/
Алгоритмы и Структуры данных
S3-FIFO: новый эффективный алгоритм вытеснения из кэша на основе очередей FIFO
В этой статье автор расскажет о простом и масштабируемом (Simple, Scalable) алгоритме вытеснения данных из кэша на основе трёх статических (Static) очередей FIFO (S3-FIFO). После проверки на 6594 трассировках кэшей 14 компаний автор показал, что S3-FIFO имеет меньшую частоту промахов, чем 12 лучших алгоритмов, разработанных в прошлые десятилетия. Более того, эффективность S3-FIFO устойчива — он имеет наименьший средний показатель промахов для 10 из 14 датасетов. Использование очередей FIFO позволяет S3-FIFO достичь хорошей масштабируемости с пропускной способностью в шесть раз больше по сравнению с оптимизированным LRU в cachelib на 16 потоках.
https://habr.com/ru/companies/ruvds/articles/759270/
Алгоритмы и Структуры данных
CRC — это просто (деление столбиком)
Введение
Целостность - это важное свойство системы.
Будет плохо, если пользовательские данные будут искажены, а мы и глазом не моргнем.
Существуют различные способы достижения этого. Как например, коды коррекции или обнаружения ошибок.
Собственно задача следующая: нам поступают пакеты данных и в процессе передачи данные могут быть искажены, поэтому принимающая сторона должна уметь обнаруживать подобные ситуации.
Одним из таких механизмов является CRC (Cyclic Redundancy Check) - циклический избыточный код. Именно его автор решил использовать для проверки целостности в приложении.
https://habr.com/ru/articles/770014/
Алгоритмы и Структуры данных
Бомба: нейросеть Suno обучили создавать песни по вашему запросу. Накидываете слова, выбраете жанр — и трек готов. Работает даже с русским языком.
Самое крутое, что работает совершенно бесплатно, а инструкцию уже выкатили в главном нейроканале телеги: @neuraldvig
Инженерный калькулятор на C++. Часть 1: Токенизатор математических выражений
В этой части мы рассмотрим создание простейшего парсера (токенизатора) на базе конечного автомата, который будет разделять исходное выражение на части: числовые литералы, операторы, функции и т.п.
https://habr.com/ru/articles/769812/
Алгоритмы и Структуры данных
Реализация консенсусного алгоритма Raft
Когда речь идет о распределенных системах и сетевых приложениях, консенсусный алгоритм становится must have. Эти алгоритмы играют ключевую роль в обеспечении надежности, согласованности и целостности данных в условиях, когда у нас есть несколько участников (узлов), работающих в сети. Например, множество современных распределенных баз данных, файловых систем и кластеров используют консенсусные алгоритмы для координации операций между разными узлами.
В этой статье, мы рассмотрим один из наиболее популярных консенсусных алгоритмов - Raft. Рассмотрим его ключевые компоненты, алгоритм выбора лидера, обеспечение целостности данных и оптимизации для улучшения производительности.
https://habr.com/ru/companies/otus/articles/769786/
Алгоритмы и Структуры данных
Работник московского склада Hermes восемь лет отправляла покупателям поддельные сумки Birkin и Kelly, вместо оригинальных. Оригиналы шли на Авито, а половина Москвы сейчас ходит с китайскими изделиями.
Модные бренды постоянно попадают в скандалы, которые тщательно пытаются скрыть. Если вы хотите видеть всю подноготную совремнного пиара — читайте «Нетипичный маркетинг».
Там бывший пиарщик IKEA следит за брендами и замечает все — от ошибок в ценах до скандальных историй с весьма интересными подробностями.
Они не хотят чтобы вы это знали. Подпишитесь: @notypical
Ни для кого не секрет, что чтобы заработать в 2023 году не нужно быть гением.
Якрий пример: P2P-арбитражники криптовалют, зарабатывают по 5-10.000 рублей в день, тратя при этом 30 мин в день.
Не нужно верить нам на слово, просто загляни в канал Честный Брокер и убедись сам. Эти ребята уже больше года рассказывают как заработать на арбитраже криптовалюты, и делать +5-10% к бюджету в день!
Пустим только 30 подписчиков, не упусти свой шанс👇
https://t.me/+HcS8zw8ooP1hMjQy
Как применять метод PCA для уменьшения размерности данных
PCA — это статистический метод, который позволяет сократить размерность данных, сохраняя при этом наибольшее количество информации. Он основан на линейной алгебре и математической статистике, и представляет собой мощный инструмент для анализа многомерных данных. Главная идея PCA заключается в том, чтобы найти новые признаки, называемые главными компонентами, которые максимально коррелируют с исходными данными.
https://habr.com/ru/companies/otus/articles/769274/
Алгоритмы и Структуры данных
9 алгоритмов сортировки и поиска для JS
Даже если ты frontend-разработчик и решаешь прикладные задачи, тебе в любом случае придётся знать алгоритмы хотя бы на базовом уровне. Но статей на русском с объяснением алгоритмов и тем, как их реализовать на JavaScript, крайне мало. Поэтому хочу поделиться некоторыми алгоритмами сортировки и поиска, и немного рассказать про структуры данных. Знание алгоритмов и структур данных поможет вам в оптимизации приложений.
https://habr.com/ru/companies/simbirsoft/articles/769312/
Алгоритмы и Структуры данных
Как машинное обучение упорядочивает большие данные
Big Data – область, в которой рассматриваются различные способы систематического извлечения полезных для решения бизнес-задач знаний из больших объемов данных. Для этого существуют различные механические или алгоритмические процессы получения оперативной информации. Специалисты по Big Data работают с сырыми неструктурированными данными, результаты анализа которых используются для поддержки принятия решений. Аналитика включает проверку, преобразование, очистку и моделирование данных.
https://proglib.io/p/kak-mashinnoe-obuchenie-uporyadochivaet-bolshie-dannye-2021-03-12
Алгоритмы и Структуры данных
❗️Минимум 20 раз тебя взломали пока ты это читал
Паспорт с пропиской, скрытые фото, пароли и данные банковской карты — уже гуляют по интернету.
Чтобы не попасть в ловушку современный реалий – читай Cyber Squad
— Как узнать чужой пароль от Инстаграмм
— Обходить любые блокировки
— Какие VPN нельзя использовать
👁 Подписывайся - https://t.me/+TeRtBkRNyBE2ZWZi
Разделение пространства и K-мерные деревья
Как вы можете представить, вероятно, самый важный шаг в эпидемиологической модели – это моделирование передачи болезни. В каждом моделируемом периоде времени наша модель должна определить, подхватит ли уязвимый и в данный момент не зараженный человек болезнь от того, кто в данный момент заражен. В простой модели, которую мы сделали в прошлый раз, это включает определение, есть ли зараженные индивиды в заданном радиусе заражения, и именно в этом заключается проблема. Компьютеру не так-то легко понять, находятся ли индивиды рядом друг с другом, особенно учитывая то, что мы моделируем их передвижение, и единственное, что компьютер может сделать – это взять двух индивидов и рассчитать расстояние между ними. Чтобы гарантировать, что компьютер не пропустил ни одной потенциальной пары индивидов, ему придется проверить множество пар, которые явно не находятся на достаточно близком для заражения расстоянии.
Простейший способ гарантировать, что вы не упустили ни одной возможной пары – это устроить цикл по всем индивидам, который сработает, но в конце концов потребует огромного количества вычислений, поскольку количество всех возможных пар пропорционально квадрату количества индивидов. Несмотря на то, что вычисление расстояния для одной пары требует немного времени, при масштабировании модели до десятков тысяч индивидов количество вычислений станет настолько большим, что процесс расчета займет значительное время.
https://proglib.io/p/razdelenie-prostranstva-i-k-mernye-derevya-2021-06-20
Алгоритмы и Структуры данных
Структурные шаблоны проектирования. Зачем нужны и когда их стоит использовать
В этой части мы рассмотрим применение основных структурных шаблонов – Адаптера, Моста, Компоновщика, Декоратора, Фасада, Легковеса и Заместителя.
https://proglib.io/p/mast-hev-dlya-kazhdogo-programmista-strukturnye-shablony-proektirovaniya-zachem-nuzhny-i-kogda-ih-stoit-ispolzovat-2022-03-01
Алгоритмы и Структуры данных
