S0ER

Вывод: ML - это конкретно методы обработки данных (в том числе и интеллектуальные), а DS - это общее направление, в которое входит весь спектр решения задач по обработке, хранению и визуализации данных.

ML же занимается: - обучением с подкреплением - компьютерным зрением - Deep Lerning - системами рекомендаци - обучением с учителем - обучением без учителя - и т.д.

Т.е. ML - это одно из направлений DS.

В решении своих задач DS, если смотреть обобщенно, использует: - Визуализацию - Хранение данных - Структурирование данных - Математические методы - Языки программирования - Решения для машинной обработки данных (ML)

Частенько встает вопрос о различии ML и DS, эта картинка хорошо показывает и различия, и состояние дел на сегодняшний день.

Современное состояние Data Science

Эта модель затрудняет статический анализ, например, сложно выдать список пользователей с необходимыми правами, потому что требуется предьявить атрибуты каждого пользователя в каждое правило. Но очень при этом очень эффективна в небольших приложениях, основанных на ролевой модели, так как позволяет делать правила на основе ролей.

Из интересного: здесь отображена модель ABAC - это механизм разграничения доступа на основе атрибутов. В ней обычно доступ определяется не на основе списка или таблицы доступа (как в ACL), а на основе правил и при подставлении конкретных атрибутов идентификатора в правило на выходе получаем информацию о том имеет ли пользователь право на доступ к ресурсу.

Вспомогательные процессы: - аудит - это логировние данных, позволяющих восстановить порядок действий, которые выполнил пользователь. Используется для расследования нештатных ситуаций - шифрование - основной способ сокрытия данных от доступа третьих лиц - лимитирование - лимиты, как правило основаны на ограничении доступа к ресурсам. Но бывает и лимиты времени. Это позволяет противостоять атакам "грубой силы", когда у атакующего есть огромные вычислительные ресурсы.

Два основных элемента: Аутентификация - проверка того кем является пользователь, т.е. по сути проверка личности Авторизация - проверка того, что пользователь может сделать

Краткая шпаргалка из книги "API Security in action" по организации безопасных API

Полный текст конспекта на эту тему - https://s0er.ru/codelabs/arch_stream_1/index.html?index=..%2F..index#4

Список проблем, который я делал для архитектурных стримов, по прежнему актуален: 1 полный игнор вопросов архитектуры (обычно вспоминают про архитектуру как про палочку-выручалочку когда уже «все плохо»); 2 неформализованные требования и ограничения; 3 отсутствие метрик качества и контроля; 4 приоритет наращивания функциональности (по сути увеличение прибыли, больше возможностей – больше продаж); 5 широкая вариативность повторного использования компонент, переусложненные компоненты с частичным использованием функциональности (одна и та же форма имеет несколько сценариев поведения, определяемых объектами-конфигураторами); 6 недостаток механизмов управления командой (нет разделения ответственности, «мы вам платим, вы нам делаете код»); 7 большое количество «ручного» труда, отсутствие сценариев автоматизации (СI/CD, DevOps); 8 несколько источников «правды» - кто-то пишет в почту, кто-то в мессенджер, кто-то что-то сказал на планерке, вопросы решаются на бегу; 9 отсутствие культуры и технологии разработки (команда преимущественно использует структурный подход к разработке, плохо понимает ООП, не понимает принципы изоляции и публичные интерфейсы, рефакторинг сводится к переименованию методов, а не к «прояснению» логики); 10 не фиксируется технический долг и он обычно уже большой; 11 разработчики плохо представляют что такое архитектура, не умеют мыслить в отрыве от когда, не понимают абстракций, имеют узкую квалификацию (слабое знание инженерных дисциплин); 12 Отсутствие тестирования, рефакторинга и прочих техник; 13 Проблемы при генерации и проверке гипотез (первое решение принимается как правильное).

На прошлых выходных участвовал в митапе по обсуждению архитектуры, такое ощущение, что все специально делают одни и те же ошибки.

Рома Труфанов написал хороший пост в тему: Trufanov Roman — Сегодня, в 13:18 Вброшу немного своего мнения xD Вообще про суффиксы все сказанное кажется немного вырванным из контекста. Тут нужно строго зафиксировать несколько моментов. - Мы говорим про ООП, то бишь про объекты и их взаимодействия. - Также нужно учитывать возможность языка программирования. - И также нужно учитывать контекст в котором приходится работать. Если говорить чуть точнее, то нету ничего плохого в использовании каких бы то не было суффиксов. Как по мне, основная проблема это неправильно подобранная абстракция. К примеру если у нас в коде есть класс с названием Manager, то совсем непонятно что это за менеджер такой. Это может быть роль, тогда в таком названии нету ничего особенного. Также это может быть название какой то сущности, о которой говорит заказчик, тут надуманно конечно, но к примеру менеджер = система, которая управляет заказами. А вот что недопустимо, это придумывать класс Менеджер, которого нету в бизнес домене совсем. Ну к примеру у нас есть какая то логика и где же ее нужно разместить, вот и придумывают Менеджеров, Процессеров и прочие -еров. Что касается использования названий паттернов, то также не обязательно писать суффикс (Adapter, Factroy и т.д.). Помним, что паттерн это не цель, а это то, что уже проявляется в коде. К паттерну приходят либо во время проектирования, когда понимают, что взаимодействие объектов похоже на определенный паттерн. Либо во время рефакторинга, когда получившаяся структура начинает быть похожа на опять определенный паттерн. Вот не разу не было качественного решения, где бы брали и стали пытаться насильно достичь использования конкретных паттернов. Это всегда связано с решаемой задачей и текущей ситуацией в коде.

Ну а мое отношение такое - я считаю, что паттерны (например, Observer) и "поведение" могут быть реализованы через класс, но нужно быть осторожным, так как лучше придерживаться максимально "чистого" ООП и создавать объекты, которые действительно являются объектами, а не абстрактной логикой.