AWS Notes

​​AWS re:Invent 2021 — DevOps and Developer Productivity https://www.youtube.com/playlist?list=PL2yQDdvlhXf8IJuIGCoPbO2HXxWFFml8Z 1 Using feature flags to avoid downtime during migrations 2 The journey from telemetry to business metrics 3 OutSystems and AWS: The modern application platform for the cloud 4 On AWS, details matter: Why full-stack observability wins 5 Deploying container applications with cloud-native CI/CD pipelines 6 Enterprise networking and SD-WAN with Cisco and AWS 7 Enabling decentralized development teams with a shared services platform 8 Incorporating continuous resilience in your development ecosystem 9 Observing your applications from development through production 10 Write, deploy, and provision cloud resources with AWS Developer Tools 11 Infrastructure as code and modern data resilience on AWS 12 Modern and confident: DevSecOps for enhanced cloud security 13 Slack is the digital HQ for AWS developers and DevOps teams 14 How to reuse patterns when developing infrastructure as code 15 Amazon Builders' Library: Operational Excellence at Amazon 16 Best practices for securing your software delivery lifecycle 17 Building with the new AWS SDKs for Rust, Kotlin, and Swift 18 Cloud-native operations: Agility and speed through distributed ownership 19 Automating cross-account CI/CD pipelines [repeat] 20 Automating cross-account CI/CD pipelines [repeat] 21 What's new with AWS CloudFormation and AWS CDK 22 DevOps revolution [repeat] #reInvent #videos #devops

​​Подкасты — «AWS на русском»: 🔸 Яндекс.Музыка 🔸 Apple Podcasts 🔸 Google Подкасты 🔸 Spotify (подкасты не доступны для Украины, Беларуси - нужно использовать VPN) 🔸 Anchor #podcasts

How we migrated our Prometheus and Grafana based monitoring solution to AWS https://medium.com/i-love-my-local-farmer-engineering-blog/enterprise-monitoring-using-amazon-managed-prometheus-and-grafana-650e76814656 #grafana #prometheus #monitoring #aws #amazon

​​AWS re:Invent 2021 videos — Networking and Content Delivery: https://www.youtube.com/playlist?list=PL2yQDdvlhXf8LwUXEjfwfT9Yd0fFf4H-G 1 Networking foundations 2 Advanced Amazon VPC design and new capabilities 💪 3 Integrate Amazon EKS with your networking pattern 4 Building low-latency websites with Amazon CloudFront 5 Amazon Route 53: A year in review [REPEAT] 6 Amazon Route 53: A year in review [REPEAT] 7 Migrating large-scale websites to Amazon CloudFront 8 Web security: 2021 updates and implementations 9 {New Launch} Manage your IP addresses at scale on AWS 💥New! 10 Take your AWS network and security from 0 to 60 with Aviatrix 11 Assuring and securing AWS migrations with NETSCOUT visibility 12 Building resilient and low-latency gaming architectures on AWS 13 {New Launch} Introducing AWS Cloud WAN and AWS Direct Connect SiteLink 💥New! 💪 14 How to choose the right load balancer for your AWS workloads 15 NetDevOps: A modern approach to AWS networking deployments 16 AWS Well-Architected Framework for hybrid networks [REPEAT] 17 AWS Well-Architected Framework for hybrid networks [REPEAT] #networking #reInvent #video

https://aws.amazon.com/blogs/aws/amazon-kinesis-data-streams-on-demand-stream-data-at-scale-without-managing-capacity/ Интересная фича на ReInvent’е была анонсирована, теперь можно датастримы переключить с режима Provisioned ранее единственно возможного, который поднимает кластер и работает в нем постоянно, вне зависимости от того, шлешь ты эти данные через стрим или нет в текущий момент, платить все равно придется, на OnDemand, который позволяет включить автоскейлинг данного кластера в зависимости от потребляемых ресурсов

Advanced Amazon VPC design and new capabilities: https://www.youtube.com/watch?v=fi3vcenH6UY 🔸 VPC networking overview 🔸 IPv6 only subnets 🔸 DNS64 🔸 NAT64 🔸 Resource-based instance naming 🔸 IPv6 targets for ALB/NLB 🔸 IPAM (IP Address Manager) 🔸 VPC enhanced routing 🔸 Private NATGW 🔸 S3 Interface Endpoint 🔸 PrivateLink: ALB + NLB integration 🔸 TGW Connect 🔸 TGW intra-region peering 🔸 Direct Connect overview 🔸 Direct Connect MACsec 🔸 Direct Connect + Local Zones 🔸 Direct Connect SiteLink 🔸 AWS Cloud WAN 🔸 Network Access Analyzer 🔸 VPC Reachability Analyzer #VPC #TGW #IPv6 #reInvent #video

Очередная, уже третья за последнюю неделю уязвимость Log4j CVE-2021-45105: https://logging.apache.org/log4j/2.x/security.html В результате потребуется обновление до Log4j 2.17.0. и это значит, что все репорты по решению проблемы с обновлением до Log4j 2.16 придётся повторить. Лучи поддержки всем, кому и так приходится сейчас тяжело из-за срочных обновлений, так ещё и во второй (или более) раз. Хронология уязвимостей Log4j: • 10 декабря CVE-2021-44228 - исправлена в 2.15.0 • 11 декабря CVE-2021-45046 - исправлена в 2.16.0 • 16 декабря CVE-2021-45105 - исправлена в 2.17.0 #security

Новые фичи CloudFormation и CDK: https://www.youtube.com/watch?v=PVW8TRvmHhU #CloudFormation #CDK #reInvent #video

Патч для Amazon Linux 1/2 рекомендуемый: Amazon Linux 1 (AL1) and Amazon Linux 2 (AL2) by default use a log4j version that is not affected by CVE-2021-44228 or CVE-2021-45046. However, customers may be running their own log4j version on AL1 or AL2. To help customers who are running a JDK8, JDK11, JDK15, or JDK17 Java Virtual Machine (JVM) mitigate CVE-2021-44228 or CVE-2021-45046, Amazon Linux released a new package that includes the recently announced Hotpatch for Apache Log4j. Customers that bring their own log4j version can install this package by running yum install log4j-cve-2021-44228-hotpatch.

​​Weekly Summary on AWS (December 12-18) Log4j2 CVE-2021-44228 related updates ▪️ WAF + AWSManagedRulesKnownBadInputsRuleSet updated with Log4JRCE protection support Multiple versions during this week. • Added the rule Log4JRCE version 1.2 in response to the recently disclosed security issue within Log4j. For information see CVE-2021-44228. This rule inspects common URI paths, query strings, the first 8KB of the request body, and common headers. The rule uses double URL_DECODE_UNI text transformations. • Released version 1.3 of Log4JRCE to tune the matching criteria and to inspect additional headers. • Released version 1.4 of the rule Log4JRCE to tune the matching criteria and to inspect additional headers. • Released version 1.5 to tune the matching criteria.  • Released version 1.8 of the rule Log4JRCE to improve header inspection and matching criteria.  ▪️ IoT Greengrass Core • 1.11.5 — to fix Log4j for 1.11.x versions • 1.10.5 — to fix Log4j for 1.10.x versions ▪️ IoT SiteWise • OPC-UA collector 2.0.3 with Log4j fix • Data processing pack 2.0.14 with Log4j fix • Publisher 2.0.2 with Log4j fix ▪️ CloudHSM — CloudHSM JCE SDK version 3.4.2 — with Log4j updated to version 2.16.0. ▪️ Amazon Linux — Hotpatch for Apache Log4j yum install log4j-cve-2021-44228-hotpatch ▪️ EMR — Approach to mitigate CVE-2021-44228 ▪️ Kinesis — Amazon Kinesis Agent v2.0.4 with log4j 2.16.0 ▪️ Lambda — aws-lambda-java-log4j2 library v1.4.0 with Log4j fix ▪️ NICE — EnginFrame update instruction with Log4j fix Other updates 🔹 Amazon Detective + Organizations 🔸 New! AWS Region — Jakarta, Indonesia #AWS_week

​​Мультиклауд, пожалуйста. #пятничное

​​Using AWS security services to protect against, detect, and respond to the Log4j vulnerability: https://aws.amazon.com/blogs/security/using-aws-security-services-to-protect-against-detect-and-respond-to-the-log4j-vulnerability/ Protect: 🔸 WAF (Web Application Firewall) 🔸 Network Firewall Detect: 🔸 Inspector 🔸 GuardDuty 🔸 Security Hub Respond: 🔸 SSM Patch Manager 🔸 EC2 IMDSv2 🔹 Container mitigation 🔹 Mitigation strategies ▪️ remove the JndiLookup class from the classpath: zip -q -d log4j-core-*.jar org/apache/logging/log4j/core/lookup/JndiLookup.class ▪️ https://logging.apache.org/log4j/2.x/ #security

​​Сервисы AWS активно обновляются для устранения уязвимости Log4j2. На текущий момент уже около 70 отчиталось об окончании работ по апдейту CVE-2021-44228. https://aws.amazon.com/security/security-bulletins/AWS-2021-006/ Кому важно следить за процессом, сделал табличку с сортировкой сервисов по алфавиту. На картинке краткая версия, ссылка на полную версию документа: https://docs.google.com/spreadsheets/d/1y6KPvRNZkHNADvL1dQJQyXlz_Z4OeKM2ONUkS12xEO0/edit?usp=sharing #security

Update V4 (новая версия отчёта 2021/12/15) — Уязвимость Apache Log4j2 (CVE-2021-44228) и сервисы AWS: https://aws.amazon.com/security/security-bulletins/AWS-2021-006/ Отличия по сравнению с предыдущими версиями отчёта: ▫️ Step Functions — updated. ▫️ SWF (Simple Workflow Service) — updated. ▫️ SNS — patched (внешняя часть, для пользователей), внутреняя (подкапотная) — in progress. ▫️ OpenSearch Service — ready патч R20211203-P2 готов и висит в консоли, его можно применить самостоятельно либо он вскоре применится автоматически. ▫️ MemoryDB for Redis — updated. ▫️ MWAA (Airflow) — updated. ▪️ Kinesis Data Streams — is updating. KCL (Kinesis Client Library) 2.x не имеет проблем, всем использующим KCL 1.x нужно обновиться на 1.14.5+ самостоятельно. ▪️ IoT SiteWise Edge — ready патченые версии OPC-UA collector (v2.0.3), Data processing pack (v2.0.14) и Publisher (v2.0.2) нужно задеплоить на свои ресурсы самостоятельно. ▫️ ElastiCache — updated. ▫️ API Gateway — updated. ▫️ Directory Service — updated. ▫️ Redshift — updated. ▫️ KMS — updated. ▫️ Cloud Directory — updated. ▫️ RDS Oracle — updated. ▫️ Single Sign-On — updated. ▫️ Secrets Manager — updated. ▫️ CloudWatch — updated. ▫️ DocumentDB — updated. ▫️ Timestream — updated. ▪️ WorkSpaces/AppStream 2.0 — свежие версии не подвержены уязвимости. Если WorkDocs Sync клиент не обновлялся давно — обновить до версии 1.2.905.1+ самостоятельно. ▫️ Inspector v1 (Classic) — updated. И теперь Inspector Classic умеет определять уязвимость CVE-2021-44228 (Log4Shell) в различных линуксах. ▫️ Inspector v2 — updated. И теперь Inspector v2 умеет определять уязвимости CVE-2021-44228 (Log4Shell) и IN1-JAVA-ORGAPACHELOGGINGLOG4J-2314720 - org.apache.logging.log4j:log4j-core в различных линуксах и ECR образах. ▪️ Kinesis — ready нужно установить новую версию агента самостоятельно! #security

Почему НУЖНО использовать CloudFormation: https://www.cloudar.be/awsblog/do-use-aws-cloudformation/ Наш ответ Чемберлену Статья-ответ на «Почему НЕ нужно использовать CloudFormation». Аргументированная позиция с очевидным выводом – плюсы и минусы есть у обоих и выбирать стоит под задачу. #CloudFormation #Terraform

Открыт новый AWS Region — Джакарта, Индонезия : https://aws.amazon.com/blogs/aws/now-open-aws-asia-pacific-jakarta-region/ Третий на текущий момент в Asia Pacific: ap-southeast-3. Итого на теперь всего — 26 регионов. #AWS_Regions

​​Через полчаса начнётся вебинар, посвященный возможностям AWS в области AI/ML: https://aws.softline.com/events/rabota-s-dannymi-v-oblake-amazon-web-services-na-i

Update V2 (новая версия отчёта 2021/12/13) — Уязвимость Apache Log4j2 (CVE-2021-44228) и сервисы AWS: https://aws.amazon.com/security/security-bulletins/AWS-2021-006/ ▫️ S3 — completed patching everything. ▫️ OpenSearch — is deploying update R20211203-P2. ▫️ Lambda — OK, не пострадала, лишь пользователи, aws-lambda-java-log4j2 должны обновиться на версию 1.3.0 и пересоздать свои Лямбды. ▪️ AWS CloudHSM — требуется обновить CloudHSM JCE SDK до версии 3.4.1. Версии SDK 3.4.0 и древнее подвержены уязвимости CVE-2021-44228. ▫️ EC2 - Amazon Linux 1/2 — OK, Amazon Linux 2022 - fixed ▫️ API Gateway — is updating (не требует действий) ▪️ AWS Greengrass — нужно обновить Stream Manager до версии 2.0.14+ (1.10.5+ для версий 1.10.х и 1.11.5 для версий 1.11.х) и Secure Tunneling до версии 1.0.6+. ▫️ CloudFront — updated. Обработка запросов не на Java, потому не пострадала. ▫️ Beanstalk — OK. Аналогично EC2, для дефолтных настроек Amazon Linux 1/2 — OK. Если же ставились свои версии, то нужно обновить самостоятельно. ▫️ EMR — OK, при запуске в дефолтной конфигурации не пострадал. Кластеры версий EMR 5/6 с разрешением для недоверенных источников — подвержены уязвимости. Патч в процессе создания. ▫️ Lake Formation — updated. ▫️ AWS SDK for Java — OK. ▫️ AMS (AWS Managed Services) — OK, сервис относится к инфраструктуре заказчиков, а не приложений. Потому для своих приложений, подвержённых уязвимости — их нужно обновить самостоятельно. ▫️ Amazon Neptune — OK, напрямую не использует Log4j2, потому пользователи кластеров не пострадали. Однако некоторые зависимости используют, потому все кластеры будут обновлены (автоматически, не требует действий). ▪️ NICE DCV — серверы требуют апгрейда на новую версию EnginFrame, либо обновления библиотеки Log4j2 отдельно через саппорт. ▫️ Kafka — OK, текущие версии MSK кластеров не используют проблемную версию Log4j2. Некоторые компоненты MSK обновляются по ходу. ▫️ AWS Glue — updated. При использовании не дефолтных конфигов — требуется обновить скрипты самостоятельно. ▫️ RDS — OK, базы не используют Log4j2. Сами сервисы под капотом могут использовать, обновляются автоматически (действий не требуется). ▫️ Amazon Connect — updated. ▫️ DynamoDB — updated. ▫️ Keyspaces (Cassandra) — updated. ▫️ Amazon MQ — updated. ▫️ Kinesis Data Analytics — is updating (новое уже пропатченное, обновить можно через UpdateApplication API). ▫️ AWS WAF / Shield — updated. ▫️ ALB и AppSync можно защитить с помощью WAF у которого включён AWSManagedRulesKnownBadInputsRuleSet. #security