D의 테크 투자

· AI Safety 강화가 오히려 Compute 수요를 늘릴 수 있는 이유 · Anthropic과 OpenAI 같은 프론티어 랩이 AI 발전 속도를 의도적으로 조절하고 안전성·정렬(Alignment)에 더 많은 자원을 투입한다고 해서, AI 인프라 투자가 줄어드는 것은 아닐 수 있다. · 오히려 모델이 강해질수록 필요한 것은 단순한 Training Compute뿐 아니라 Alignment, Safety Evaluation, Red Teaming, Monitoring, 재검증을 위한 추가 Compute다. · 최근 Hugging Face 관련 사건에서 보듯 모델 능력이 빠르게 높아질수록 정렬 문제와 예상하지 못한 행동에 대한 검증 부담도 커진다. 결국 프론티어 랩 입장에서는 성능 경쟁의 속도를 다소 조절하더라도 안전성을 확보하기 위한 Compute는 오히려 더 투입해야 하는 상황이 된다. · 이 관점에서 Anthropic의 최근 Safety 강조에는 몇 가지 이해관계가 동시에 존재할 수 있다. · 첫째, 실제로 정렬 문제가 중요해지면서 자체적으로 Safety와 Alignment에 더 많은 Compute와 인력을 투입할 필요성이 커졌다. · 둘째, Anthropic만 비용을 부담하면 경쟁에서 불리할 수 있기 때문에 업계 전체가 비슷한 수준의 안전 기준을 적용하도록 유도할 인센티브가 있다. 쉽게 말하면 “우리만 Safety 비용을 낼 것이 아니라 너희도 같이 내자”는 것이다. · 셋째, “우리는 Frontier AI의 위험과 Alignment 문제까지 제대로 관리하는 회사” 라는 이미지는 향후 기업가치와 상장 스토리에도 긍정적으로 작용할 수 있다. · 넷째, 동시에 OpenAI 등 경쟁사를 향해 “너희는 Safety와 Alignment에 충분히 투자하고 있는가?” 라는 압박을 가하는 효과도 있다. · 결국 구조는 단순하다. · 우리도 Safety에 Compute를 쓴다 → 경쟁사도 비슷한 수준의 투자가 필요하다 → 산업 전체의 Safety 관련 Compute 수요가 증가한다. · AI 기업 입장에서는 그만큼 작업당 비용이 늘어나고 마진이 다소 낮아질 수 있다. 하지만 반도체 투자자의 관점에서는 이야기가 조금 다르다. · 앞으로 중요한 것은 단순한 Training Compute가 아니라 Training + Inference + Alignment + Evaluation + Monitoring을 합친 모델당 Total Compute다. · 특히 AI가 단순히 답변을 생성하는 모델에서 벗어나 생각 → 실행 → 검증 → 수정 → 재검증을 반복하는 Agentic System으로 발전할수록, 모델 성능뿐 아니라 모델의 행동을 감시하고 검증하기 위한 Compute까지 지속적으로 필요해진다. · 더구나 현재 GPU·ASIC·HBM·전력 인프라가 이미 부족한 상황이라면, Frontier AI의 개발 속도를 일정 부분 늦춘다고 해서 실제 하드웨어 투자액이 그만큼 감소한다고 보기도 어렵다. · 개발 속도를 낮추는 대신 한 모델을 더 오래 검증하고, 더 많은 Safety Evaluation을 수행하고, 더 많은 추론을 돌리는 방향으로 Compute의 용도가 이동할 가능성이 있기 때문이다. · 따라서 AI Safety 강화는 AI 인프라 투자 사이클의 종료 요인이라기보다, 경우에 따라서는 새로운 Compute 수요를 만들어내는 또 하나의 워크로드가 될 수 있다. · 결론적으로 AI 개발 속도 조절과 Safety 강화는 AI 기업의 마진에는 다소 부담이 될 수 있지만, Total Compute 수요를 크게 훼손하는 요인으로 보기는 어렵다. 오히려 검증·정렬·모니터링 워크로드가 추가된다는 점을 감안하면 HBM·AI 가속기·데이터센터 전력 인프라에는 최소한 중립 이상, 장기적으로는 추가 수요 요인이 될 가능성이 있다.

· AI Safety 강화가 오히려 Compute 수요를 늘릴 수 있는 이유 · Anthropic과 OpenAI 같은 프론티어 랩이 AI 발전 속도를 의도적으로 조절하고 안전성·정렬(Alignment)에 더 많은 자원을 투입한다고 해서, AI 인프라 투자가 줄어드는 것은 아닐 수 있다. · 오히려 모델이 강해질수록 필요한 것은 단순한 Training Compute뿐 아니라 Alignment, Safety Evaluation, Red Teaming, Monitoring, 재검증을 위한 추가 Compute다. · 최근 Hugging Face 관련 사건에서 보듯 모델 능력이 빠르게 높아질수록 정렬 문제와 예상하지 못한 행동에 대한 검증 부담도 커진다. 결국 프론티어 랩 입장에서는 성능 경쟁의 속도를 다소 조절하더라도 안전성을 확보하기 위한 Compute는 오히려 더 투입해야 하는 상황이 된다. · 이 관점에서 Anthropic의 최근 Safety 강조에는 몇 가지 이해관계가 동시에 존재할 수 있다. · 첫째, 실제로 정렬 문제가 중요해지면서 자체적으로 Safety와 Alignment에 더 많은 Compute와 인력을 투입할 필요성이 커졌다. · 둘째, Anthropic만 비용을 부담하면 경쟁에서 불리할 수 있기 때문에 업계 전체가 비슷한 수준의 안전 기준을 적용하도록 유도할 인센티브가 있다. 쉽게 말하면 “우리만 Safety 비용을 낼 것이 아니라 너희도 같이 내자”는 것이다. · 셋째, “우리는 Frontier AI의 위험과 Alignment 문제까지 제대로 관리하는 회사” 라는 이미지는 향후 기업가치와 상장 스토리에도 긍정적으로 작용할 수 있다. · 넷째, 동시에 OpenAI 등 경쟁사를 향해 “너희는 Safety와 Alignment에 충분히 투자하고 있는가?” 라는 압박을 가하는 효과도 있다. · 결국 구조는 단순하다. · 우리도 Safety에 Compute를 쓴다 → 경쟁사도 비슷한 수준의 투자가 필요하다 → 산업 전체의 Safety 관련 Compute 수요가 증가한다. · AI 기업 입장에서는 그만큼 작업당 비용이 늘어나고 마진이 다소 낮아질 수 있다. 하지만 반도체 투자자의 관점에서는 이야기가 조금 다르다. · 앞으로 중요한 것은 단순한 Training Compute가 아니라 Training + Inference + Alignment + Evaluation + Monitoring을 합친 모델당 Total Compute다. · 특히 AI가 단순히 답변을 생성하는 모델에서 벗어나 생각 → 실행 → 검증 → 수정 → 재검증을 반복하는 Agentic System으로 발전할수록, 모델 성능뿐 아니라 모델의 행동을 감시하고 검증하기 위한 Compute까지 지속적으로 필요해진다. · 더구나 현재 GPU·ASIC·HBM·전력 인프라가 이미 부족한 상황이라면, Frontier AI의 개발 속도를 일정 부분 늦춘다고 해서 실제 하드웨어 투자액이 그만큼 감소한다고 보기도 어렵다. · 개발 속도를 낮추는 대신 한 모델을 더 오래 검증하고, 더 많은 Safety Evaluation을 수행하고, 더 많은 추론을 돌리는 방향으로 Compute의 용도가 이동할 가능성이 있기 때문이다. · 따라서 AI Safety 강화는 AI 인프라 투자 사이클의 종료 요인이라기보다, 경우에 따라서는 새로운 Compute 수요를 만들어내는 또 하나의 워크로드가 될 수 있다. · 결론적으로 AI 개발 속도 조절과 Safety 강화는 AI 기업의 마진에는 다소 부담이 될 수 있지만, Total Compute 수요를 크게 훼손하는 요인으로 보기는 어렵다. 오히려 검증·정렬·모니터링 워크로드가 추가된다는 점을 감안하면 HBM·AI 가속기·데이터센터 전력 인프라에는 최소한 중립 이상, 장기적으로는 추가 수요 요인이 될 가능성이 있다.