Continuous Learning_Startup & Investment

At the Y Combinator W24 batch kickoff today, Sam Altman suggested YC founders build with the mindset that GPT-5 and AGI will be achieved "relatively soon" and most GPT-4 limitations will get partially/entirely fixed in GPT-5, according to one YC founder/CEO Richard He. What's your interpretation of the "relatively soon?"😂 (Mine: #GPT5 in 2024 and #AGI in 2025.)

AI Reid https://www.linkedin.com/posts/reidhoffman_this-week-on-the-possible-podcast-i-share-activity-7153590157177245698-bBWE?utm_source=share&utm_medium=member_ios

이뿐만이 아니다. 앞서 언급한 대로 컴퓨팅 하드웨어의 성능에 대한 근본적인 벽이 존재하는 것에 더해, 데이터 저장도 현실적인 문제가 될 것이다. 이는 데이터를 저장할 수 있는 매체의 생산은 선형으로 증가하는 양상임에 반해, 생산되는 데이터 증가 경향은 지수함수를 따르고 있기 때문인데, 지금은 당연하다는 듯 개인들도 몇 TB짜리 클라우드들을 비교적 저렴한 가격에 사용하고 있지만, 이제는 클라우드와 대용량 서버 업체들도 이를 감당하지 못하는 순간이 올 것이다. 사용료가 대폭 증가할 것이고, 허용되는 용량은 대폭 낮아질 것이다. 설사 낸드나 SSD를 엄청 저렴하게 양산하여 용량을 확보한다고 해도, 너무 많은 데이터들은 관리와 유지보수 비용이 급상승하게 된다. 냉각과 수명 단축에 의한 비용도 매우 클 것이다. 이러면 loss 되는 데이터가 생기기 시작하고, 데이터 보안 이슈가 더 현실적인 문제로 변하기 시작한다. 이에 대해 데이터 품질 관리, 분류, 차별화된 접근 등의 솔루션이 제시되지만 이러한 솔루션은 미봉책일 뿐이다. 근본적으로 사람들은 필요 이상으로 너무 많은 데이터들을 만들고 있고, 이를 너무 많이 오래 보관하고 있다. 기술적 문제는 또 있다. GPT 류의 생성형 AI든, 엣지 AI든, 컴퓨팅 하드웨어의 성능 강화에 대한 요구는 전력 사용의 급상승으로 연결된다. 지금도 반도체 팹 하나가 사용하는 전력은 GW 단위를 넘나드는데, 팹이 아니라, 이제 몇 년 후 등장할 것으로 보이는 GPT 5.0 훈련에 원전 1기 이상의 전력이 소모될 것임을 생각해 보자. 이는 보통 심각한 문제가 아니다. 왜냐하면 전력을 사용해야 하는 측은 컴퓨팅만 있는 것이 아니기 때문이다. 그렇지만 에너지 공급 트렌드 역시 1차 함수는 아니더라도, 속도는 정해져 있는 함수임에 반해 (특히 원전 신규 건설에는 최소 10년이 걸린다.), 컴퓨팅과 데이터 저장 및 관리에 소모되는 전력은 지수함수에 가깝게 늘어날 것이라는 점이 문제다. 전력 공급이 이를 충분히 감당하지 못하면 데이터 생산이든, 처리든, 저장이든, downgrade를 감내할 수밖에 없는 상황이 온다. 정해진 에너지 파이를 놓고 사회적으로 갈등이 본격화되는 시대가 올 것이다. 이러한 근본적인 반도체 산업과 직결되는 기술적 문제들은 특정 국가나 회사, 기관만이 감내하고 마주치는 문제가 아니다. 그냥 인류 공통적으로 당면한 문제다. 지금까지 진행해 온대로 정보처리 속도의 급상승과 비용의 급감으로 한껏 끌어올린 인류의 문명 발전 페이스를 사상 최초로 의도적으로 낮춰야 하는 시점을 눈앞에 두고 있는 셈이다. 선진국 시민들은 다 같이 느리게 혹은 심지어 퇴화까지도 감내할 준비가 되어있는지 모르겠지만, 저개발국가, 중진국 이하 국가의 시민들은 이 열매를 채 맛보지도 못 한채 갑자기 느려진 페이스를 선진국들에 의해 강제받게 된다면 당연히 저항할 수밖에 없을 것이다. 이는 글로벌 문제로 화할 것이고, 각국의 이해관계에 따라 더더욱 치열한 소규모 다자간 클러스터 형성을 촉발할 것이다. 반도체 산업 관점에서 볼 때 전방의 영역에서 어찌 보면 가장 중요한 것은 그래서 돌고 돌아 기초과학 R&D다. 기술적 문제를 해결하기 위해서는 기술 개발에 앞서, 기술의 근간이 될 수 있는 기초과학부터 탐색해야 한다. 물론 과학적 탐구 없이 기술 솔루션으로 바로 진입한 케이스가 없는 것은 아니나, 이제는 그러한 우연적 솔루션이 출현하는 빈도는 높지 않다. 그래서 틈만 나면 강조하지만, 반도체 산업을 위시로, 대부분의 첨단 산업은 그 이전에 시차를 두고 기초과학에서의 혁신과 새로운 발견이 재현되는 과정이 짧게는 몇 년, 길게는 수십 년 쌓이면서 형성된 열매가 충분히 익었기 때문에 등장하게 된 것임을 기억해야 한다. 에너지, 공업용수, 자원만큼이나 중요한 것이, 결국 바로 이 '기초 지식 채굴'이다. 채굴이라고 굳이 표현한 것은, 지식이 꼭 자원에 해당한다는 것을 말하고 싶어서는 아니다. 그만큼 고되고 힘든 노력이 필요하고, 그렇게 파낸 원광도 그대로 쓸 수 없어서 가공하는 데에도 지난한 시간과 노력이 필요함을 다시금 표현하고 싶었기 때문이다. 반도체 산업은 그 자체로도, 후방 산업에 대해서도, 그리고 전방 산업과 지식 채굴의 관점에 있어서도 기술과 전략의 마인드가 제대로 융합되어 깊게 고민하고 조심스럽게 정책을 설계하며 생태계의 장기적 안정성과 발전 방향을 고민해야 하는 특수한 산업이다. 하필 한국은 이 산업에 국부 창출의 가장 큰 포션을 의지하고 있으며 (실제로는 한국 GDP 창출에서 가장 큰 포션을 차지하는 것은 건설업이라고 하지만, 건설업은 내생적 기여가 대부분이다. 반면 반도체 산업은 대부분의 기술 및 재화가 외국에서 돈을 벌어온다.), 앞으로도 그렇게 하겠다고 우리 사회와 정부가 방향을 천명하고 있는 것 같으니, 이왕 하겠다는 것 제대로 해야 한다. 산업의 연결고리를 다시 한번 더 들여다보면서 약한 고리를 파악하고 보강해야 할 것이며, 경제와 기술 안보 논리가 충분히 산업계에서도 감당 가능한 비용과 기술 디테일에 반영될 수 있도록 더 많은 논의를 거쳐야 한다. 한국의 산업적 우위, 기술적 우위, 지식의 선점 등에서 창출될 수 있는 레버리지가 있다면 그것을 외국 정부나 기업, 학교 등에 작동하게 만들 수 있어야 한다. 그렇게 하려면 상황에 맞게 협상의 마인드로 기브 앤 테이크에 대한 생각을 해야 하고, 특히 우리가 테이크해야 할 것을 테크트리 짜 가면서 고민을 해야 한다. 무엇보다도 결국 새로운 지식과 기술의 표준을 이끌고 가려면 더 많은 지식과 기술에 대한 채굴이 필요하고 이는 충분한 시간을 두면서 전문성을 강화하기 위한 인재양성 전략으로 통합될 수 있어야 한다. 반도체 산업의 최전선에서 가장 치열한 경쟁을 해야 하는 파티원은 대기업들만이 아니다. 이들이 탱커이자 전사로서 최전선에 서있겠지만, 파티원에는 힐러와 법사도 필요하다. 전선에서 버티고 우리 것을 지키고, 미지의 영역을 개척함에 있어 보다 전략적이면서 종합적인 관점에서의 테크마인드를 수면 위에 올려놓고 제대로 논해야 한다. https://www.facebook.com/sjoonkwon/posts/pfbid02zTcn3JPfPT8oERd6KN4eM7aXEBpevvZgWsKZd2R35r2P4fn4MsyYXcxN1JxLamfgl

어젯밤에 쓴 반도체 관련 글이 너무 과도한 관심을 받고 있는 것 같은데, 한편으로는 삼성, 하닉, 마이크론, 엔비디아 주주들이 우리나라에 정말 많구나라는 생각이 새삼 들기도 한다. 이러나저러나 해도 결국 외국을 상대로 돈을 가장 많이 벌어오는 산업은 반도체고, 그 앞에서는 기업들이 살아남기 위한 필사의 경쟁을 벌이고 있으니 사람들의 관심은 쏠릴 수밖에 없을 것 같다. 사실 내가 가진 별 것 아닌 지식이나 관점을 생각하면, 그와는 비교조차 되지 않을 정도의 통찰을 가진 전문가들이 우리나라에도 수두룩한데, 이런 분들의 인사이트가 정책에서든, 경영에서든, 전략에서든 충분히 반영되지 못하는 것을 보며 안타깝다는 생각뿐이다. 반도체 산업은 다른 첨단 산업과는 달리 기술 정보에만 해박한 것으로는 충분치 않고, 전략적 마인드에서의 접근이 점점 더 중요해지는 산업이라고 생각한다. 이 전력적 마인드에는 좁게는 국내 정치와 산업 구도, 넓게는 글로벌 공급망 (SCM)과 키플레이어들의 대외정책에 대한 이해가 포함되어야 한다. 물론 후자가 너무 강조된 나머지 정보량이 거의 0으로 수렴하는 논의하나마나 한 정책이나 전략만 나오는 것도 산업의 방향을 잡는 것에 있어서는 별로 바람직하지 않다. 기술 정보가 충분히 뒷받침되어야 하고 그것이 전략에 세밀하게 반영되어야 한다. 많은 분들이 오해하시는 것은 전략이든 기술이든, 각 분야의 정보는 독립적이라고 생각하는 것이다. 물론 좁은 영역에서의 지극히 디테일한 기술 정보나 기초 과학을 근간으로 하는 새로운 탐색 결과 등에 대한 전문적 연구와 올해 말에 있을 미국 대선 결과에 대한 예측 및 정치적 함의 분석 사이에는 어마어마한 간극이 있는 것처럼 보일 수 있다. 그렇지만 사실 미국의 대선 결과에 따라 현재 진행 중인 미국의 첨단 산업 reshoring 정책이 어느 방향에 더 초점이 맞춰질 것인지, 리쇼어링하는 것이 초미세 공정이 가능한 파운드리에 초점이 맞춰지게 되는 것인지, 그래서 새로운 구조의 트랜지스터를 만들기 위해 어느 신소재를 주력으로 탐색할 것인지, 그 과정에서 그 연구에서 가장 앞서 있는 회사와 학교는 어디인지, 그 기관들은 어느 나라에 있는지, 그 나라가 미국과 충분한 신뢰 관계로 공동 전략을 수립할 수 있는지, fluctuation이 찾아왔을 때 공동 대응할 수 있는지 등에 대한 고민을 생각해 보면, 결국 그 간극은 다시 각 영역의 전문적 고민과 연구들로 촘촘하게 채워질 수밖에 없다. 반도체 산업의 기술-전략 융합에 대한 관점은 이 산업이 전/후방 산업에 미치는 영향을 생각하면 더욱 복잡해지면서 중요해진다. 멀리 갈 것 없이 현재 가장 핫한 GPU나 HBM 같은 컴퓨팅 하드웨어이자 정보 처리 매체로서의 반도체는 더욱 핫한 AI와 로봇, 나아가 AGI와 온갖 자율 모션 시스템의 발전 속도를 결정하는 요인이 될 것이다. 이는 반대로 생각해 보면 반도체의 기술 발전 방향과 정책, 그리고 전략 수립에 있어 가장 큰 혹은 가장 빠른 영향력을 끼칠 수 있는 세계적으로 중요한 이슈와 산업이 무엇인지를 철저하게 고민해야 한다는 것을 의미한다. AI에 가려져 있지만, 자율주행차, 양자컴퓨터, 첨단바이오와 신약 개발, 데이터센터와 통신, 우주항공, 에너지 개발 등에 이르는 모든 주요 산업에는 각 산업의 고유한 도메인 특징에 맞게 적확한 목적에서 개발되고 공급되어야 하는 반도체들이 존재한다. 이들 산업은 기존의 제조업 1.0에서 맞춤형 반도체가 가미된 후 제조업 2.0으로 뛰어오를 수 있다는 것을 생각해야 한다. 따라서 각 산업에 최적화된 파운드리를 누가 얼마나 최적화하여 SCM 대응 잘하면서 운용할 수 있는지가 중요할 것이다. 사람들의 삶에 직접적으로 영향을 미칠 이러한 후방 산업들뿐만 아니라, 사실 전방 산업에 대해서도 반도체 기술과 전략의 융합 관점에 의거한 접근은 매우 중요해진다. 특히 한국은 2045년까지 경기 남부권에 10개 이상의 메가 팹을 건설하면서 이른바 '메가팹 클러스터'를 이룩하는 것을 강력한 정책으로 추진할 것임을 밝혔다. 그러나 이제는 반도체 팹의 증설이 클린룸만 커다랗게 짓는다고, 그 안에 고가의 공정 장비를 잔뜩 가져다 놓는다고 저절로 해결되는 것은 아니다. 충분한 양의 깨끗한 물과 전력이 안정적으로 공급되어야 하는데, 이는 1차적으로는 그 지역 사람들, 그리고 팹에서 일할 근로자와 그 가족들의 삶과도 직결되는 것이다. 특히 전력 공급은 앞으로의 첨단 팹이 더더욱 고전력 소모 산업이 될 것이라는 점을 감안한다면, 그리고 RE100 류의 탄소중립 강제이행 조치가 10년 이내로 글로벌 단위에서 본격화되기 시작한다면, 핵심적 이슈가 될 것이다. 느슨한 taxonomy로 인해 당분간은 원자력 발전으로 상당 부분 전력 공급을 감당할 수 있을 것이다. 그러나 상황은 언제든 바뀔 수 있으므로, 원자력으로 시간을 버는 동안 더욱 집중적인 투자로 신재생에너지 발전단지와 그에 비례하는 규모의 ESS 단지를 갖추면서 간헐성 한계를 보강하고 공급 안정성을 확보하는 대규모 산업용 전력 공급 계획을 동시에 비슷한 비중으로 추진해야 할 것이다. 반도체 산업에 전방 산업의 중요성은 비단 1차적인 에너지, 용수 확보에만 그치는 것이 아니다. 소재와 공정 장비, 부품의 안정적인 공급 확보가 중요하고, 이는 기존의 SCM 논리만으로는 커버하기 어려워지는 것을 생각해야 한다. 왜냐하면 더 이상 글로벌 반도체 산업은 경제 논리만으로 커버되는 산업이 아니게 되었기 때문이다. 그래서 이제는 SCM도 이제 그에 맞춰 SCM 2.0으로 업그레이드되어야 하며, 이 업그레이드에는 '경제 안보, 기술 안보'라는 비교적 낯선 개념이 제대로 정의되고 추가되어야 한다. 이에 대한 전문가들, 예를 들어 미국/일본 전문가들은 물론, 중국 전문가, 동남아 전문가, 정책 전문가, 외교안보에서 잔뼈가 굵은 분, 해외 싱크탱크들과의 네트워크 자산을 가져올 수 있는 분들이 참여하기 시작해야 함을 의미한다. 그래서 정책적 근거와 가능성 있는 시나리오의 근거가 될 수 있는 기초 자료들을 발굴하고 확보할 수 있어야 한다. 필요하다면 한국은 이를 감당할 수 있는 새로운 싱크탱크를 만들고 아웃리치에 투자를 아끼지 말아야 한다. 그렇지만 역시 가장 중요한 전방 산업이라면 그다음 세대의 기술적 솔루션을 만들어야 할 기초과학 R&D다. 다들 쉬시하고 있지만, 반도체 업계의 기술적 고민은 특정 국가나 회사의 고민이 아닌, 세계 공통적 고민이다. 우선 가장 큰 기술적 고민은 무어의 법칙이 멈추고 난 이후, 더 이상 칩의 scaling-down에서 얻는 경제적 실익이 크지 않다는 것 외에도, 돈을 아무리 쏟아부어도 더 이상 물리적 크기를 줄일 수 없는 영역으로 접근하고 있다는 것이다. 앞의 것이 1-2m짜리 작은 파도라면, 뒤의 것은 멀리서부터 다가오고 있는 높이 20m짜리 쓰나미라고 볼 수 있다. 트랜지스터 회로의 물리적 크기를 줄이고 집적도를 높이는 것 자체는 high NA EUV든, BEUV든, XL이든, E-beam 이든 어쨌든 어떻게든 가능할 것이다. 아마 반치폭 (half-pitch) 기준, 실리콘 원자 5-8개 수준과 비슷한 크기까지도 줄일 수 있을 지도 모른다. 문제는 실제로 그렇게 되면 바깥에 배치된 원자의 비중과 안쪽에 있는 원자의 비중이 비슷해진다는 것이고, 이는 경계 효과 (boundary effect)가 본격적으로 나타나기 시작하면서, 더 이상 continuum approximation을 사용하지 못하게 될뿐더러, 그간 assumption 정도로 퉁쳐왔던 quantum confinement effect를 반영할 수밖에 없게 된다는 것이다. 그 효과를 반영한 새로운 트랜지스터 혹은 새로운 스위칭 소자를 설계하고 구현한다고 해도, '전자'를 쓰는 한, 근본적인 한계를 피할 방법은 없다. 전자는 charge를 가지고 이리저리 돌아다니는 파동-입자 이중성 양자 입자이기 때문이다. 그래서 열 발생은 물론, 더 많이 leakage 되는 것, on/off ratio가 충분치 않은 것, 신호가 혼재되는 것 등이 더 문제가 될 것이다. 칩 사이즈를 줄일 수 없고, 전자를 사용할 수 없게 된다면 그 다음 솔루션은 무엇인가? 솔직히 아무도 모른다. 이런저런 대안들이 제시되지만 양산 레벨에서 조금이라도 검증된 것은 하나도 없다. 고양이 목에 누가 방울을 달 것인지 서로 눈치를 보고 있을 뿐이다.

https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-[…]IwAR0mAN26czgZADaAVyw3Vc6t58LnZCZmmPOE88cr7nKL7MjhJtxzHvW-sZM In a paper published today in Nature, we introduce AlphaGeometry, an AI system that solves complex geometry problems at a level approaching a human Olympiad gold-medalist - a breakthrough in AI performance. In a benchmarking test of 30 Olympiad geometry problems, AlphaGeometry solved 25 within the standard Olympiad time limit. For comparison, the previous state-of-the-art system solved 10 of these geometry problems, and the average human gold medalist solved 25.9 problems. AI systems often struggle with complex problems in geometry and mathematics due to a lack of reasoning skills and training data. AlphaGeometry’s system combines the predictive power of a neural language model with a rule-bound deduction engine, which work in tandem to find solutions. And by developing a method to generate a vast pool of synthetic training data - 100 million unique examples - we can train AlphaGeometry without any human demonstrations, sidestepping the data bottleneck. AlphaGeometry adopts a neuro-symbolic approach AlphaGeometry is a neuro-symbolic system made up of a neural language model and a symbolic deduction engine, which work together to find proofs for complex geometry theorems. Akin to the idea of “thinking, fast and slow”, one system provides fast, “intuitive” ideas, and the other, more deliberate, rational decision-making. Because language models excel at identifying general patterns and relationships in data, they can quickly predict potentially useful constructs, but often lack the ability to reason rigorously or explain their decisions. Symbolic deduction engines, on the other hand, are based on formal logic and use clear rules to arrive at conclusions. They are rational and explainable, but they can be “slow” and inflexible - especially when dealing with large, complex problems on their own. AlphaGeometry’s language model guides its symbolic deduction engine towards likely solutions to geometry problems. Olympiad geometry problems are based on diagrams that need new geometric constructs to be added before they can be solved, such as points, lines or circles. AlphaGeometry’s language model predicts which new constructs would be most useful to add, from an infinite number of possibilities. These clues help fill in the gaps and allow the symbolic engine to make further deductions about the diagram and close in on the solution. AlphaGeometry solving a simple problem: Given the problem diagram and its theorem premises (left), AlphaGeometry (middle) first uses its symbolic engine to deduce new statements about the diagram until the solution is found or new statements are exhausted. If no solution is found, AlphaGeometry’s language model adds one potentially useful construct (blue), opening new paths of deduction for the symbolic engine. This loop continues until a solution is found (right). In this example, just one construct is required. That huge data pool was filtered to exclude similar examples, resulting in a final training dataset of 100 million unique examples of varying difficulty, of which nine million featured added constructs. With so many examples of how these constructs led to proofs, AlphaGeometry’s language model is able to make good suggestions for new constructs when presented with Olympiad geometry problems. Nature paper: Solving olympiad geometry without human demonstrations Code: https://github.com/google-deepmind/alphageometry?fbclid=IwAR1JXMBul_dlw7vPNwYjEUoDzlu9fpyjoITXSj4L48rE-hvB5zKVGDnPQok

삼성전자가 마이크론이나 하이닉스와 차별화될 수 있는 포인트는 여전히 많이 남아 있다. 가장 큰 장점은 파운드리와 메모리를 동시에 할 수 있다는 것이고, 엔드 단에서 모바일이든, 랩탑이든, 가전이든, 전장이든, 어플리케이션 다변화에 대해 다양한 소비자 요구 조건을 테스트할 수 있는 플랫폼 자체가 많다는 것이다. 예를 들어 삼성전자가 계속 모바일을 살리고, 애플을 뛰어넘기 위해서는 애플이 상대적으로 약한 면모를 보이고 있는 edge AI가 가능한 모바일 기기를 세상에 가장 먼저 데뷔시키고 시장을 이끌어 가야 한다. 예를 들어 삼성이 조만간 출시할 갤럭시 S24 같은 경우, 안드로이드폰 최초로 클라우드 도움 없이, 모바일 기기 자체적인 AI 기능을 돌린다고 하는데, 결국 이는 모바일 기기의 근본적인 한계, 예를 들어 폼팩터와 배터리 용량의 한계, 로 인해 아주 고용량, 고속 계산은 하기 어려울 것이다. 대신 저용량, 경량 AI 계산이 가능한 영역을 찾아야 하고, 그것이 먹힐 수 있는 킬러 어플리케이션을 선보여야 한다. 그 애플리케이션에 특화된 HBM와 AP를 동시에 하나로 최적화해야 하고, 이를 기반으로 다양한 플랫폼에 대해서도 확장이 가능한 조합을 탐색해야 한다. 고객들이 스마트폰에서 AI를 쓰게 될 경우, 이들은 스마트폰에서 무거운 LLM을 학습시키거나, 고용량 게임의 Ray-tracing을 계산하거나 하는 용도로는 쓰지 않을 것이다. 오히려 실지간 외국어 동영상을 한국어로 더빙하거나 고해상도 동영상을 무리없이 stable diffusion 하여 합성하거나 보강하는 것, upscaling 하는 것, 비어있는 data를 reconstruction 하는 것 등을 원할 것이고, 이를 감당할 수 있는 경량화된 HBM과 AP가 필요하다. 내가 삼성의 신사업 책임자라면 게임엔진 구동업체들과 협업하여 최대한 무거운 계산은 삼성의 모바일 컴퓨팅 AI 기반 하드웨어에서 담당하는 식으로 넘기고, 구동은 가볍게 만드는 방식을 구현할 수 있는 방향으로 협업을 제안할 것이다. 이는 소비자들로 하여금 모바일에서도 고성능 ai가 백업이 되는 게임을 즐길 수 있게 해줄 것이다. 애플은 이게 안 된다. M2, M3 애플실리콘은 애초에 모바일 hbm이 들어올 여지를 남겨두지 않았기 때문이다. 또한 이는 엔비디아나 하이닉스가 온전히 감당하기 어려운 시장이다. 왜냐하면 현재의 GPU를 스마트폰에 넣기는 불가능하기 때문이다. 어쨌든 시장은 점점 복잡해질 것이고, AI가 default로 깔리는 가전제품과 IT 기기들은 이제 같은 AI를 지향하지 않게 될 것이다. 그렇지만 변하지 않는 점이라면 그것은 어쨌든 여전히 꿈과 이상 (AI 알고리즘)에 비해 현실 (컴퓨팅 하드웨어)은 늘 불만족스러울 것이라는 점이고, 그래서 컴퓨팅 하드웨어 잘 만드는 (가격, 전성비, 성능 모두) 업체들이 이 시장의 숨은 강자가 될 것이라는 점이다. 모두가 AI라는 서부 금광으로 향할 때, 이들 업체들은 컴퓨팅 하드웨어라는 청바지를 팔면서 큰 이익을 남길 수 있을 것이다. 삼성전자는 지금이라도 정신 차리고 자신의 단점과 강점을 냉철하게 정리하여 쳐낼 거 쳐내고, 도입할 것은 빨리 도입해야 한다. 매몰비용 아깝더라도 버릴 것은 버려야 하고, 갑의 의식에 푹 젖어 있던 임직원들 정신 교육 다시 시켜야 할 것이다. 여전히 AI를 소프트웨어로만 보던 옛 시절의 인물들은 정신교육을 정신 개조하다시피 다시 시켜야 할 것이고, 연산 과정에서 무엇이 시간을 잡아 먹고 있는지를 숫자 단위로 파악하지 못 하는 엔지니어들 역시 재교육 시켜야 할 것이다. 패키징에 더 많은 투자를 하고, 필요하다면 더 많은 업체를 인수해야 할 것이고, 메모리 파운드리 시대를 주도하겠다는 동탄 선언이라도 해야 할 것이다. 동시에 하이닉스는 HBM만 믿고 있지 말고, 여전히 밸런스가 하나도 맞고 있지 않은 파운드리를 조금씩 키워나가야 할 것이며, 패키징을 더 키울 생각을 해야 한다. 삼성과 하이닉스 모두, 뒤에서 마이크론이 쫒아오고, 더 뒤에서는 YMTC와 CXMT가 중국 내수 시장을 등에 엎고, 중국 정부의 전폭적인 자금 지원을 부스터 삼아 쫒아오고 있다는 것을 냉정하게 모니터링해야 한다. 메모리도 권불십년이고, AI 반도체도 권불십년일 것이다. 누가 승자가 되어도 이상하지 않은 시장이고, 10년 후에 지금 유명 회사들이 일본 반도체 회사 꼴이 나지 말라는 보장이 없다. 과거의 교훈도 있고, 최근에 직접 겪은 실패라는 데이터가 있음에도 불구하고 배우는 것이 없다면 패자가 되어도 이상하지 않을 것이다.

아마도 현재 삼성전자가 가장 혼란스러워하고 있는 것은 만년 2인자로 보던 하이닉스는 오히려 엔비디아와 쿵짝을 잘 맞춰가며, HBM3E, 나아가 HBM4도 목전에 두고 있는데, 왜 삼전의 HBM3는 자꾸 엔비디아의 성능 테스트 스크리닝에 걸리느냐는 것일 것이다. 삼전의 메모리 자체는 큰 문제 없을 것이다. 진짜 문제는 삼전의 메모리는 애초에 엔비이아의 설계 요구 조건에 최적화된 공정과 소재, 그리고 무엇보다도 엔비디아가 요구하는 레이턴시 최소화와 대기전력 최소화 요건 등을 충분히 통과하지 못 했다는 것에 있을 것이다. 아파트 자체는 문제가 없는데, 엘리베이터가 한 대 밖에 없고, 그마저도 느리며, 그마저도 짝/홀수 층 나눠서 타야 하고, 그마저도 간혹 멈추거나, 그마저도 전력을 훨씬 많이 소모하거나, 그마저도 문이 한 번 닫히고 열리는데 오랜 시간이 걸리면 굉장히 사용하기 불편해지는 것과 같다. 이러한 아파트는 인기가 없어서 잘 분양도 안 될 것이다. 삼성은 애초에 이 엘리베이터가 하루게 한 두 번 사용되는 것을 감안하여 마치 은퇴한 노인들이 주로 사는 아파트 같은 메모리를 설계하다가, 하루에 수백 번 회사에 출퇴근 해야 하는 젊은 주민들이 살아야 하는 아파트를 만들어야 하는 요구를 맞닥뜨린 것이고, 엘리베이터는 물론, 엘리베이터 제어 알고리즘, 엘리베티어 장력, 엘리베이터 여닫이 문까지 모두 다 다시 설계하고 테스트하지 않을 수 없는 상황에 놓인 것이다. 1인자로 오랫동안 자리에 군림해 온 업계의 황제 입장에서는 이 상황이 굉장히 낯설 것이다. 그리고 화도 날 것이다. 엔비디아가 자신들에게 맞추지는 못 할 망정 왜 업계 1위인 자신들이 엔비이아에 맞춰야 하는지 여전히 이해 못 하는 사람도 있을 것이다. 문제는 당분간 AI 광풍은 끝나지 않을 것이라는 점이고, 그 중심에는 엔비디아가 당분간 왕좌를 지키고 있을 것이라는 점이 있을 것이며, 거의 7-8년 가까이 이 엔비디아와 오랫동안 최적화를 이뤄온 하이닉스가 그 수혜를 앞으로도 꽤 많이 독점할 것이라는 점이다. 물론 엔비디아 입장에서도 sole vender에 대한 의존도가 너무 높아지는 것을 경계해야 하므로 secondary vender 를 키워야 한다. 그것이 한국 반도체 업계 입장에서는 삼성전자가 되면 좋겠으나, 현재로서는 삼성전자보다는 오히려 업계의 만년 3위 마이크론이 그 자리를 물려 받게 될 가능성이 커진다. 마이크론은 미국 기업임에도 불구하고 대부분의 팹은 일본과 대만에 있다. 특히 대만에 있는 팹은 전공정과 후공정이 모두 가능하며, 특히 후공정은 TSMC와 협업하여 이종접합에 특화될 수 있다. 무시하던 마이크론의 tsv 공정 기술도 같은 미국 공정장비 선두 업체들인 램이나 어플라이드 머티리얼 등과 협업하여 안정 단계에 왔으며, 무엇보다 마이크론은 어쨌든 미국 기업이므로 미국의 chips 법안의 우선적 수혜 업체가 될 수 있다. 엔비디아도 어쩄든 미국 기업이므로 마이크론과 거래하게 되면 미국 정부로부터 직간접적인 지원을 받을 수 있으므로, 마이크론의 품질이 괜찮다면 엔비디아 입장에서는 이제 품질이 여전히 의문인 삼성전자 HBM 보다는 마이크론 제품을 쓰는 것이 나을 수 있다. 나는 마이크론이 삼성전자에 앞서 엔비디아 스크리닝을 통과하여 하이닉스에 이어 두 번째로 큰 HBM 공급 파트너가 된다고 해도 전혀 놀라지 않을 것이다. 물론 HBM을 엔비디아에 공급하지 못 한다고 해서 삼성전자가 당장 망한다든지, 삼성전자의 메모리 1인자 자리가 위협 받는다든지 하는 일은 생기지 않을 것이다. 글로벌 반도체 시장에서 필요로 하는 메모리는 여전히 단순한 DRAM과 낸드가 주종일 것이기 때문이다. 그렇지만 내연기관차 시장에서 공고한 1위를 고수하는 기존의 자동차 업체들이 10년 후에도 계속 자동차 시장 1위를 고수할 것인지 생각해 보면, 그렇지 않을 것이라는 생각에 이르게 되는 것과 마찬가지로, 메모리반도체 시장에서도 이러한 구도의 역전이 발생할 가능성은 높아지고 있다. AI 광풍은 결국 컴퓨팅 하드웨어에 대한 지속적인 성능 개선을 요구하는 것으로 이어질 것이고, 이는 코어의 클럭수 높이기, FLOP 수 높이기 만큼이나, 메모리의 대역폭 증가와 레이턴시 낮추기, PNM-PIM으로의 전이를 요구할 것이기 때문이다. 물론 이가 없으면 잇몸으로 버티는 전략처럼, HBM이 아니라, 그냥 DDR 위에서, 혹은 심지어 낸드 위에서 이를 대체하겠다는 기술들도 꾸준히 시도될 것이다. 문제는 어떤 방식을 취하든, 처음 레이아웃 최적화 단계부터 메모리 배치와 연결 구조가 고려되어야 한다는 것이다. 기존의 독립된 메모리셀 만들던 방식은 이제 더 이상 적어도 AI 가속기에 대해서는 적용될 수 없을 것이다. 과거 일본의 메모리반도체 업체들이 세계 시장을 호령하던 시절, 일본 업체들은 후발 주자였던 삼성이나 현대 (현 하이닉스), LG 반도체의 업력 (양산 기술과 선행 기술)을 그렇게 높게 평가하지 않았다. 2인자였던 한국 업체들은 일본 업체들과 지속적인 기술 경쟁을 하면서도, 일본 업체들이 시도하지 않은 새로운 영역을 계속 개척했고, 동시에 원가 절감할 수 있는 공정을 도입하기도 했다. 선두 업체들은 굳이 할 필요가 없었던 것을 후발주자들은 어쨌든 조금이라도 격차를 줄이기 위해 선택했던 것. 그런 시도들이 쌓이고 또 운대가 몇 번 맞아 선제 투자한 기술이 생각보다 빨리 현 세대에 적용되고 치킨게임이 먹히면서 한국 메모리반도체는 2000년대부터 일본과 자리를 바꿨다. 어떤 산업이든 권불십년이고 화무십일홍의 이치를 피해갈 수는 없다고 생각한다. 그 기간이 반드시 10년이어야 하는 것은 아니지만, 한 산업에서 기술력만으로 오랜 기간 선두권을 고수하는 것은 생각보다 어렵고, 그만큼 후발 주자들의 다양성과 모험심은 언제든 선두주자를 위협할 수 있다. 더구나 그 후발 주자들이 충분한 자금력까지 동원할 수 있다면 사정은 많이 달라질 것이다. 지금은 AI 반도체가 모든 화두를 끌고가는 블랙홀처럼 작용하지만, 몇 년 후에는 또 다른 기술이나 솔루션이 새로운 돌파구로 작용할 수 있고, 아예 폰 노이만 방식을 탈피하거나 전혀 새로운 개념의 설계가 등장할 수도 있다. 한 가지 확실한 것은 메모리는 범용이고 프로세서는 파운드리라는 이분법은 깨질 것이라는 것이다. 이제는 코어-메모리를 같이 생각해야 하고, 그래서 더더욱 '메모리 파운드리'라는 개념이 진지하게 받아들여져야 할 것이다. 파운드리는 로직 반도체 전용이라는 개념도 깨질 것이고, 삼성전자도 결국 시간의 문제일 뿐, 파운드리를 분사할 수 밖에 없을 것이다. 삼성전자가 지금 당장 착수해야 하는 것은 적어도 AI 반도체에 대해서는 갑의 위치를 다 잊어 버리고 철저하게 을의 위치에서 다시 시작해야 한다는 것, 그리고 패키징을 예전의 전공정-후공정으로 나누던 시절 소홀히 하던 습관을 버려야 한다는 것, AI 반도체라도 같은 AI 반도체 자체가 아니라 작동 알고리즘에 특화된 연산에 최적화된 프로세서에 대해 맞춤형으로 모듈 설계가 필요하다는 것, 이종접합과 하이브리드 본딩 등의 공정은 공정 자체도 중요하지만 소재 혁신이 반드시 뒤따라야 한다는 것, 엔비디아의 지배력이 당분간 지속되겠지만, 후발 주자, 예를 들어 AMD 같은 기업들은 새로운 방식의 데이터 링크와 인터포져, substrate 최적화 등을 시도할 수 있으니, HBM의 설계 문법도 다양화하고 이들을 파트너로 맞을 준비를 해야 한다는 것, 그리고 하이닉스가 상대적으로 약할 수 있는 경량화 가능한 HBM (일명 mHBM) 등을 생각할 수 있어야 한다는 것 등일 것이다.

GDDR도 그러면 HBM처럼 PNM으로 만들고 적층하고 tsv (through silicon via)하면 될 일 아닌가 생각할 수 있다. 애초에 GDDR의 pin의 개수가 HBM보다 작은 것은 GDDR 한 모듈 당 배치할 수 있는 pin의 개수가 작기 때문인데, GDDR은 핀, 즉, 전극 역할을 하는 파트를 모듈 바깥으로 빼어서 모듈끼리 연결하는 구조다. 오래된 건물의 비상계산이 건물 바깥에 주로 있던 것을 생각해 보면 된다. 건물 바깥은 2차원 면이 된다. 따라서 2차원 면에 배치할 수 있는 비상계단의 개수는 한계가 있다. 그렇지만 만약 건물 안쪽에 한 번에 쭉 내려갈 수 있는 엘리베이터나 사다리를 설지하면 훨씬 더 많이 설치할 수 있다. 왜냐하면 건물 내부는 3차원 공간이기 때문이다. 물론 tsv 라고 해서 모든 층을 한 번에 다 뚫는 것은 어려울 수 있으니, 여러 우회로가 있을 수 있다. 예를 들어 최근 화두가 되고 있는 패키징 기술인 하이브리드 본딩 (hybrid bonding) 같은 기술은 상하 모듈을 하나로 연결할 때 기존의 micro bump 같은 추가 부품이나 소재, 혹은 공간 사용을 최소화하면서 칩과 칩을 연결할 수 있다. 이러한 하이브리드 본딩이 충분히 성숙 기술이 되면 이제 HBM은 12층이 아니라 24층, 36층 등으로 연결 모듈 숫자를 늘릴 수 있고, 또한 한 층 당 배치할 수 있는 tsv 홀 개수도 더 늘려서 I/O pin의 개수도 더 늘릴 수 있으므로, 고대역폭 성능을 높일 수 있다. 그러면 다시 GDDR과 HBM을 비교해 보자. GDDR는 두 가지 면에서 HBM보다 만들기 쉽다. 일단 적층을 덜 해도 된다는 것, 그리고 코어를 많이 고려하지 않고서라도 메모리에 최적화된 레이아웃을 도입할 수 있다는 것이다. 대신 이러한 선택으로 인해 I/O pin의 개수 증가에 한계가 생기고, 코어에 더 최적화된 메모리 구조를 만들기가 어려워진다. 이러한 한계는 메모리가 감당해야 할 코어 성능이 그렇게 높지 않을 때는 큰 문제가 되지 않았다. 애초에 폰 노이만 구조가 그렇게 짜여졌기 때문이다. 그렇지만 메모리의 대역폭과 프로세서의 데이터 처리 속도 사이의 격차가 벌어지기 시작하면서, 실제로 컴퓨팅 하드웨어가 사용하는 계산 시간의 상당수가 메모리에서의 I/O 대기 시간 (레이턴시)으로 채워지게 되었고, 이는 프로세서 성능 개선이 별로 효과를 보지 못하게 됨을 의미했다. 그나마 다루는 데이터 크기가 별로 크지 않고, 데이터 처리 속도에 대한 요구도 그리 높지 않을 때는 그럭저럭 버틸만 했다. 문제는 코어가 감당해야 하는 데이터 크기와 처리 속도 요구가 갑자기 급증하기 시작했다는 것이다. 그것은 여러 사건이 발생했기 때문이었지만, 가장 상징적인 사건은 2016년의 알파고 사건이었다. 알파고 충격 전후로, 갑자기 기계학습의 주요 관심사는 딥러닝으로 쏠리기 시작했고, 딥러닝의 가장 중요한 계산은 대용량 행렬의 반복 연산, 특히 CNN으로 대표되는 합성곱과, eigenvalue 등을 찾아내는 선형대수 연산에서 가장 중요한 역행렬과 행렬 decomposition 등이 되었다. 다행스럽게도 이미 사람들에게는 이러한 행렬 연산에 특화된 GPU가 있었는데, 문제는 대부분의 메모리는 CPU에 특화된 DDR이었고, GPU에 대해서는 앞서 언급한 GDDR이 담당하는 방식으로 임무가 나뉘어 있었다는 것이다. 2020년대로 가면서 이제 GPU는 어느새 GPU가 아니라 AI 연산기, 가속기로 불리기 시작했고, 다뤄야 할 행렬의 크기는 무지막지하게 커지면서, 심지어 차원이 복잡한 텐서형 데이터가 주종을 이루게 되었다. 이러한 데이터는 처리에도 시간이 걸리지만, 메모리 셀의 레지스터에 데이터 덩어리를 나눠서 배치하는 것만 해도 시간이 많이 걸렸다. 이는 GPU 성능의 발목을 잡는 bottleneck 이 되었다. 이 때까지도 삼성전자는 HBM을 아주 진지하게 생각하지 않았던 것 같다. 물론 삼성전자도 패키징 중요성 잘 알고 있었고, 메모리 모듈 적층과 tsv 잘 알고 있었고, 공정 기술도 있었고, 이종접합이나 하이브리드 본딩, 칩렛 본딩과 패키징, CXL이나 인터포져 등 다 좋은 기술이 있었는데, 이것을 왜 특별히 더 HBM에만 몰아줘야 하는지를 잘 납득하지 못 했던 것 같다. 아마도 이는 삼성전자가 계속 DRAM에서 지배력을 발휘하고 있었고, 세계 1등이라는 포지션이 주는 안정감 때문이었을 수도 있다. 반대로 하이닉스는 DRAM에서의 삼성 대비, 후발 주자이자 2인자로서, 적절한 포지션이 주는 장점도 있었지만, 그 2인자 포지션은 삼성이 잘 안 하는 영역에 대한 탐색을 허용할 근거가 되기도 했다. 앞서 언급했듯, 최근까지도 DRAM은 톤 당 얼마, kg 당 얼마 같은 commodity 반도체 이미지가 강했고, 언제든 업계의 선두는 이를 빌미로 치킨게임을 벌여서 후발 주자를 죽일 수 있다는 논리가 성립하는 시장이었다. 그렇지만 HBM 수면 위로 부상하면서부터, 더 이상 메모리반도체는 톤 당 얼마의 위치가 아니게 되었다. 톤 당이 아니라, GB 당 혹은 GBs 당 얼마의 시대로 바뀌게 된 것이다. 이는 특히 DDR과 HBM을 기계적으로 비교해 보았을 때 최소 5배에서 많게는 10배까지도 차이가 벌어지게 만드는 기준이 되었다. 무게로는 같은 값어치이더라도, GBs 당으로 따졌을 때는 HBM은 이른바 명품이 되었고, DDR은 이른바 공산품이 되었다. 사실 HBM을 만들기 위해서는 dram 모듈을 적층해야 하므로, 그만큼 dram으로 팔 수 있는 영역이 쪼그라든다. 그렇지만 그렇게 해도 오히려 수익이 더 많이 남는다는 것은 이제는 톤 당이 아니라, GBs 당으로 값어치 기준이 바뀌었기 때문이다. 하이닉스가 2010년대 초반에 HBM 개발에 뛰어들어, 2013년에 1세대 제품을, 2016년데 2세대, 2019-2020년에 3세대로 가면서 이러한 구조적 특징을 제대로 구현하기 시작했는데, 만약 1세대 개발 시점에서 HBM 개발에 대한 프로젝트가 중단되었다면 하이닉스는 지금의 AI 반도체 특수를 누리기 어려웠을 것이다. 초기에는 하이닉스에서도 굳이 물량 희생해 가며 시장도 불확실하고 공정 비용도 더 비싼 HBM을 하는 것에 대해 내부 반대도 있었으나, 결국 2016년 이후, 딥러닝을 위시로 AI가 광풍 시대로 접어들기 시작하면서 이 판단은 제대로 먹히기 시작했고, 하이닉스는 이제 적어도 HBM에 대해서라면 삼성을 2인자로 내려 앉게 했다. HBM에서 치킨게임이 지금으로서는 안 통하는 까닭은 반복해서 이야기하지만 HBM은 commodity memory가 아니기 때문이다. 예를 들어 ddr는 대부분 표준이 통일되어 있어서 어느 보드에서나 잘 작동할 수 있다. 그렇지만 HBM은 애초에 이종접합과 칩렛 패키징이 동반되어야 하고, 무엇보다도 HBM 모듈과 최적 배치되어야 하는 GPU core와의 inter-connection이 제일 중요하다. 그래서 HBM은 그냥 잘 만들고 잘 쌓는다고 될 일은 아니고, core와의 연결과 I/O 대역폭 최적화, 니어 메모리 셀 일부에 단순 작업 공간 배치 등의 맞춤형 최적화가 필요하다. 이는 메모리회사로 하여금 메모리를 넘어, 아예 프로세서 아키텍쳐와 설계부터 같이 참여하고, 그것을 공정의 최적화에 같이 반영하는 이른바 DTCO (design-technology cooptimization)을 완성해야 함을 의미한다. 이는 메모리회사로 하여금 더 협업 마인드를 갖추는 것을 요구하며, 사실상 코어 회사들을 갑으로, 메모리회사가 을로 작동하는 구조를 받아들여야 함을 의미한다. 또한 메모리만 만들던 시절의 비교적 간단한 패키징을 더 이상 다 이용하지 못 하고, 코어와 이종접합, 칩렛 어셈블리에 특화된 CoWoS 같은 새로운 패키징을 받아들이고 이용할 줄 알아야 함을 요구하는 것이다.

삼성전자는 불과 6-7년 전만해도 이른바 '초격차'라는 수식어의 사용권을 독점해도 된다고 자부할 정도로 기술력에서든, 원가 경쟁력에서든, 어쨌든 반도체 제조업에서만큼은 한국은 물론, 세계적으로도 타의 추종을 불허할 정도로 독보적인 회사였다. 물론 그 당시에도 삼성전자 내부에서는 늘 위기론을 외치는 목소리가 있었고, 혁신에 대한 목소리도 컸었다. 내가 2년전 출판 한 '반도체삼국지'의 초고를 쓰기 위해 삼성전자 관련 취재를 하고 있을 때부터 뭔가 안 좋은 이야기를 들을 수 있었는데, 그 안 좋은 이야기도 사실 파운드리 vs 메모리 구도에 대한 것이었지, 메모리 자체에 대한 것은 아니었다. 그렇지만 삼성에 있던 분들이나 삼성전자 사정을 잘 아는 분들은 삼성이 메모리를 바라보는 관점을 빨리 바꿔야 한다는 이야기를 했던 기억이 난다. 2018-2019년 당시만 해도, 지금 AI 반도체의 핵심처럼 여겨지고 있는 메모리반도체인 HBM에 대한 이야기가 그렇게 많지는 않았다. 여전히 DRAM이나 NAND는 범용 (commodity) 반도체였다. commodity 반도체는 좋게 말하면 범용이고, 나쁘게 말하면 톤당 얼마, kg당 얼마 하는 수준으로 팔리는 반도체들이었다. 그래서 쉽게 이야기하면 돈놓고돈먹기의 논리가 통했고, 삼성이 그간 후발 주자들을 죽여 온 방법인 치킨게임이 먹히는 영역이기도 했다. 사실 치킨게임은 시장지배력을 확보하는 데 있어서는 그리 나쁜 전략이 아니다. 애초에 DRAM이 춘추전국시대에서 지금의 3강 구도로 재편된 것도 최소한의 시장지배력과 양산 경쟁력을 갖춘 회사들로 수렴했기 때문이다. 반대로 이야기하면 현재 삼성전자, 하이닉스를 포함한 6-7개 회사가 난립하는 다른 메모리 영역인 NAND 플래시 분야는 구조조정이 예고되어 있다고 봐도 무방하다. 실제로 작년에 키옥시아와 웨스턴 디지털이 합병을 시도했다가 무산된 적이 있고, 올해 두 회사는 큰 변동이 없는한 다시 합병을 시도할 것이다. 대표적인 commodity 반도체였던 DRAM에 변동이 생기기 시작한 것은 하이닉스의 HBM이 본격적으로 NVIDIA 발 AI 반도체 (더 정확히는 행렬계산 가속기)의 훈풍을 제대로 타면서 부터다. 많은 사람들은 하이닉스가 엔비디아와 2016년 이후 딥러닝이 제대로 터지면서 협업을 시작했다고 생각하지만, 사실 하이닉스의 HBM은 그 이전부터 시작된 사업 구조 변화의 결과물이었다. 물론 그 시점에서 삼성도 GDDR를 대체할 수 있을 새로운 HBM를 고민하지 않았던 것은 아니지만, 당시의 삼성은 HBM의 시장성이 크다고 판단하지 않았고, 하이닉스는 반대로 그 시장이 상당히 커질 수 있음을 예상했다. 물론 하이닉스도 예언자는 아니기에, 2013년 처음 HBM 시제품을 내놓을 때까지는 AI 반도체와 '맞춤형' compatible 한 메모리가 될 것이라는 예상은 하지 못 했다. 하이닉스가 처음 HBM 시장을 개척할 때는 그래픽 처리에 대해 GDDR보다 더 빨리 더 저전력으로 구동할 수 있는 방식의 메모리를 구현한다는 것에 방점이 찍혀 있었다. 그래픽 혹은 이미지를 처리한다는 것은 예를 들어 고해상도 이미지를 렌더링하거나, 이미지를 이어서 동영상을 만들거나, 이미지 안에서 사물의 움직임을 자연스럽게 표현하기 위한 동적 계산 (예를 들어 확산 방정식을 풀거나) 하는 용이다. 그렇지만 애초에 이미지라는 것이 결국 고차원 거대 행렬이라는 것을 생각하면, GDDR이 하는 역할은 이러한 행렬형 데이터를 빨리 로딩하고, 읽어들이고, 곱하고 더하는 연산을 하고, 필요하면 역행렬를 계산하는 등의 고차 계산을 하여 적절한 데이터를 다시 프로세서에 보내는 것이 주 임무다. HBM이 나왔을 때 GDDR에 익숙하던 메모리반도체 엔지니어들, 임원들은 GDDR이 잘 하고 있는데, 굳이 HBM을 더 개발해야 할 이유가 무엇인지 의문을 가졌다. HBM은 잘 알려져 있다시피 지금 흔히들 이야기하는 PNM이다. 즉, processor near memory다. 여기서 말하는 near는 물리적 거리가 가깝다는 것도 의미하지만, 보다 정확한 의미는 I/O 레이턴시 타임을 최대한 줄였다는 것이기도 하다. 예를 들어 GDDR5 같은 경우 I/O pin은 한 모듈 당 32개고, 프로세서 주변 4 방향에 3개씩 배치되는 방식이므로, available 한 I/O pin 개수는 384개다. 한 모듈의 용량은 2 GB로 잡으면 12개를 배치할 경우, I/O 차례를 기다리는 데이터 버퍼는 24 GB가 된다. 그래픽에 특화되었기 때문에 GDDR5 한 모듈의 pin 당 데이터 전송 속도도 빠른데, 대략 2 GBs 정도 된다. pin의 개수가 384개 이므로, GDDR5의 I/O 전송 속도 (대역폭)는 2*384= 768 GBs 정도 된다. 만약 처리해야 하는 input matrix 용량이 2T 정도 된다면, 1초에 2T를 다 보내는 것은 어려우므로, 768 GB 만큼의 버퍼를 거쳐, 1-2초 정도의 버퍼링 시간을 소요하면서 프로세서와 데이터를 주고 받는다는 뜻이다. 이에 반해 HBM은 일단 프로세서 주변에 모듈을 4개만 배치한다. 대신 한 모듈의 pin 개수는 1,024개다. 따라서 총 4,096 pin이 나올 수 있다. 각 모듈은 24 GB를 가지므로, 총 96 GB 용량이고, pin 당 0.8 GBs 정도의 전송 속도를 가지니까, 실제 전송 속도 (대역폭)은 3276.8GBs 정도 나온다. GDDR5와 비교하면 3-4배 차이다. 이 차이는 당연히 버퍼링을 줄이고 레이턴시를 줄이는 것과 직결된다. 그럼 이런 의문이 생길 것이다. GDDR5도 HBM 처럼 PNM으로 배치하면 안 되는가 하는 것이 바로 그것이다. 그런데 HBM과 GDDR의 가장 근본적인 차이는, 메모리 모듈을 수직 적층한 상태에서, 그것을 PNM으로 구성할 수 있는지 여부다. HBM은 예를 들어 2 GB DRAM을 12층 적층하여 한 모듈을 총 24 GB용량을 가지는 모듈로 만든다. 그렇지만 이 12층의 적층 구조가 한 메모리처럼 활용되기 위해서는 하나로 연결될 수 있어야 한다. 이는 1층부터 12층까지 막힘없이 왕복할 수 있는 내부 엘리베이터가 완벽하게 작동할 수 있어야 함을 의미한다. 이를 위해 via hole 공정이 필요한데, 이 공정은 사실 굉장히 난해한 공정이다. 그냥 에칭 (etching)만 잘 해서는 안 되고, 정확한 위치에 정확한 속도로 같은 크기의 미세 구멍을 여러 개 겹치지 않게 뚫어야 하기 때문이다. 비유하자면 백원짜리 동전을 1 m 간격으로 100개 떨어뜨려 세워 놓고, 1 km 밖에서 저격수가 5 mm 직경의 탄환을 쏘아서 100개를 한꺼번에 관통시키는 난도와 맞먹는다. 그러면 GDDR은 이런 구조를 택하지 않는가? 애초에 코어 주변에 12개나 배치하는 까닭이 왜 그럴까 생각해 보면 답이 나온다. 수직으로 굳이 올리지 않고 2차원에서 넓게 마치 코어를 포위하듯 배치하는 방식으로 용량을 늘리는 방식을 택했기 때문이다. 이렇게 하면 메모리 배치는 애초에 메모리 모듈이 들어갈 레이아웃만 잘 정해놓으면 된다. HBM인 이와 달리, 프로세서 core 주변에 최대한 근접하여 모듈이 로직 다이 (logic die) 위에 접합되도록 만들어야 하고, 다시 이 모듈들이 인터포저 (interposer)로 연결되게 만들어야 한다. 이는 코어 따로 메모리 모듈 따로 배치하는 것이 애초에 불가능함을 의미하며, 따라서 어쩔 수 없이 그 유명한 이종접합 기술이 중요해진다.

첨부 링크는 이사회 중심 경영의 역사적 의미를 잘 알 수 있는 좋은 글. 상장된 미국 회사의 구성원으로서, 이사회와 경영진의 관계를 눈으로 직접 보고 몸으로 체감하는 중. 특히 이사회에 직접 참석해본 경험은 매우 가치있었다. 회사의 결정을 듣게되면 항상 “이사회의 제안일까, 경영진의 판단일까”에 대해 직원들끼리 이야기 하고, 이사회와 매니지먼트의 견제와 균형의 함의가 담긴 정책이나 변화들이 조직에 캐스케이딩 되는 것도 보고 있다. 내가 다시 회사를 창업하게 되면 어떻게 회사를 경영해야 하는지 매일같이 배우고 있다고 생각한다. 물론 입지가 블안한 초기 혹은 작은 규모의 회사에서 실천하기는 여러 이슈로 어려울 수 있지만, 집단지성으로 더 나은 결정(어느 누구 한 명의 ‘결단’이 아니라)을 내릴 수 있음에 그 가치가 충분하다는 생각이다. 초기 기업에서 미래 계획을 세우는 어려움은 마치.. 재래시장 한복판에 놓인 황소 한마리의 몸무게를 눈대중으로 맞추는 것과 같고, 이걸 가능하게 하는 것은 서로 다른 백그라운드를 가진 팀원들의 직관의 합계, 즉 집단지성(collective intelligence)이다. https://dbr.donga.com/.../1203/article_no/6655/ac/magazine

페이스북의 가파른 성장 모먼트를 만들어낸 순간 중 하나는 2009년 등장한 FarmVille이라는 게임의 등장이다. 2010년 3월에는 무려 MAU가 8300만명에 달할 정도로 성공한, 소셜 네트워크 게임이라는 시장을 개척한 이 게임은 페이스북이 직접 만든게 아닌 Zynga가 만들어냈다. 과연 OpenAI의 GPTs에서 페이스북의 FarmVille 같은 모먼트를 만들어낼 수 있을까? https://www.theatlantic.com/technology/archive/2024/01/openai-gpt-store-farmville/677115/

https://n.news.naver.com/mnews/article/018/0005640483?sid=105 BTS 봉준호 손흥민 제이팍 굑초이 레츠고 월클라인에서 도대체 누굴빼야 하나 ㅎ

천재들의 공통점은 무엇일까? 레오나르도 다빈치, 아인슈타인, 벤자민 프랭클린, 스티브 잡스, 일런 머스크. 월터 아이작슨이 쓴 이들에 대한 전기를 읽어봤는데, 공통점을 한 번 정리해본다. 1) 결핍 - 다빈치는 사생아로 태어났다. 부친의 후견이 없었고 학교도 제대로 다닐 수 없어서 18세까지 문맹으로 자랐다. - 일런 머스크는 (본인 말대로) 아스퍼거증후군이 있었다. 학교에서는 친구들에게 바보라고 놀림받으며 늘 따돌림/학폭을 겪었다. 하물며, 아버지에게도 학대 받으며 자랐다. 과학과 수학을 제외한 나머지 과목에는 관심이 없다보니 대부분 수업시간을 공상으로 보냈고 졸업 성적도 그리 좋지 않았다. - 아인슈타인은 유복한 환경에서 태어났지만, 어느 순간 부친 사업이 파산하면서 이리저리 떠돌았다. 수학과 물리학에 뛰어난 재능이 있었지만, 그 외 과목에서는 큰 두각을 나타내지 못했다. 암기와 규율 복종을 싫어 했던 그는 학교 생활 적응에 어려움을 겪었고, 결국 중퇴했다. 놀랍게도 그는 거의 꼴찌(!)에 가까운 성적으로 대학을 졸업하였다. - 스티브 잡스는 미혼모의 아들로 태어났고, 어린 시절 입양 보내져 양부모에 의해 키워졌다. 고아라고 친구들에게 놀림받는게 싫었던 그는 또래들과 결코 어울리지 못했고 주로 마당에서 뭔가 만들면서 시간을 보냈다. 학교 공부는 멀어질 수 밖에 없었다. - 결핍은 모든 창조의 어머니이다. (목표가 무엇이든) 결핍이 있는 사람은 더 간절하다. 성취를 향한 에너지도 그만큼 크고, 실패에 대한 내성도 강하다. 이런 근성으로 잡스도 머스크도 파산 직전의 회사를 구해낼 수 있었다. 그래서, 나는 결핍이 있는 사람들과 함께 일하는 걸 좋아한다. 좀처럼 포기 하지 않는다. 아빠로서 나는, 우리 아이들도 이렇게 근성있게 자라길 기대한다. 하지만, 아이들에게 결핍을 주지 않으려고 노력하고, 학교 생활을 무탈히 잘해주길 기대한다. 참 아이러니한 문제다. 2) 큰 호기심과 탐구력 - 정규 교육을 받지 않은 다빈치는 오로지 본인의 관찰만으로 세상을 이해했다. 사람과 자연, 그리고 거의 모든 것에 호기심을 가졌고, 탐구했다. 어느 노인의 초상화를 그리던 중 피부 아래에 숨겨진 근육의 구조와 움직임을 이해하기 위해 해부학 공부를 시작한 그는 30년이 지나서야 그 그림을 완성했다. (이 과정에서 여러 시체를 해부하였고, 그가 남긴 노트는 해부학의 발전에 크게 기여하게 된다) 또, 어느 미술작품을 그리던 중에는 빛의 반사에 대해 호기심을 갖게되었다. 이를 제대로 표현하기 위해 그는 수년간 광학을 공부했고, 충분히 이해한 다음에야 그림을 완성할 수 있었다. 이런 호기심 덕분에 그는 예술 뿐만아니라, 의학, 공학 등 다방면에 있어서 많은 업적을 만들 수 있었다. - 호기심하면 벤자민 프랭클린을 빼놓을 수 없다. 이 분도 정규 학교 과정을 단 2년 밖에 다니지 않았는데, 공학, 의학, 예술 등 다방면에서 여러 발명과 업적을 만들었다. 번개가 전기와 동일한 성질을 갖고 있다는 걸 증명하려고 번개 치는 날 철침을 단 연을 하늘 높이 띄워 날렸고, 그 결과 피뢰침을 발명했다. 그 외에도 다초점안경, 글라스 하모니카, 연통이 달린 난로 등.. 발명품이 많다. 물론, 이분이 (다른 사람과 함께) 발명한 것 중에 가장 유명한 건 미국이다. - 아인슈타인이 물리학에 관심을 가지게 된 계기는 어릴 때 부모님이 선물해준 나침반 이었다고 한다. 보이지 않는 어떤 힘에 의해 나침반 바늘이 움직이는게 신기했고, 그 힘이 무엇인지 탐구하며 물리학에 매료되었다고 한다. 이제 숫자를 겨우 배운 어린 꼬마가 말이다. “나침반은 북쪽을 찾는데 쓰는 거구나“에서 끝나지 않았고, 그걸 움직이는 힘이 무엇이고 왜 생기고 어떻게 작용하는지 탐구할 생각을 했다는게 대단하다. 아인슈타인의 이런 호기심은 여러 사고실험으로 이어졌고, 우리가 알고있는 여러 물리학 법칙의 발견하며 인류의 우주 이해에 새로운 지평을 열었다. - 세상의 변화는 호기심에서 출발한다. 모든 창업가도 사람/고객에 대한 호기심을 바탕으로 (그들의 문제를 해결하기 위해) 사업을 시작한다. (물론, 그런 흉내만 내는 사람들도 있다) 창업자들이 갖고 있는 호기심의 폭과 깊이는 천차만별인데, 이에 의해 기업 성장 한계가 정해진다. 호기심이 많을 수록, 탐구 의지가* 강할수록 기업은 더 크게 성장한다. 그런데, 호기심 해결 비용은 지난 30년 동안 기하급수적으로 감소하고 있다. 이젠 전문가 찾아 산넘고 강 강건너지 않아도 되고, 여러 책을 뒤질 필요도 없다. ChatGPT/LLM이 등장하면서, 그 비용은 거의 0에 수렴하고 있다. 앞으로의 세상은 더더욱 빨리 변하게 될 것 같다. 호기심이 많은 사람들이 더 빨리, 크게 성공할 수 있는 환경이 갖춰진 것이다. 3) 완벽주의와 집착 - 잘 알려져있다시피 모나리자는 미완성 작품이다. 다빈치가 무려 16년간 여러도시를 여행하며 작업했던 작품인데, 그가 프랑스에서 사망할 때 침대 옆에서 미완성으로 발견된 여러 작품 중 하나다. 불행히도, 모나리자의 모델은 본인의 우아함을 담을 이 걸작을 결코 볼 수 없었다. 최후의 만찬도 마찬가지다. 그는 마지막까지 인물들의 표정과 빛의 전개, 소실점을 고민하며 이 작품을 미완성으로 남겼다. 광학, 해부학, 공학 등등 이 모든 걸 공부해서 완벽한 작품을 구현해내는데 그의 인생 67년은 너무 짧았다. - 잡스가 디자인에 집착했던 완벽주의자라면, 머스크는 재료비와 생산효율에 광적인 편집증을 보였다. 한 예로, 머스크는 “바보 지수(Idiot index)“를 만들었다. 이게 뭐냐면, 어떤 모듈을 외부벤더로 부터 구매하는데 지출된 비용에서(A), 해당 모듈을 직접 자체 제작하는데 사용된 원재료 비용(B)을 뺀 것을 말한다. 팬을 문구점에서 100원 주고 샀는데, 만약 내가 직접 팬을 만드는데 쓴 재료비가 30원이면, 나는 70원 만큼 낭비를 한것으로 간주되고, 해당 제품/모듈 담당자는 그 낭비를 제거해야만했다. 누군가 정부 규정 때문에 이렇게 재료비가 높아졌다고 설명하면, 그는 머스크 앞에 그 규정 만든 사람을 데려와야했다. 이런 극도의 편집증이 지금의 테슬라와 스페이스X를 만들었다. 각각 반세기~ 100년 간 시장을 지배해 온 기업이 있는 시장인데, 일런 머스크는 이들을 20년이 채안되는 시간만에 점령하고 있다. 집착은 성취의 속도를 결정한다. - 다양한 AI 툴들은 이런 완벽주의자들의 편집증을 완화시키는데 도움을 줄 것으로 보인다. 컴퓨팅 파워가 폭증하고, 연산에 필요한 가격은 급락하면서 과거엔 불가능했던 시뮬레이션/렌더링도 이젠 쉽게 가능하다. 10년전만해도 ARM Core 가 12개 들어있는 CPU를 보고 우와! 했는데, 최근에 나온 CPU들은 Core 128개를 탑재하고 있다. Universe만 잘 구성해주면, 심지어 AI가 새로운 물질/약도 발견해준다. 이런 AI를 잘 다룰 줄 알게되면, 창조에 소요되는 시간이 단축된다. 더이상 미완성으로 남는 작품은 없을 듯하다. 위 3가지 요소 외에도 다른 공통적인 요소들이 더 있다. 예를 들면, “운”이다. 어린 잡스가 실리콘밸리의 가정에 입양되지 않았다면 어땠을까? 아인슈타인의 부친이 랍비였다면 그의 호기심은 어떻게 전개되었을까? 다빈치가 피렌체 근교에서 태어나지 않았다면 천재로 자랄 수 있었을까? 월터 아이작슨은 CNN의 CEO 였고, 회장까지 역임한 분인데, 호기심이 매우 많은 분인가보다. 한 인물 당 700 pages 가 넘는 무자비한 분량을 쓰셨다. 이분의 다음 전기 주인공은 누가될까? 그리고, 내가 아는 사람들 중에도 후대에 이런 역사적인 천재/위인으로 기록될 사람이 있을텐데 누구일지 궁금하다. 박정남님 https://www.facebook.com/jungnamp/posts/pfbid02MVAeRF8tF7zp8dwtqXzq4gKbnKCrr5arBPK3mFVV3kkxjEvzo8DKsjvYrxhwX8W3l

실제로 부를 축적하는 사람들은 가치가 급격히 상승하는 자산을 소유함으로써 그들의 부를 늘렸다. 이러한 자산은 사업, 부동산, 천연자원, 지적 재산, 혹은 그 외의 유사한 것들일 수 있다. 그러나 핵심은 시간을 파는 것이 아닌, 어떤 것에 대한 지분을 소유하는 것이다. 시간은 산술급수적으로만 확장되기 때문이다. 가치가 빠르게 증가하는 자산을 창출하는 가장 좋은 방법은 대규모로 사람들이 원하는 것을 만들어 내는 것이다. 13. 내적 동기를 통해 일하라 대다수 사람은 외적 동기, 즉 다른 사람들에게 좋은 인상을 남기려는 욕구로 일을 하곤 한다. 이런 접근법은 여러 가지 이유로 좋지 않은데, 그중 두 가지 주요 이유가 있다. 첫째, 타인과의 합의에 의한 아이디어나 커리어 트랙을 따르게 된다. 이에 따라 타인이 자신이 올바른 일을 하고 있다고 생각하는지에 지나치게 신경을 쓰게 되며, 이는 진정으로 흥미로운 일을 찾아내지 못하게 할 수 있다. 그리고 심지어 그런 일을 찾았다 해도, 어차피 다른 사람도 그 일을 할 수 있었을 것이다. 둘째, 대체로 위험에 대한 판단이 잘못됐다. 단기적으로라도 타인과 견줄 수 있는 경쟁력을 유지하기 위해 지나치게 집중하게 된다. 영리한 사람들은 특히 이런 외부 요인에 영향을 받기 쉽다. 인지하고 있다면 도움이 되겠지만, 모방의 함정에서 벗어나려면 큰 노력이 필요하다. 내가 알고 있는 가장 성공한 사람들은 대부분 내적 동기를 가진 사람들이다. 그들은 자신에게 깊은 인상을 남기고, 세상에 무언가를 성취해야 한다는 강렬한 감각으로 일을 한다. 이미 사회적 지위가 높고 원하는 것을 얻을 수 있는 금액을 벌었음에도 불구하고, 여전히 높은 수준의 성과를 이뤄내려는 그들의 유일한 원동력은 내적 동기다. 그래서 사람의 동기를 묻는 것이 매우 중요하며, 그것이 내가 누군가를 이해하려 할 때 가장 먼저 알아보려는 내용이다. 올바른 동기는 명확한 규칙으로 정의하기 어렵지만, 그것을 쉽게 알아볼 수는 있다. 제시카 리빙스턴과 폴 그레이엄은 나의 롤모델이다. YC는 처음 몇 년 동안 세간의 조롱을 받았고, 시작할 때 큰 성공을 거두겠다고 생각했던 사람은 거의 없었다. 그러나 그들은 성공하면 세상에 큰 도움이 되겠다고 생각했고, 사람들을 돕는 것을 좋아하며, 새로운 모델이 기존 모델보다 우수하다고 확신했다. 결국, 성공이란 자신이 중요하게 생각하는 분야에서 뛰어난 성과를 이루는 것으로 정의할 수 있다. 그 방향으로 일찍 시작할수록 더 멀리 나아갈 수 있다. 집착하지 않는 일에서 크게 성공하기는 어렵다.나는 그동안 수천 명의 창업자들을 관찰하며 엄청난 부를 축적하거나 중요한 것들을 창조하는 데 필요한 요소들에 대해 깊이 생각해 왔다. 대체로 사람들은 처음에는 부를 원하지만, 결국 중요한 것들을 창조하는 것을 원하게 된다.