Continuous Learning_Startup & Investment

보이저엑스는 인공지능 스타트업이지만 인공지능 때문에 큰일이라고 생각한다. 회사도 큰일이고 구성원도 큰일이다. 엘지전자는 폰 잘 만드는 회사였지만 스마트폰 대응을 잘 못 했고, 삼성전자는 반도체 잘 만드는 회사였지만 인공지능 반도체 대응을 제대로 못 해서 고생중이다. 보이저엑스는 인공지능 스타트업이지만 인공지능 대응 제대로 못 하면 큰 일 날 것 같다. 모든 인공지능 스타트업도 마찬가지, 모든 소프트웨어 회사 심지어 구글과 애플도 마찬가지다. 인공지능이 아닌 다른 회사들은 더하고. 게임이나 쇼핑등은 당연하고 반도체니 자동차니 조선이니 하는 제조업도 그렇고 패션이니 영화니 음악이니... 의료니 국방이니 교육이니, 아무튼, *모든* 산업이 다 바뀔 거다. 모든 산업의 회사나 조직이 그렇다면 그게 어디 회사만 그렇겠나. 모든 직군의 직업인 직장인도 마찬가지로 엄청난 영향을 받을 거다. 엄청나다라는 말로 다 표현하기 힘들다고 본다. 그나마 그걸 알고 있는 회사나 조직이나 개인은 다행이라고 본다. 대비할 시간이라도 가질 수 있을 거기에. 인공지능 혁명은 아직 시작도 안 되었고. 산업혁명 같은 단어로는 담을 수도 없다.

SNS가 발전하며 취향의 알고리즘화와 함께 사람들과의 관계를 느슨하게 해주는 코로나 시대가 도래하자, 소비는 대중과의 동조화보다 서브컬쳐 내의 동조화의 흐름으로 바뀌었다. 보고 싶은 것 보는 세상. https://blog.naver.com/emp930204/223393465471 #소비재 #ㅇㅈ

ChatGPT와 같은 대규모 언어 모델(LLM)의 급속한 발전은 데이터 과학과 통계에 혁신을 불러일으키고 있습니다. 이러한 최첨단 도구는 복잡한 프로세스를 간소화할 수 있습니다. 그 결과 데이터 과학자의 역할도 재편되고 있습니다. 데이터 과학자의 책임이 코딩, 데이터 랭글링, 표준 분석 수행에서 자동화된 AI가 수행하는 분석의 평가 및 관리로 전환되면서 LLM이 데이터 과학자의 역할을 변화시키고 있다고 주장합니다. 이러한 역할의 변화는 소프트웨어 엔지니어에서 제품 관리자로의 전환을 연상시킵니다. 이 백서에서는 LLM을 사용한 구체적인 데이터 과학 사례 연구를 통해 이러한 변화를 설명합니다. 이러한 발전은 데이터 과학 교육에도 의미 있는 진화를 요구합니다. 이제 교육학은 LLM에 기반한 창의성, 비판적 사고, AI 가이드 프로그래밍과 같은 다양한 스킬셋을 학생들에게 배양하는 데 더 중점을 두어야 합니다. LLM은 또한 교실에서 대화형 교육 및 학습 도구로서 중요한 역할을 수행하여 개인 맞춤형 교육에 기여할 수 있습니다. 이 백서에서는 이러한 각 방향에 대한 기회, 리소스 및 미해결 과제에 대해 논의합니다. 다른 혁신적인 기술과 마찬가지로 LLM을 교육에 통합하려면 신중한 고려가 필요합니다. LLM은 반복적인 작업을 효율적으로 수행할 수 있지만, 그 역할은 인간의 지능과 창의성을 보완하는 것이지 대체하는 것이 아니라는 점을 기억하는 것이 중요합니다. 따라서 새로운 데이터 과학 교육의 시대는 LLM의 장점과 상호보완적인 인간의 전문성과 혁신을 육성하는 데 균형을 맞춰야 합니다. 결론적으로, LLM의 등장은 데이터 과학과 그 교육의 변혁기를 예고합니다. 이 백서는 이러한 패러다임 전환에 따른 새로운 트렌드, 잠재적 기회, 도전 과제를 조명하여 이 흥미진진하고 미지의 영역에 대한 더 많은 담론과 연구를 촉발하고자 합니다.

The rapid advances of large language models (LLMs), such as ChatGPT, are revolutionizing data science and statistics. These state-of-the-art tools can streamline complex processes. As a result, it reshapes the role of data scientists. We argue that LLMs are transforming the responsibilities of data scientists, shifting their focus from hands-on coding, data-wrangling and conducting standard analyses to assessing and managing analyses performed by these automated AIs. This evolution of roles is reminiscent of the transition from a software engineer to a product manager. We illustrate this transition with concrete data science case studies using LLMs in this paper. These developments necessitate a meaningful evolution in data science education. Pedagogy must now place greater emphasis on cultivating diverse skillsets among students, such as LLM-informed creativity, critical thinking, AI-guided programming. LLMs can also play a significant role in the classroom as interactive teaching and learning tools, contributing to personalized education. This paper discusses the opportunities, resources and open challenges for each of these directions. As with any transformative technology, integrating LLMs into education calls for careful consideration. While LLMs can perform repetitive tasks efficiently, it's crucial to remember that their role is to supplement human intelligence and creativity, not to replace it. Therefore, the new era of data science education should balance the benefits of LLMs while fostering complementary human expertise and innovations. In conclusion, the rise of LLMs heralds a transformative period for data science and its education. This paper seeks to shed light on the emerging trends, potential opportunities, and challenges accompanying this paradigm shift, hoping to spark further discourse and investigation into this exciting, uncharted territory. https://arxiv.org/abs/2307.02792

◦ 기술을 잘 다뤄야 하고, 그러기 위해서는 자신만의 프로젝트를 진행해야함 ◦ 학교 공부도 최대한 잘해야 좋은 대학에 진학할 수 있는데, 그곳에 공동 창업자들과 아이디어가 있기 때문 • 뭔가를 만들고, 학교 공부를 잘하는 것, 이 두 가지가 전부임 • 테크놀로지를 이용해 미싱 링크를 찾아내고 자신의 프로젝트로 해결하는 것이 스타트업을 소유하는 좋은 방법이라는 PG의 의견에 동의하지만, 그의 예시들이 생존자 편향을 연상시킨다는 의견이 있음. ◦ 수많은 스타트업들이 실패하는 반면, 소수의 대기업만이 성공함. ◦ 모든 회사가 구글이 될 수는 없으며, 문제를 해결하려는 시도와 재미를 찾는 것은 중요하지만, 구글과 같은 결과를 기대하는 것은 지나칠 수 있음. • 45세이며 학문적 배경이 뛰어나지 않은 사람도 스타트업에 참여할 기회가 있는지, 아니면 다음 생애를 기대해야 하는지에 대한 의문이 제기됨. • 40세에 대한 병행 조언이 무엇인지 궁금해하는 의견이 있음. ◦ 프로그래밍과 손질은 여전히 적용되지만, 대학은 다시 할 수 없음. ◦ 공부는 가능하지만 젊은이들과의 연결이 부족할 것이며, 소득 손실을 감당할 수 있는지 여부가 문제됨. ◦ 많은 스타트업이 나이든 사람들에 의해 시작되며, 나이든 사람들이 직면하는 문제를 해결하는 것이 장점일 수 있음. ◦ 나이가 많은 사람들은 유니콘 기업을 만드는 것에 대해 크게 신경 쓰지 않으며, 이는 창업자보다는 투자자에게 더 적합한 목표로 보임. • PG는 조언에서 일관성을 유지하며, '무엇이 부족한지'를 감지하고 해결책을 시도하는 능력과 자원에 대해 많이 언급함. ◦ '구글'이라는 예시는 동기 부여를 위한 것으로, 구글이 석사 학생들에 의해 창립되었다는 사실을 생략함. ◦ PG가 현재 과학적 발견 기반의 스타트업 아이디어를 찾기 위해 대학원에 가라고 조언할지 의문임. • 구글 창립에 대한 단계적인 설명이 있음. ◦ 스탠포드 대학에 들어가 VC 사업을 시작할 때. ◦ 스탠포드의 대역폭을 사용하여 웹 크롤러를 만들 때. ◦ 알타비스타가 어떻게 하는지 관찰하고, 선 마이크로시스템즈 창립자로부터 자금을 받을 때. ◦ 팔로 알토의 자전거 가게 위 공간으로 이사할 때. ◦ 아마존 창립자로부터 추가 자금을 받을 때. ◦ 검색 광고를 판매하고 이익을 얻을 때. • 이 글이 '정말 부자가 되기'를 주요 동기 중 하나로 언급하는 것이 흥미롭다는 의견이 있음. ◦ 특히 고등학생들에게 이것이 좋은 조언인지, 사회가 세상을 더 나은 곳으로 만드는 회사를 시작하도록 학생들을 동기 부여하는 것이 더 나은지 의문임. • 구글을 시작하는 방법에 대해, 99.999999%의 사람들에게는 불가능하며, 나머지 0.000001%는 폴 그레이엄의 에세이를 읽는 데 시간을 낭비하지 않을 것 • 단순히 재미있는 프로젝트를 만들면 '구글'과 같은 것을 창조할 수 있다는 생각에 의문을 제기하는 의견이 있음. ◦ 스타트업 101은 많은 사람들이 겪는 고통스러운 문제를 해결해야 한다고 가르치므로, 이 조언이 모순되지 않는지 의문임. • YC의 각 배치에서 이러한 윤리와 재미있고 스타트업으로 의도되지 않은 프로젝트가 어떻게 실행되는지 궁금해하는 의견이 있음. ◦ YC의 최근 배치에서 성장하는 판매 SaaS 회사들은 재미있는 프로젝트보다는 기업을 위한 비즈니스 기회로 보임. ◦ 이 에세이의 원칙과 최근 YC 회사들 사이에 불일치가 있는지, 더 나은 분석이 필요함. • "스타트업 아이디어에 필요한 것은 친구들이 실제로 원하는 것이며, 이것이 전부" • 스타트업을 시작한 사람들과 기술 회사에서 일한 사람들 중 어느 그룹의 백분위수가 부자가 되었는지에 대한 연구가 있는지 궁금함 https://news.hada.io/topic?id=13903

• Paul Graham이 14세와 15세 청소년들에게 나중에 스타트업을 시작하고 싶다면 지금 무엇을 해야 하는지에 대해 강연한 내용 ◦ 그는 많은 학교에서 학생들에게 스타트업에 대해 알려줘야 한다고 생각 자신의 회사 시작하기 • 결국 어떤 종류의 직업을 얻어야 한다는 생각은 사실이 아님 • 그렇다고 자신의 회사를 시작하는 것은 일을 피하는 방법이 아님, 자신의 회사를 시작한다면 평범한 직업을 가질 때보다 더 열심히 일하게 될 것이기 때문 • 그러나, 상사가 당신에게 무엇을 해야 할지 지시하는 것을 포함하여 직업과 함께 수반되는 많은 짜증나는 일들을 피할 수 있음 • 자신의 프로젝트에서 일하는 것이 다른 사람의 프로젝트에서 일하는 것보다 더 흥미로움 • 그리고 훨씬 더 부자가 될수 있음. 사실 이게 정말로 부자가 되는 표준적인 방법임 ◦ 가끔 언론에 공개되는 가장 부유한 사람들의 목록을 보면, 거의 모두가 자신의 회사를 시작하여 성공함 • 자신의 회사를 시작하는 것은 이발소를 여는 것부터 구글과 같은 회사를 시작하는 것까지 다양함 • 구글 시작하는 방법을 알려드리겠음 스타트업 시작하기 • 구글 같은 회사는 초기에 스타트업이라고 불림 • 내가 이들에 대해 아는 이유는 스타트업 팩토리인 Y Combinator를 19년간 해왔기 때문이고, 우린 스타트업을 시작하는데 필요한 것을 정확히 알고 있음 • 스타트업을 시작할 때 알수 있는 것은 그것이 추구할 가치가 있다는 것뿐임 • 즉, "구글을 시작하는 방법"은 여러분이 "구글처럼 될 가능성이 높은 회사를 시작하는 지점에 도달하는 방법을 알려준다는 것"임 • 스타트업을 시작하려면 기술에 능숙해야 하고, 무엇을 만들지에 대한 아이디어가 있어야 하며, 함께 회사를 시작할 공동 창업자가 필요함 기술에 능숙해지기 • 어떤 기술에 능숙해지려면 자신만의 프로젝트에 착수해야 함 • 어떤 기술을 잘해야할 지 모르겠다면 일단 프로그래밍을 잘 할 것 • 프로그래밍은 지난 30년간 스타트업의 원천이었으며 향후 10년에도 변하지 않을 것 • 학교에서 컴퓨터 공학 수업을 듣는 사람들은 이미 프로그래밍을 잘 하고 있다고 생각하겠지만, 학교 수업만으로는 충분하지 않음 • 정말로 프로그래밍을 배우고 싶다면 자신만의 프로젝트를 진행해야함. 그러면 훨씬 더 빨리 배울 수 있음 • 물론, 꼭 프로그래밍을 배울 필요는 없음 • 무엇이 기술로 간주되는지 궁금하다면 "만들다" 또는 "구축하다"라는 단어로 설명할 수 있는 거의 모든 것을 포함 • 용접, 옷 만들기, 동영상 제작 등이 이에 해당 • 가장 관심 있는 분야가 무엇이든 상관없음 • 중요한 구분은 "생산적인지 소비적인지" 여부 • 컴퓨터 게임을 만들고 있는가? 아님 그냥 플레이하고 있는가? 그게 Cutoff 임 ◦ Apple의 창립자인 스티브 잡스는 10대 시절 중세 필사본에서 볼 수 있는 아름다운 글씨체인 캘리그라피를 공부했음 ◦ 그를 포함한 그 누구도 이것이 그의 경력에 도움이 될 것이라고 생각하지 않았음. 그저 관심이 있어서 시작한 일 ◦ 그러나 그것은 그에게 많은 도움이되는 것으로 밝혀졌음 ◦ 애플을 정말 크게 만든 컴퓨터인 매킨토시는 컴퓨터가 8비트 게임에서 볼 수 있는 컴퓨터처럼 생긴 글자 대신 인쇄된 책에 있는 것과 같은 글자를 만들 수 있을 만큼 강력해진 바로 그 순간에 나왔음 ◦ 애플은 이 때 다른 모든 회사를 압도했는데, 그 이유 중 하나는 스티브가 컴퓨터 업계에서 그래픽 디자인을 제대로 이해한 몇 안 되는 사람 중 한 명이었기 때문 • 프로젝트가 반드시 진지해야 한다고 생각하지 말 것 • 자신이 흥미를 느끼는 것을 만든다면 얼마든지 경박하게 만들 수 있음 ◦ 아마 90%의 프로그래머가 게임을 만들면서 시작 ◦ 그들과 그들의 친구들은 게임을 좋아하니, 자신과 친구들이 원하는 종류의 게임을 만듦 ◦ 언젠가 스타트업을 시작하고 싶다면 15살에 해야 할 일이 바로 이것 • 한 가지 프로젝트만 할 필요는 없음 • 사실 여러 가지를 배우는 것이 좋음 • 스티브 잡스는 캘리그라피만 배운 것이 아니라 전자공학에 대해서도 배웠는데, 이는 훨씬 더 가치 있는 일이었음 • 관심 있는 분야라면 무엇이든 상관없음 • 어떤 기술을 잘하기 위해 필요한 세 가지 요소 중 첫 번째가 바로 이것 ◦ 바이올린이나 축구를 잘하는 것과 같은 방법으로 연습하는 것 ◦ 여러분이 22살에 스타트업을 시작하고 지금부터 직접 프로그램을 작성하기 시작한다면 회사를 시작할 때쯤이면 최소 7년 동안 코드 작성 연습을 했을 것 ◦ 7년 동안 연습을 하다 보면 무엇이든 잘할 수 있을 것 스타트업 아이디어 찾기 • 기술에 능숙해지면 세상을 바라보는 시각이 달라지고, 스타트업 아이디어를 찾기 쉬워짐 ◦ 어떤 기술에 능숙해지면 세상을 볼 때 누락된 것 주위에 점선 윤곽선이 표시됨 ◦ 기술 자체에서 누락된 부분과 이를 사용하여 고칠 수 있는 모든 손상된 부분을 모두 볼 수 있게 되며, 이들 각각은 잠재적인 스타트업임 • 애플, 구글, 페이스북과 같은 회사들은 단순한 프로젝트로 시작됨 ◦ 20세기에 미국 대학들은 모든 학생의 이름과 연락처 정보가 담긴 인쇄된 안내서를 출판했음 ◦ 그게 "Facebook" 이었던건 이름옆에 학생 사진이 있었기 때문 ◦ 2003년에 하바드의 마크 주커버그는 그걸 온라인화했고, 하룻밤 사이에 수천명의 사용자가 생겼음 ◦ 페이스북은 스타트업이 아니었고 그냥 프로젝트 였음 ◦ 프로젝트는 기술을 배우는 가장 좋은 방법일 뿐만 아니라, 스타트업 아이디어를 얻을수 있는 최고의 소스임 • 자신과 친구들이 실제로 사용하고 싶어하는 것을 만드는 것이 중요함 ◦ 젊은 창업자들이 저지르는 가장 큰 실수는 다른 사람들로 구성된 신비한 그룹을 위해 무언가를 만드는 것 ◦ 당신과 당신의 친구들이 진정으로 사용하고 싶은 것, 즉 친구들이 당신에 대한 충성심 때문에 사용하는 것이 아니라 당신이 그것을 폐쇄하면 잃어버리게 되어 정말 슬플 것 같은 것을 만들 수 있다면 그게 바이럴을 가지고 있는 것 ◦ 당신에게는 스타트업처럼 보이지 않을 수도 있고, 그것으로 돈을 버는 방법이 명확하지 않을 수도 있음. 하지만 방법이 있음 • 스타트업 아이디어에 필요한 것은 친구들이 실제로 원하는 것임 공동 창업자 찾기 • 최적의 스타트업에는 창업자가 2-3명 있으므로 공동 창업자는 1-2명이 필요 • 공동 창업자는 "프로젝트를 함께 작업"하면서 찾을 수 있음 • 공동 창업자에게 필요한 것은 자신이 하는 일을 잘하고 함께 일을 잘하는 사람이며, 이를 판단하는 유일한 방법은 그 사람과 함께 일하는 것 • 당신이 듣고 싶어하지 않을 수도 있지만, 성적을 잘 내는 것은 정말 중요한 일 • 좋은 대학에 가려면 수업을 잘 들어야 하기 때문 • 스타트업을 시작하고 싶다면 가능한 최고의 대학에 진학하도록 노력해야 함 • 좋은 대학에 들어가는 것이 중요한 이유는 최고의 공동 창업자와 아이디어, 직원들이 그곳에 있기 때문임 ◦ Larry와 Sergey가 Google을 시작했을 때 그들은 스탠포드에서 알고 있는 가장 똑똑한 사람들을 모두 고용하는 것부터 시작했고 이것이 그들에게 진정한 이점이었음 • 경험적 증거는 분명함: 성공적인 스타트업 중 가장 많은 수가 어디에서 왔는지 살펴보면 베스트 대학 목록과 거의 동일함 • 저는 이들 대학에서 더 좋은 스타트업이 배출되도록 하는 것이 명문 대학이라고 생각하지 않음 ◦ 또한 교육의 질이 더 좋다고 생각하지도 않음 ◦ 이를 주도하는 것은 단순히 입학이 어렵다는 것 ◦ MIT나 Cambridge에 입학하려면 꽤 똑똑해야 하고 결단력이 있어야 함 ◦ 따라서 합격한다면 다른 학생들 중에는 똑똑하고 결단력 있는 사람들이 많이 포함되어 있다는 것을 알게 될 것 • 물론, 꼭 대학에서 만난 사람과 스타트업을 시작할 필요는 없음 ◦ Twitch의 창립자들은 7살 때 만났고, Stripe의 창립자인 Patrick과 John Collison은 태어났을때 만남(형제임) • 그러나 대학은 공동 창업자의 주요 원천임 ◦ 공동 창업자들이 있기 때문에 아이디어가 있는 곳이기도 함 ◦ 왜냐하면 최고의 아이디어는 공동 창업자가 된 사람들과 함께 하는 프로젝트에서 나오기 때문 결론 • 스타트업을 시작하기 위해 해야 할 일은 몇 개 안됨

1. For production use cases, OpenAI still has dominant market share. 2. Budgets for generative AI are skyrocketing. 3. A multi-model future. 4. Open source is booming. However, while cost factored into open source appeal, it ranked below control and customization as key selection criteria. 5. Leaders generally customize models through fine-tuning instead of building models from scratch. 6. Cloud is still highly influential in model purchasing decisions. 7. NPS on the most widely used models 8. Enterprises are excited about internal use cases but remain more cautious about external ones.

제목: 테슬라 내부의 소통에 대하여 회사 내에서 정보가 어떻게 흘러가야 하는지에 대해 두 가지 학파가 있습니다. 가장 흔한 방법은 지휘 체계를 통하는 것이며, 이는 항상 커뮤니케이션을 당신의 관리자를 통해 이루어지게 됩니다. 이 접근법의 문제점은, 이것이 관리자의 권력을 강화하는데는 도움이 되지만 회사에는 도움이 되지 않는다는 것입니다. 대신에 문제가 신속하게 해결되는 것이 아니라, 한 부서의 사람이 다른 부서의 사람과 이야기하여 올바른 일이 일어나도록 만들어야 할 때, 사람들은 자신의 관리자에게 이야기하도록 강요받고, 그 관리자는 다른 부서의 관리자에게 이야기하고, 다시 그 관리자는 자신의 팀원에게 이야기합니다. 그러면 정보는 다시 다른 방향으로 흘러가야 합니다. 이것은 정말 어리석습니다. 이런 일을 허용하는 관리자는, 하물며 장려하는 관리자는 곧 다른 회사에서 일하게 될 것입니다. 농담이 아닙니다. 테슬라에 있는 모든 사람은 문제를 해결하기 위한 가장 빠른 방법으로 생각하는 대로 누구에게나 이메일을 보내거나 대화할 수 있고 해야만 합니다. 당신은 관리자의 관리자에게 그의 허락 없이 직접 이야기할 수 있고, 다른 부서의 VP에게 직접 이야기할 수 있으며, 저에게 이야기할 수 있습니다. 누구에게나 어느 누구의 허락 없이 이야기할 수 있습니다. 더욱이, 올바른 일이 일어날 때까지 그렇게 하는 것이 당신의 의무라고 생각해야 합니다. 여기서 중요한 점은 잡담이 아니라, 우리가 울트라패스트하고 잘 실행하도록 하는 것입니다. 우리는 큰 자동차 회사들과 크기로 경쟁할 수 없기 때문에, 그렇게 할 수 있도록 지능과 민첩함으로 해야 합니다. 마지막으로 중요한 점은, 관리자들은 회사 내에 우리와 그들의 정신을 만들거나 어떤 방식으로든 커뮤니케이션을 방해하는 사일로를 만들지 않도록 열심히 노력해야 합니다. 이것은 불행하게도 자연스러운 경향이며, 적극적으로 싸워야 합니다. 부서들이 어떻게 서로 사이에 장벽을 세우거나 자신들의 성공을 회사 안에서 상대적으로 볼 수 있겠습니까? 우리는 모두 같은 배에 타고 있습니다. 항상 자신을 회사의 이익을 위해 일하는 것으로 생각하고, 자신의 부서가 아니라고 생각하세요. 감사합니다, 엘론

그런데 엔비디아는 블랙웰에서 기존 칩렛 개념과는 사뭇 다른 방식을 선보였다. 이걸 칩렛이라고 부르기엔 칩렛 구조에 좀 미안할 정도다. 블랙웰은 애초에 하나의 거대한 모놀리식 칩을 설계한 뒤, 이를 두 개의 다이로 쪼개어 만들고 초고속 인터커넥트로 연결하는 방식을 택했다. 이 인터커넥트의 대역폭은 초당 10TB 이상으로, 애플의 UltraFusion보다 4배 이상 빠른 속도다. 즉, 블랙웰은 동일한 칩을 여러 개 붙이는 전통적인 칩렛이 아니라, 반쪽씩 나눠 만든 다음 하나로 합치는 독특한 구조로 보는 게 맞겠다. 이러한 접근이 가능한 이유 중 하나는 GPU가 가진 고도의 병렬성 때문이다. GPU는 수천 개의 코어가 동시에 연산을 수행하도록 설계되어 있어, 워크로드를 잘게 쪼개어 분산 처리하기에 최적화되어 있다. 실제로 엔비디아는 이미 오래전부터 이러한 GPU의 특성을 활용해 다양한 기술을 선보여 왔다. 대표적인 예가 MIG(Multi-Instance GPU)인데, 이는 하나의 GPU를 하드웨어 레벨에서 8개의 GPU로 분할해두고, 그 GPU들을 필요에 따라 묶어 독립적으로 동작하게 하는 기술이다. 그 전 맥스웰 아키텍처 시절엔 아예 GPU 2~4개를 한 보드에 올려서 GPU 제품을 만들기도 했었다. 이러한 칩렛? 접근법은 모놀리식 디자인의 장점을 유지하면서도 비용 문제를 해결할 수 있다는 강점이 있다. 단일 칩이 클수록 생산 수율이 떨어지고 가격이 높아지는데, 블랙웰은 이를 완화할 수 있다. 특히 GPU의 경우 병렬 연산에 최적화된 구조를 가지고 있어, 이렇게 쪼개기에 적합하다. 필요하다면 H200 한쪽 다이만으로도 완전한 동작이 가능하게 재설계할 수도 있을 것이다. 그걸로 게이밍용 GPU를 만들지 않을까. 하지만 이런 방식의 대중화는 쉽지 않아 보인다. 우선 블랙웰의 다이 하나가 모놀리식 칩에 버금가는 크기인 데다, 다이 간 인터커넥트 속도도 초당 10TB 이상으로 엄청나게 빠르기 때문에 칩을 붙이는 비용 자체가 상당할 것으로 예상된다. 애플의 Ultra 계열도 칩 비용보다는 인터커넥트 수율이 더 안 나온다고 했는데 엔비디아는 어떨까 싶다. 결국 엔비디아의 새로운 접근법은 자사에게는 큰 칩을 저렴하게 만드는 해법이 될 수 있지만, 비용 문제로 다른 업체들이 쉽게 따라하기는 어려운 기술이 될 듯하다. 현재 유사한 시도를 한 곳은 AMD 정도인데, 최신 데이터센터용 APU인 MI300X의 인터커넥트 속도가 초당 1.5TB 수준으로 블랙웰에 한참 못 미치고, 여긴 정말 APU를 구성한 거라 엔비디아 및 애플과 함께 생각하긴 좀 차이가 있다. 이처럼 엄청난 대역폭이 확보되어야만 모놀리식에 준하는 성능을 기대할 수 있을 것이다. 이 정도의 성능을 저가에 구현하기 위해 싸게 만드는 방식인데, 그 방식이 비싸서 따라가기 힘든 상황이다...

GTC 2024 단상 (1) GTC 2024가 마무리되었다. 5년 동안 온라인에서만 진행되었던 행사가 드디어 다시 오프라인에서 열렸다. 5년 전과 그대로인 산호세 컨벤션 센터에서 열린 행사에서 5년전엔 생각지 못했던 주제의 이야기들이 이어졌다. 생경한 그 이야기들이 마치 어제로부터 이어져온 현실이고 그 연속을 말하는 것마냥 자연스러웠다. (아닌데!) 키노트와 세션들에서 다양한 이야기들이 오갔지만, 한마디로 요약한다면 "NVIDIA가 혼자서 이제 다른 게임을 하기 시작했다"로 정리할 수 있겠다. 키노트에서는 사람들이 기대하고 그 기대를 충족시켜 주는 더 많은 실리콘, 더 많은 전력, 더 높은 성능 이런 것들에 대해 이야기하고, 인공지능과 로보틱스가 어떻게 만나는지에 대해 이야기가 오갔다. 조금 더 우리가 미래에 가까워진 것처럼 들렸지만, 대부분은 ‘하던걸 계속 한다’로 요약할 수 있었다. 중요한 내용들은 전부 행간에 있었다. 그 행간을 모아 결론을 내 보면 엔비디아 혼자 들어간 영역이 보인다. 많은 사람들이 화려한 "양두”이야기 하는 동안, 그 뒤에 숨겨진 "구육"의 실체를 생각해보자. 요약하면, 블랙웰은 비싼데 싸고, 비싼 가격이 역으로 해자를 구성한다. ## Advanced RAS: 대규모 AI 훈련 과정에서의 문제점과 해결책 인공지능(AI)을 대규모로 훈련시키는 과정에는 다양한 기술적 어려움이 따른다. 특히 훈련에 사용되는 GPU(그래픽 처리 장치)는 높은 불량률을 보이는데, 이는 과도한 전력 소비, 칩의 크기, 고온 환경 등의 요인 때문이다. 또한 GPU 칩 생산 시기에 따른 성능 편차, 이른바 '뿔딱' 현상도 여전히 존재한다. 과거에는 CPU 오버클러킹을 위해 생산 주차 및 생산 레인을 따지고는 했다. 최근 CPU들은 아예 오버클러킹용을 따로 내놓기도 하니 그런 이야기가 적지만, GPU의 경우 출시 당시부터 성능을 최대한으로 당겨 설정하기 때문에 칩 간 성능 차이가 꽤 발생한다. 예를 들면 분산 훈련 시 all-reduce 방식을 사용하면 전체 훈련 속도가 가장 느린 GPU에 맞춰지는 문제등이 있다. 훈련 도중 일부 GPU에 결함이 생기면 해당 GPU를 제외하고 이전 체크포인트부터 다시 시작해야 하는데, 이 과정에서 상당한 시간과 자원이 소모된다. 작년 Databricks에 인수된 파운데이션 모델 개발사 MosaicML의 사례는 이러한 추세를 잘 보여준다. MosaicML은 자사가 개발한 모델 자체보다도 훈련 과정 중 발생하는 문제를 자동으로 해결하고 복구하는 기술에 대한 보고서를 공개했는데, 이 보고서가 훈련 결과물보다 업계의 주목을 더 많이 받았다. 이는 대규모 AI 훈련에 있어 안정성과 자동화가 얼마나 중요한 요소로 자리 잡았는지를 시사한다. 이러한 문제를 해결하기 위해 이번 세대에서 RAS(Reliability, Availability, Serviceability) 를 엄청나게 업그레이드해서 아예 새로운 RAS 엔진 구현체를 내장했다. RAS는 다양한 시스템 및 칩에서 이미 널리 적용되고 있는데, 블랙웰의 RAS 구현이 보여주는 큰 차잇점이라면 기존의 RAS랑 같은 선상에 두기 어려울 정도로 발전시켰다는 점이다. 블랙웰의 RAS는 GPU를 전담 관리하는 모듈 및 운영체제를 탑재하여 칩의 상태, 성능, 이상 유무를 보드 안에서 실시간으로 모니터링한다. 이를 통해 성능이 저하된 GPU를 자동으로 마킹 및 배제하거나, 장애 발생 시 문제의 GPU만 제외한 채 콜드 리스타트 없이 훈련을 이어갈 수 있도록 지원함으로써 대규모 AI 훈련에 수반되는 복잡한 관리 과정을 자동화할 수 있게 되었다. 흥미로운 점은 RAS의 구현 방식이다. 실제 제품을 확인해봐야 알 수 있겠지만, 엔비디아의 블랙웰 아키텍처에서는 단순히 칩에서 성능 지표를 출력하는 수준을 넘어 GPU 보드 내부에 자체 운영체제를 위한 영역을 탑재하고 있는것 같다. 이는 단순히 부팅이나 마이크로코드 업데이트, 보안 용도를 넘어서 메시 기반의 칩 관리 컴퓨팅에 특화된 용도로 사용되는 것으로 추측된다. 마치 GPU 보드 자체가 하나의 독립된 컴퓨터처럼 작동하는 셈이다. 그리고 이러한 GPU들을 통합적으로 관리하고 제어할 수 있는 구조를 DPU나 기존 관제 소프트웨어와의 통합을 통해 마련한 것으로 보인다. 별도로 분리된 관제 및 제어용 운영체제가 동작하고 그러한 관제 및 칩간 상호 동작을 위해 별도 자원을 구성해 둔 듯 하다. 예전 엔비디아의 접근은 GPU 메모리 리소스 일부를 관제 및 컨텍스트 스위칭 영역으로 예약했는데, 워낙 메모리 값이 비싸니 아예 독립시키지 않았을까? GH200의 282GB 메모리, SC23때 본 H200 메모리 구성이 144GB가 아니라 141GB인데 (사용한 HBM3칩에서 빼보면 각각 6기가, 3기가가 빈다.), B100에서 다시 192GB로 복구된 것을 보고 추정해 본 내용이다. 아 이걸 backend.ai에서 어떤 방식으로 지원하지… GPU-DPU 부분이 어떻게 되어 있는지 일단 봐야 알 수 있겠다. 엔비디아가 발표한 대로 GPU 상태 관리에 특화된 칩 운영용 통합 관리 시스템이 잘 작동한다면, 이 기술은 실제 훈련 시 성능을 저하시키는 요소들을 크게 줄여 AI 훈련의 효율성과 안정성을 획기적으로 향상시킬 수 있을 것이다. 이를 통해 대규모 훈련에 수반되는 다양한 문제점들을 신속하고 효과적으로 해결할 수 있게 될 것으로 기대된다. 이 부분이 경쟁 업체들에 비해 큰 우위를 점할 수 있는 요소가 될 것으로 보이는데, 칩을 관리하기 위해 별도의 칩 관리 시스템을 GPU 보드 내에 구축하게 되면 추가 비용이 발생할 수밖에 없다. 이러한 비용을 감당하기 위해서는 칩의 단가가 어느 정도 (매우) 높아야 하는데, 엔비디아 엔터프라이즈 GPU 정도의 높은 가격 수준이 되어야 이런 식의 접근이 정당화되고 가능할 것이다. ## 블랙웰 GPU의 칩렛 접근법 블랙웰 GPU 아키텍처는 기존의 칩렛 개념과는 다른 독특한 접근 방식을 취하고 있다. 칩렛은 여러 개의 작은 칩을 묶어 성능을 높이는 구조를 말하는데, 이는 단일 칩으로 이루어진 모놀리식 디자인과 대비된다. AMD는 라이젠 CPU에서 칩렛 구조를 성공적으로 도입했다. 라이젠은 CCX(Core Complex)라는 4개의 코어가 들어간 모듈을 여러 개 붙여 코어 수를 늘려갔다. 이 과정에서 인피니티 패브릭이라는 초고속 인터커넥트를 사용해 CCX 간 통신 속도 문제를 해결했는데, 그 속도는 초당 약 400GB에 달한다. 칩렛 방식은 코어 수 늘리기가 엄청나게 쉬운데, 그 이유는 두 가지다. 하나는 단일 칩이 커질수록 수율이 떨어지는데, 칩렛의 칩 하나는 작으니까 수율 문제가 줄어든다. 다른 하나는 칩을 식각할 때 선폭이 미세공정으로 갈수록 비용이 엄청나게 오르는데, 칩렛으로 가면 칩은 미세 공정으로 찍되 입출력 레인은 상대적으로 덜 미세공정으로 찍어서 합체해도 되기 때문이다. 이런 장점 덕분에 AMD는 라이젠 코어 → 라이젠 CPU → 쓰레드리퍼 CPU → 에픽 CPU 식으로 계속 규모만 올려서 태블릿PC부터 서버용 CPU까지 커버할 수 있었다. 애플 역시 M1 시리즈에서 M1 → M1 Pro → M1 Ultra로 유사한 접근법을 사용해 큰 성공을 거뒀다. M1 Ultra의 경우 M1 Max 칩 2개를 초고속 인터커넥트인 UltraFusion으로 연결했는데, 이 링크의 대역폭은 무려 초당 2.5TB에 이른다. (그럼에도 워크로드 돌려보면 이 인터커넥트가 발목을 잡고 있다.) 엔비디아가 칩렛 구조로 갈 것이라는 예상은 2020년부터 있었다. 왜냐하면 단일 칩이 커지는 데에는 패키징 한계가 있고, 앞서 말한 대로 비용 문제가 발생하기 때문이다. 하지만 칩렛이 기존에 안 쓰이던 단점들이 완전히 해결된 것은 아니어서, 성능을 극한까지 끌어올리려면 모놀리식이 당연히 유리하다. 따라서 엔비디아처럼 성능이 곧 경쟁력인 경우에는 쉽게 모놀리식 구조를 버리기가 어려웠다. 그렇지만 언제까지나 크기를 키울 수는 없으므로 엔비디아가 칩렛 구조를 준비한다는 건 알려져 있었다. 다만 CUDA 및 응용 소프트웨어 쪽에서도 새로 생기게 될 칩 간 지연율에 따른 인터리빙 보정 등이 필요해질 것이기에 호환성 유지 측면에서 쉬운 일은 아니었다. 그래서 언제 밀어붙일지 시점만 예상하고 있던 상황이었다.

Base (Raw pretrained model used to train Mistral-7B-Instruct-v0.2) 🔸 Download: https://lnkd.in/gs-DhTjj 🔸 32k context window 🔸 Rope Theta = 1e6 🔸 No sliding window 🔸 How to fine-tune: https://lnkd.in/gB898MVn

- 최고의 창업자들은 면접에 앞서 세부적인 질문들을 준비하여 실질적인 지식을 습득한다. 13. 어떻게 초기 단계에서 움직이며 모멘텀을 얻을 수 있을까? - 일부 작업에 대해서는 미리 구축했거나 내공이 있는 경우에는 처음부터 신용을 받을 수 있다. - 하지만 그럴 수 없는 작업을 선택한다고 해서 포기할 필요는 없다. 대부분의 작업에서 빠르게 적응할 수 있다. - 준비를 얼마나 잘하고 학습에 진지하게 참여하는지에 따라 지식을 빠르게 간파할 수 있다. - SPC와 같은 지원을 받을 수도 있으며, 혹은 동료 창업자와 함께 그와 유사한 경험을 공유하는 것도 가속화에 도움이 된다. - 내부적인 동기부여와 심리 관리를 위해 '모멘텀'을 조성할 수 있는 방법을 찾는 것이 중요하다. 14. AI 스타트업의 벤처 펀딩 모델은 어떻게 변할까? - Mid Journey와 같이 벤처 펀딩 없이도 성공한 스타트업과, 벤처 펀딩으로 컴퓨팅 자원을 구매하는 스타트업 사이에서 모델이 변화할 것으로 예상되며, 투자자는 벤처화 가능한 비즈니스를 어떻게 평가할까? - 스몰 팀이 거대한 성과를 이루는 예시가 많으며, 수익 창출을 통해 자금을 조달하지 않은 회사들도 있다. - 일반적으로 너무 많은 창업자들이 자금을 조달하는 것이며, 조달하지 않아도 되는 상황에서 자금 조달하여 회사에 오히려 손해를 입은 경우도 많다. - 벤처 투자의 이유는 성장을 가속화하기 위한 자본 필요성이 있지만, 기업가에게는 다른 방법으로 이러한 동기를 달성할 수 있는 방법들도 있다. - 자금을 조달하는 것은 합리적인 이유가 있을 때는 옳은 선택이지만, 복잡하지 않은 앱에 수억 달러를 조달하는 등 자금 조달에 대한 과도한 경향이 있다. 15. 투자금 모금에 대한 철학 및 접근 방식 - 투자금을 모으는 이유에 대해 고민하고, SPC에서는 보다 큰 승부를 위해 모두가 노력하는 환경을 제공한다 - 실리콘 밸리의 구조 중에서는 재투자를 목표로하고, 몇 달 내에 또 다른 투자금을 모으기 위한 가속기와 인큐베이터가 많다. 하지만, SPC에서는 기본적으로 그런 중간 결과물보다는 높은 컨셉의 아이디어를 위한 환경을 제공한다 - 실리콘 밸리에는 상당히 많은 투자금을 모은 기업들이 제품-시장 궁합이 정확히 맞지 않아 두 번째, 세 번째 해 끌리게 된다는 문제가 있다. - 이러한 문제를 해결하기 위해 SPC에서는 초반에 투자할 아이디어를 버리고, 보다 나은 컨셉의 기업들을 육성하고 있다. - 이를 위해 SPC는 수익을 창출하는 기업이라도 창의적인 방식으로 투자금 모금할 수 있는 여건을 제공한다. 16. 다양한 성공 기업들은 자본 효율성이 높으며, 사람들은 중요한 제품에 대해 많은 돈을 지불한다. - 선도적인 기업들의 특징은 자본 투자 금액이 매우 적다는 점이다. 대표적으로 Apple, Google, Amazon, Facebook 등의 기업들은 많은 돈을 지불하지 않았다. - 이런 기업들은 제품을 중요시 여기는 사람들에게 많은 돈을 받으며, 회사를 효율적으로 운영하고 지출이 필요한 시점에 적절히 자금을 투자한다. - *장기적이고 지속 가능한* 제품을 만드는 것이 매우 중요하다. 만약 제품에 대해 지불할 의향이 없다면, 그 제품을 만들 가치가 없다. - 컨슈머 제품의 경우 3억 명의 사용자를 확보한 후에 수익 모델에 대해 고려하는 것이 좋다. 17. ️바이오의 응용 분야 중 AI가 아직 적용되지 않은 부분은 어디일까? - AI의 적용이 아직 우수하지 않은 생물학이나 의료 분야에서는 의료 서비스 제공, 의료 인프라 구축 등이 가장 흥미로운 영역일 것이다. - 특히 청구, 의사 방문, 환자 데이터 추출 등의 작업 자동화, RPA와 같은 흥미로운 방식으로 활용하는 것이 가능하다. - 반면에 단백질 접힘과 관련된 연구에 많은 에너지와 열기가 투입되고 있다. - 하지만 실제 약물 개발 비용 중 단백질과 관련된 비용은 매우 적으며, 임상 시험과 같은 실제적인 부분이 더 큰 비중을 차지한다. - 따라서 거대한 비용, 비효율성, 업무 인력이 존재하는 분야에서 AI 기술을 활용하는 것이 효과적일 것으로 예상된다. 18. 기대 이상의 반응과 의외의 일들이 일어난 High Growth Handbook. 그리고 모두가 들어보지 못한 책 추천! - 'High Growth Handbook' 출간 후, 전 세계에서 많은 사람들로부터 피드백을 받았고, 인도네시아의 한 대표적인 기업에서 대화를 나누며 스케일링과 관련된 경험을 나누었다. - 책이 비영리 단체나 다양한 조직에서 읽혔다는 점이 가장 의외였다. 특히, Clare Hughes Johnson의 업무 협력 가이드 부분은 커뮤니티에서 큰 반향을 일으켰다. - 일본과 한국에서 책 투어를 진행할 예정이었지만, COVID로 인해 취소되었다. 이 외에도 자신의 엄마가 매번 25달러를 미국으로 보내던 것을 멈춘 것도 의외였다. 대신 책이 나오자마자 그만 보내기 시작했다. - 스타트업에 종사하면서 힘들 것으로 생각한 엄마는 이제 그녀의 아들이 실리콘밸리에서 잘 살 수 있을 거라고 판단한 것 같다. - 추천하는 책으로는 과학소설이 있는데, 특히 AI 기술과 대화 인터페이스에 관련된 'Culture Series'와 'Bhagavad Gita'를 강력 추천한다. 19. 폭넓고 중대한 변화 속에서 무엇이 변하지 않을까? - 평화, 전통 가치, 인간 본성 등 시간이 흐르더라도 변하지 않는 *유니버설한 가치*가 있다. - 과거 30~40년은 인류에게 가장 좋은 시기로 평화, 교육, 빈곤 감소 등 많은 지표에서 개선되었으나 이로 인해 약화되는 면도 있었다. - 따라서 인류의 존재와 가치에 대한 **보편적인 이해**를 잊지 말아야 한다. - AI의 위험성에 대해서도, 인간의 행동으로 인한 비극이 이미 있었기에 AI가 없더라도 동일한 문제가 발생할 수 있다. 20. ️ 새로운 형식에서 기존 행동 패턴을 포착하는 제품이 가장 우수하다. - 우수한 제품은 새로운 형식에서 기존 행동을 포착한다. - 팬데믹으로 인해 사람들은 디지털적으로 의미와 연결, 소중한 것들을 찾으려 한다. - 우리는 모두 얼마간 디지털적인 접촉에 지쳐서 실제로 사람을 만나고 싶어 한다. -생각, 개발하는 것은 다양한 형태를 가질 수 있지만 가장 중요한 것은 변경되지 않는 작은 문제와 관심사이다. https://lilys.ai/digest/417886?sId=b4CWtfC0HIM&source=video&result=summaryNote&isBlogRequested=false&s=1

엘라드 길과 초기 단계의 스타트업 스퀴글 1. 변덕스러운 관심사: 음악과 기타 임퓨징 재능, 스타일 등의 깊은 지식 - 소프트웨어 개발자와 함께하는 즐거운 대화에서는, 엘라드가 다양한 음악 스타일에 대해 열정을 갖고 깊은 지식을 갖도록 노력하고 있다고 드러났다. - 그는 레트로한 음악 스타일인 신스 웨이브, 베이퍼 웨이브, 베이퍼 트랩에 관심이 많아지고 있는데, 이러한 음악 스타일은 80년대를 연상시키며, 음악과 그래픽에 독특한 미학을 갖고 있다. - 게다가 funk라는 nhk과 함께 음악도 알아가며 자신만의 독특한 음악적 관심사를 형성하고 있다. - 실리콘 밸리에서 성공한 사람들은 광범위한 관심 분야를 가지면서도 특정 주제에 대해 심도 있게 탐구하는 경향이 있고, 그로 인해 성공을 이끌어냈다고 추측된다. 2. 다양한 분야에 대한 심층적인 관심과 학습 욕구 - Samsara의 CEO인 Sanjit은 회사를 상장시키기 전 2021년 마지막으로 소프트웨어 회사를 상장시켰다. - Sanjit은 인공지능과 기계학습 논문부터 80년대 HP의 기업 문서까지 깊은 관심을 가지며 공부한다. - 이런 사람들은 다양한 관심사를 깊이 공부하고, 잘 할 수 있도록 하는 특징을 가지고 있다. - 이러한 기술은 배울 수 있는 기술인지 혹은 선천적인 요소인지는 알 수 없으나, 몇몇 사람들은 이러한 특징을 어릴 때부터 가지고 있다. - 또한, 이러한 관심사에 대해 깊이 파고들기 위해 상세한 내용을 근본적으로 알아보려는 노력도 필요하다. 3. 상향식과 하향식 중 어떤 접근법을 선호하는지 고민하는 중 - 좋은 회사에게는 위 아래 접근법이 모두 적합한 것 같다. - 첫 번째 스타트업과 두 번째 스타트업의 차이에 따라 사람들은 자신에게 적합한 방식을 사용한다. - 많은 사람들은 top-down 접근법을 택하는데, 이는 상용적이거나 제품 또는 비즈니스에 대한 배경을 가진 사람들에게 더 많이 쓰인다. - 반면, more engineering background과 다른 유형의 제품 배경을 가진 사람들은 bottoms-up 접근법을 따른다. - 중요한 것은 어떤 접근법을 쓰든 적절한 성장 전략을 갖추고 어떻게 펼칠지에 대해 고민하는 것이다. 4. 유전 정보 접근성 문제 해결을 위해 설립된 회사(Color-Elas 창업) 건강 관련 지불 의사가 약하다는 문제 - 회사 설립 동기는 공동창업자의 가장이 유방암으로 고통받는 모습을 보고 접근할 수 없다는 문제에 대한 해결이었다. - 유전체 시퀀싱 비용 감소로 유전 정보는 더 많은 사람들이 접근 가능해져야 한다는 마켓 관점에서의 목표를 가지고 있었다. - 그러나 보험 비지불, 가격 지불에 대한 사람들의 불만이 있었고 그에 따라 보험이나 다른 지불 시스템과 협력해야 했다. - 현재 이 회사는 대규모 의료 프로그램, covid 검사 및 백신 배달 등은 물론, 사업의 초점을 병원이나 보험과 같은 기관과 협력하는 인구 건강 관리 회사로 전환되었다. - 회사 설립팀은 보험, 의료 지불 체계에 대한 이해도가 미흡했고 사용자 설문조사 등에서 나타난 지불 의사와 실제 지불 간의 차이를 간과한 것으로 판단된다. 5. 사용자 피드백은 문제 인식에 좋지만 해결책을 알기 어려움 - 사용자의 의사 결정은 제품을 받은 뒤에야 실제로 이루어지기 때문에 사용자 피드백은 중요하지만 신중히 다뤄야 한다. - 사용자와의 대화를 통해 문제를 발견하는 데 큰 가치가 있지만, 해결책을 발견하는 데는 제한이 있다. - 사용자의 요구와 실제로 필요한 것이 맞지 않을 수 있으며, 가짜 신호(fake signal)가 많을 수 있다. - 어떤 기업들은 아직 시장에서 제품을 수용하는 중요한 고객들로 알려져 있으므로 이들과 협업하면 유용한 피드백을 얻을 수 있다. 6. 시장 반응이 빠르게 일어난 것이 성공에 가까운 키포인트 - 실리콘밸리에서는 적극적인 노력과 인내심을 칭찬하지만, 실패를 지속/장기간 투자는 비효율적이라 여겨진다. - 창업자들은 '끈기있게 문제를 해결해 나가야 한다'와 '빠르게 실패하고 피벗하거나 이터레이션해야 한다'라는 모순적인 메시지를 받는다. - 하지만 시장 반응이 빠르게 일어난 경우에는 보통 반영된 성과가 도출되며, 창업자들은 지속적인 노력으로 성공하려는 허상에 빠지기 쉽다. - 실리콘밸리에서의 노력과 인내에 대한 이상화는 실질적인 조언이 아닐 수 있다는 것을 인지하는 것이 중요하다. 7. 하이프 사이클에서 꿈틀거리는 성공과 중요한 시기에 대해 이야기하며, 최초 제품이 중요함에 주목. - 회사가 방향을 변경하고 성공을 시작하는 경우는 있지만, 대부분은 같은 포인트에 귀결될 뿐이다. - 프로덕트 마켓핏이 없었던 회사가 한 번 생기면 그 차이를 명확하게 느낄 수 있다. 제품에 문제가 있더라도 고객들이 계속 사용하는 것은 좋은 신호다. - 고객들이 제품에 불만을 토로하지만 기능 요청도 함께 한다는 것은 사람들이 제품에 신경을 쓰는 것이다. 중요한 것은 타깃을 좁혀 시작하고, 점차 확장하는 것이다. - 하이프 사이클에서는 성공하든 실패하든 빠른 속도로 진행되어야 한다. 하지만 성공을 판단할 때에는 제품이 얼마나 받아들여지고 수익을 창출하는지를 확인해야 한다. - 속도를 위해 많은 돈을 투자하거나 큰 팀을 세우더라도 실행 초기 단계에서 원점부터 모든 것을 재고해야 한다. 지역적인 키워드로 피봇하는 것은 큰 실수다. 8. ️혹시 사이클이 빨라지고 있다는 것에 동의하나요? 창업자들은 어떻게 대처해야 할까요? - 실리콘밸리는 항상 진짜와 가짜 힙싸이클을 겪어왔다. - 진짜 힙싸이클은 현실에 큰 영향을 미치는 것이며, 가짜 힙싸이클은 소용이 없다. - 같은 시기에 진짜와 가짜 힙싸이클이 겹쳐서 발생하기도 했는데, 예를 들어 소셜이 진짜 힙싸이클이었고, 이동통신이 진짜 힙싸이클이었고, SAS도 진짜 힙싸이클이었다. - 반면에 에듀테크와 IoT 같은 힙싸이클은 가짜였고, 기술력과 상품 개발이 부족했다. - 이제 AI파동이 진짜 힙싸이클 중 하나이며, 더욱 발전할 것이다. 9. 인공지능 기업과 블록체인의 현재 동향에 대한 의견 - 큰 기업이 인공지능을 사용하기 위한 기획 주기는 6개월이다. - 큰 기업들은 아직 아무것도 하지 않았으며, 도구 회사들은 성장할 것이다. - 암호화폐와 블록체인은 여전히 중요하지만, 연결을 완전히 이동시킬 정도로 과대평가되었고, *블록체인의 신뢰성*을 활용한 신원 확인 등의 사용 사례는 소수 있는 편이다. - 암호 화폐 시장은 주기적으로 큰 관심과 실망을 반복하며 성장하는 경향이 있으며, 다음 해에는 비트코인의 채굴량이 절반이 줄어들고 시장 상황이 변화할 것으로 전망된다. 10. 기술의 한계 보다는 진정한 요구 확인이 필요 - 블록체인 보상에 대한 *공급-수요*의 관점에서, 이번 해는 기존 하이프 사이클과 같을까요? - 암호화폐는 웹 3이 아닌 분야임에도 불구하고, 일반적인 CRUD 애플리케이션에 적합하지 않다는 의견. - 공급-수요 요인에 따라, 에어비앤비나 페이스북과 같은 기업이 블록체인 기술을 도입할 필요성이 없음. - 기술적인 제약보다는 보편적인 문제들에 집중하고 고객이 원하는 제품 또는 솔루션을 확인하는 것이 중요. - 기술로 가능한 것도 있지만 기회 발견에는 시간이 걸리는 경우도 있음. 모든 것을 기술로 해결할 수 있는 것은 아님. 11. 스타트업의 시기 선택, 고민하는 이유와 해결 방법 - 스타트업을 분석할 때 '지금 이때 왜' 라는 질문에 답을 찾아야 한다. - 기술의 변화나 사용자 문제를 해결할 수 있는 *LLMs*, 시작지점인 시리콘밸리의 한정된 경험 때문에 시장의 필요에 맞는 제품을 만들기 힘든 상황 등 여러 가지 문제가 있다. - 언제 어떤 기업이 성공할 수 있는지는 시장의 맥락과 정황에 따라 다르다. - 기술적으로나 규제적으로 시장이 변화했다면, 일부 시장은 새로운 기회가 열렸을 수 있다. - 따라서 특정 분야에 대한 전문성을 가진 공동 창업자나 전문가를 투입하여 기업의 성공 가능성을 검증할 수 있다. 12. 창업자와 시장 적합성을 고려할 때, 경험과 직관이 중요하다. - 창업자와 시장의 꼭필요한 경험이 맞아 떨어져야 한다. - 만약 어떤 창업자가 종잣돈 없는 산업에 창업했다면, 지식이나 경험이 부족하지 않아도 문제가 될 수 있다. - 창업자는 새로운 시장에서 즉각적으로 인사이트를 찾고 배운다.

“좁은 범위의 문제를 완벽하게 실수 없이 푸는 데 시간을 많이 쓰느라 그 너머의 것들, 깊고 넓게 공부하는 종류의 준비는 덜 돼 있는 것 같습니다. 스스로에게 제약을 걸지 않으면 굉장히 어린 나이에도 굉장히 멀리까지 갈 수 있어요.” “(곰곰이 생각하다가) 새로운 장소를 발견한다거나 멀리서 보긴 했지만 한 번도 갈 수 없던 산봉우리를 등정한 기분이었어요. (12번째를 빨리 증명해야 한다는 강박은 없는지 묻자) 있지요! 상을 받으면 안 좋은 게 ‘이번 논문을 사람들이 시시하다고 생각하면 어쩌나’ 하는 불안과 걱정이 생겨요. 수학 연구에 정확히 방해되는 심리죠.” -그 불안을 어떻게 떨쳐내나요? “답은 없어요. 아이들과 놀거나 하면 기분이 전환됩니다. 아이들은 전혀 다른 시선으로 나를 대하고 전혀 다른 기대를 하고 있으니까요. 말하자면 리셋이 되면서 처음부터 다시 시작하게 합니다.” -’시작하기에 늦은 때는 없다’는 수상 소감이 큰 울림을 줬습니다. 수학을 즐기고 싶은 ‘허준이 키즈’가 경쟁에서 이겨야 하는 입시 때문에 수학에 대한 흥미를 잃어버리면 안 될 텐데요. “소중한 학창 시절을 공부하는 데 사용하는 게 아니라 평가받는 데 사용한다는 게 문제예요. 저는 교육에 대해 비전문가지만 학생들이 이런 현실에 주눅들지 말고 실수 없이 빨리 푸는 것보다 마음이 이끄는 대로 폭넓은 공부를 하길 바랍니다. 교육 당국은 그런 학생들의 용기가 배신당하지 않도록 해야 하고요.” “하하하. 그건 잘 모르겠네요. 미래를 걱정하지 말고 하루씩 사는 게 답인 것 같아요.” -일상에 빈칸이 필요하다는 건 무슨 뜻인가요. “그 전에 하지 못한 생각, 닿지 못한 단계에 이르려면 그런 여백이 중요해요. 스마트 기기를 너무 많이 사용하기 때문에 빈칸이 그걸로 채워지는데, 단기적으로는 자극과 지식을 주는 것 같지만 그만큼 우리의 포텐셜을 깎아먹고 있어요.” -선한 영향을 주고 있는데 한국 사회를 업그레이드하려면 뭐가 필요할까요. “젊은 학자들이나 학생들에게 하고 싶은 말은 자신이 어떤 것에 흥미를 느끼고 좋아한다는 것 자체가 굉장히 큰 자산이라는 겁니다. 어떤 행위를 즐긴다는 것은 훼손되기 쉬운 종류의 자원이에요. 그 가치를 스스로 인식하고 안전하게 보호해야 해요.”

-필즈상 이후 근황이 궁금합니다. “본질적으론 달라진 게 없어요. 수학 바깥에서 해야 할 일이 좀 더 생겼습니다. 연락과 이메일이 많아지고, 인터뷰나 강연 요청을 받으면서 시간을 빼앗겨요. 무게감을 느끼지만, 수학자는 세상과 소통이 안 될수록 좋아요(웃음). 속 편하게 연구에만 집중할 수 있으니까요.” -제가 ‘언론계의 라이징 스타’ ‘하늘이 내린 천재 기자’ 소리를 듣는다면 잠깐 기분이 좋다가도 머리가 무겁고 소화가 안 될 것 같습니다만. “필즈상의 기쁨도 며칠 안 갔어요. 그 이후에도 수십 년 동안 일상을 살아가야 하잖아요. 필즈상은 사전에 통보를 받았으니까, 좋은 기분은 시상식 열리기도 전에 사라져 버렸지요. 하하.” -한때 시인을 꿈꾸고 고교도 중퇴했는데, ‘내가 걸어온 구불구불한 길이 내게는 가장 빠른 길이었다’는 수상 소감이 인상적이었습니다. 지금은 직선 활주로 위에 있다고 생각하나요? “그렇지는 않고 현실은 정반대에 가깝습니다. 아무래도 신경 쓸 게 많아져서 연구자로서는 페널티(벌칙)를 받은 기분이에요.” -상이 아니라 벌이라고요? “네. 노벨상이나 필즈상을 받은 과학자들이 평생 어떤 결과물을 냈는지 통계적으로 살펴본 연구가 있습니다. 수상자들 대부분은 연구 아웃풋이 떨어졌어요. (그 흐름에 저항하는지 묻자) 모두가 최선을 다해 저항하겠지요. 저도 그렇고요.” -허준이의 전성시대는 끝난 건가요? “아직 안 왔습니다. 젊을 때는 너무 열심히 하는 것을 경계할 만큼 공부를 많이 했어요. 하루 24시간 주구장창 달리던 시절이 종종 그립습니다. 요즘에는 집에 가면 열 살과 세 살 난 아이들이 있으니까 자연스럽게 초기화가 돼요. 제 전성시대는 둘째를 대학에 보내고 나서 올 겁니다(웃음).” -서울대 시절 히로나카 헤이스케 교수(필즈상 수상자)가 멘토가 돼준 것처럼, 이제 교수님이 누군가의 멘토가 됐습니다. “멘토 역할이 부담스러웠어요. 뚜렷한 생각을 밝히고 조언하는 성격이 아니거든요. 제 코가 석 자예요(웃음). 좋은 연구를 하는 방법론을 가진 것도 아닙니다. 그런데 저를 잘 정립된 학자로 인식하던 분들이 제 고민과 막연함, 망설이는 모습 등을 보면서 거꾸로 안도감과 자신감을 갖는 것 같아요. 필즈상 받은 허준이도 본질적으론 별 차이가 없구나, 어려운 과정을 거치는 건 매한가지구나….” -가르치는 기쁨은 어떻게 다른가요? “가르칠 때는 즉각적으로 보상이 와요. 연구는 100번, 1000번 시도해도 계속 실패의 연속입니다. 아주 긴 시간 동안 아무 보상이 없다가 어느 날 ‘아, 이렇게 되는구나’ 하며 큰 즐거움을 주지요. 저도 100일 중 99일은 ‘오늘도 허탕쳤구나’예요.” -수학의 가장 큰 매력이라면. “많은 사람이 독립적 과정을 거쳐 같은 결론에 닿고 깨끗하게 소통하는 것이지요. 결론까지 가는 과정은 고통스럽지만 한번 도달하고 난 사람들끼리는 완벽히 동의하게 됩니다. 또 하나의 매력은 수학에는 우리가 이해하지 못하는 문제나 구조가 어마어마하게 많다는 거예요. 어느 방향으로든 조금만 걸어가면 미지의 영역에 도착해요.” -그건 답답한 것 아닌가요? “수학자에게는 대부분의 경우 굉장히 큰 즐거움입니다. 모르는 것을 이해할 가능성이 열려 있으니까요. 종교인이 초월적 존재에게 배우고 마음의 평화를 얻는 것처럼, 이따금 굉장히 신비하면서도 만족스러운 상태를 경험하게 됩니다. 시시해질 틈이 없어요.” -수학 공부를 하면서 보람이라면. “여러 문화권에서 다른 방식으로 성장한, 굉장히 재능 있는 사람들과 교류하며 생각을 섞을 수 있다는 점이에요. 그들 틈에 들어가면 ‘나는 똑똑하구나’는 저절로 사라집니다. 자아가 작아졌고 겸손해졌어요. 땅에 발을 붙이고 현실을 정확히 보며 살고 있습니다.” -어느 분야에서 어떤 연구를 하는지 쉽게 설명해 주십시오. “수학은 역사가 길어서 몇몇 분야로 갈라졌어요. 먼저 셀 수 있는 구조를 말하는 이산(離散)수학적인 대상이 있습니다. 다음으로 대수(代數)적인 분야, 기하학이라는 공간에 대한 분야도 있습니다. 제가 하는 일은 서로 다른 종류의 수학적 대상들 사이에 ‘다리’를 놓아 한 가지 분야에서 연구되는 대상을 다른 분야의 도구나 사고방식으로 이해하고자 하는 거예요. 대수기하학과 조합론을 연결 짓는 데 집중합니다.” -그런 연결점을 어떻게 찾습니까. “어떤 대상을 이해하는 데 첫 번째 겪는 어려움은 적당한 언어를 가지고 있지 않아서예요. 인간은 언어에 기반해 사고하는 종(種)이니까요. 적당한 언어를 개발해 그 대상을 기술하는 시기가 오지만, 그 언어라는 틀이 강제하는 편견도 있어서 결국 더는 나아갈 수 없는 지점에 도착합니다. 그럴 땐 허물어야 해요. 그동안 발전을 가능하게 한 프레임의 편견을. 저는 정확히 그 일에 종사하고 있습니다.” -수학적 편견 또는 고정관념을 허무는 작업이군요. “(고개를 끄덕이며) 그렇게 언어를 쌓고 허물고 쌓고 허물고 하면서 조금씩 나아가는 게 아닐까 생각해요.” -평범한 일과가 궁금합니다. “오전 7시 52분에 큰아들을 학교 셔틀에 태웁니다. 8시에 집 근처 카페에 도착해 커피를 마시고, 9시에 지하철을 타고 세 번 환승해 회기역에 내립니다. 고등과학원까지 걷는 데 20분 걸려요. 10시에 연구실에 도착하죠. 오후 5시에 퇴근하고요.” -귀가하면 평범한 가장이 됩니까. “제가 평범하지 않은 가장이라는 것을 전제한 질문 같군요. 아이들과 잘 놀아줍니다. 수학자라고 특별하지 않아요. 집중이 안 될 땐 유튜브도 보고요.” -허 교수를 만난다니까 수학 교육법을 궁금해하더군요. 2년 전엔 큰아들이 수학 문제를 내고 허 교수가 풀고 큰아들이 채점한다고 했는데 이제 초등학교 3학년이죠? “네, 동그라미 개수 맞히는 수준은 벗어났어요. 요즘 귀가하면 ‘숙제했니?’ ‘숙제 왜 안 하니?’ ‘지금 해야 되지 않을까?’ 이렇게 말하는 단계가 됐습니다. 하하.” -어려서 부친(허명회 고려대 통계학과 명예교수)에게 당한 수학 문제집 숙제의 대물림인가요? “아휴, 그래도 숙제는 해야죠! 요즘은 ‘아드님’이 학교에 있는 시간도 길어지고 바빠졌어요. (구구단은 뗐는지 묻자) 외우게 하지는 않았는데 시간은 좀 걸려도 정확한 답을 찾아내더라고요. 궁금한 게 생기면 묻기도 하는데, 아내도 수학자지만 제가 더 친절하게 가르쳐준다고 저는 생각합니다.” -음식 기다리는 시간도 아까워서 손님 없는 식당에 가고, 물건 구매할 때도 가격 비교 따위는 안 하셨다면서요. 요즘도 시간을 아끼며 사나요? “아내가 들으면 웃음이 빵 터지겠네요. 그 시절에는 수학에 몰입하면 생각을 멈추지 않는 습성이 있었어요. 문제에서 빠져나오면 다시 들어가기 어려우니까요. 아까 말했듯이 지식은 휘발성이 강해요. 10까지 가야 하는데 5에서 멈추면 돌아갈 때 5부터 시작하는 게 아니라 다시 처음부터 올라가야 해요. 등산할 때 어느 높이까지는 도착해야 쉬기 적당한 장소가 있듯이, 수학에도 그런 지점들이 있습니다. 뭉텅이 시간과 뭉텅이 주의력을 요구해요.” 수학은 어떤 쓸모가 있을까. 허 교수는 “다른 수학자라면 구글 검색엔진에 행렬이 사용되고 AI 모델에 그래프 이론을 활용한다고 답할 텐데, 더 근본적으로 수학은 우리가 생각하는 데 필요한 언어를 개발하는 일”이라며 수학을 변호했다. -좀 더 설명해 주신다면. “예컨대 30만년 정도 거슬러 올라가서 인간이 언어를 자연스럽게 사용할락 말락 하고 있을 때, 언어를 가지는 게 농사나 사냥에는 별 도움이 되지 않았을 거예요. 하지만 현대에 우리가 누리는 대부분은 언어를 통해 서로 다른 개체, 서로 다른 세대와 소통함으로써 지식을 축적한 결과물입니다. 수학도 자연적이거나 추상적인 것을 이해할 때 가장 유용하게 쓸 수 있는 언어예요.” -수학의 오랜 난제를 AI가 먼저 푸는 날도 올까요? “저는 그렇지 않을 거라고 봅니다. 다만 가까운 미래에 인간 수학자와 AI가 협력하면서 이전 세대 연구자들이 가지 못한 깊이까지 도달하게 될 거예요. 말하자면 그동안 이해하지 못한 것을 두뇌 외에 AI를 이용해 이해하게 되는 거죠. (수학자로서 허탈하진 않은지 묻자) 전혀요. AI도 인간이 만든 거잖아요.” -스탠퍼드와 프린스턴에서 강의해 보니 한국 학생들이 더 잘 준비돼 있다는 느낌은 받지 않았다면서요?