Continuous Learning_Startup & Investment

Here are 10 takeaways that leaped out in Aschenbrenner's 50,000-word, five-chapter, 165-page paper, "Situational Awareness: The Decade Ahead": 1. "Trust the trendlines ... The trendlines are intense, and they were right." "The magic of deep learning is that it just works — and the trendlines have been astonishingly consistent, despite naysayers at every turn." 2. "Over and over again, year after year, skeptics have claimed 'deep learning won't be able to do X' and have been quickly proven wrong." "If there's one lesson we've learned from the past decade of AI, it's that you should never bet against deep learning." "We're literally running out of benchmarks." 3. It's "strikingly plausible that by 2027, models will be able to do the work of an AI researcher/engineer." 4. "By 2027, rather than a chatbot, you're going to have something that looks more like an agent, like a coworker." 5. The data wall: "There is a potentially important source of variance for all of this: we're running out of internet data. That could mean that, very soon, the naive approach to pretraining larger language models on more scraped data could start hitting serious bottlenecks." 6. "AI progress won't stop at human-level … We would rapidly go from human-level to vastly superhuman AI systems." Superintelligence, coming in 2030 A.D.? 7. AI products are likely to become "the biggest revenue driver for America's largest corporations, and by far their biggest area of growth. Forecasts of overall revenue growth for these companies would skyrocket." "Stock markets would follow; we might see our first $10T company soon thereafter. Big tech at this point would be willing to go all out, each investing many hundreds of billions (at least) into further AI scaleout. We probably [will] see our first many-hundred-billion-dollar corporate bond sale." 8. "Our failure today to erect sufficient barriers around research on artificial general intelligence "will be irreversible soon: in the next 12-24 months, we will leak key AGI breakthroughs to the [Chinese Communist Party]. It will be the national security establishment's single greatest regret before the decade is out." 9. Superintelligence "will be the United States' most important national defense project." 10. There's "no crack team coming to handle this. ... Right now, there's perhaps a few hundred people in the world who realize what's about to hit us, who understand just how crazy things are about to get, who have situational awareness." Reality check: Aschenbrenner, with roots in the effective altrusim movement, is an AI investor. So he's not a disinterested party.

https://www.axios.com/2024/06/23/leopold-aschenbrenner-ai-future-silicon-valley https://situational-awareness.ai/ formerly of OpenAI's Superalignment team, now founder of an investment firm focused on artificial general intelligence (AGI) — has posted a massive, provocative essay putting a long lens on AI's future. Why it matters: Aschenbrenner, based in San Francisco, relies on lots of speculation and projection. So none of this is set in stone. But his opus is a useful, eye-opening synthesis of high-level Silicon Valley conversations.

10년 동안 구글 CEO를 지낸 에릭 슈밋이 며칠 전 스탠퍼드 대학교 컴퓨터 과학 학회에 초청받아 연설을 했는데, 그동안 여러 가지 솔직한 발언을 하다가 중간에 학생들에게 자신이 한 말을 절대 외부에 유출하지 말라고 진지하게 말했습니다. 그러나 주최 측은 이 회의가 카메라로 실시간 중계되고 있다고 알렸고, 그의 표정은 굳어졌습니다. 비록 스탠퍼드 대학교가 나중에 유튜브에서 해당 영상을 삭제했지만, 이미 많은 사람들이 이를 저장했다고.. 내용 요약: - 현재 구글이 왜 AI 분야에서 참패하고 있는가? 구글은 직원들이 워라벨을맞추는 것을 경쟁에서 승리하는 것보다 더 중요하게 여겼기 때문입니다. 직원들이 일주일에 하루만 출근하는데, 어떻게 OpenAI나 Anthropic과 경쟁할 수 있겠습니까? - 일론 머스크나 TSMC를 보세요. 이들이 성공한 이유는 직원들을 강하게 몰아붙였기 때문입니다. 직원들을 충분히 몰아붙여야 승리할 수 있습니다. TSMC는 물리학 박사들에게 첫해에 공장에서 일하도록 하는데, 미국 박사들이 공장에서 일하는 모습을 상상할 수 있나요? - 과거에 많은 실수를 했습니다. 예를 들어, 한때 Nvidia의 CUDA를 멍청한 프로그래밍 언어라고 생각했지만, 이제 CUDA는 Nvidia의 가장 강력한 경쟁 우위가 되었습니다. 모든 대형 AI 모델은 CUDA에서 실행되며, Nvidia의 GPU만이 이를 지원할 수 있습니다. 이는 다른 칩들이 결코 넘볼 수 없는 조합입니다. - 마이크로소프트가 OpenAI와 협력할 때에도 자신은 이를 믿을 수 없었습니다. 마이크로소프트가 가장 중요한 AI 비즈니스를 그런 작은 회사에 외주를 줄 수 있을까요? 그러나 또다시 오판했죠. 애플이 AI에서 온화한 태도를 보이는 것도 그렇습니다. 대기업들은 정말 관료화되었고, 열심히 일하는 사람들은 모두 창업에 몰두하고 있습니다. - TikTok이 미국인들에게 가르쳐준 것이 있습니다. 여기 있는 젊은이들이 앞으로 창업을 하게 되면, 음악을 훔칠 수 있으면 바로 행동에 옮기세요. TikTok이 초기에는 BMG 저작권을 침해하는 것을 방치했던 것을 비꼬는 것 같습니다. 만약 성공하면 최고의 변호사를 고용해 문제를 해결할 수 있고, 실패하면 아무도 당신을 고소하지 않을 겁니다. - OpenAI의 Stargate 프로젝트는 홍보할 때 1,000억 달러가 필요하다고 했지만, 실제로는 3,000억 달러도 부족할 수 있습니다. 에너지 부족이 너무 큽니다. 백악관에 제안했습니다. 미국은 캐나다와의 관계를 강화하든지, 수력 자원이 풍부하고 노동력이 저렴하며 충분히 가까운 곳이죠. 아니면 아랍 국가들과 관계를 맺어 주권 투자를 하게 해야 합니다. - 유럽은 이미 희망이 없습니다. 브뤼셀(유럽연합 본부 소재지)은 항상 기술 혁신의 기회를 파괴하고 있습니다. 프랑스는 조금 희망이 있을지 모르지만, 독일은 안 됩니다. 다른 유럽 국가들은 말할 것도 없죠. 인도는 미국 동맹국 중 가장 중요한 스윙 스테이트이며, 미국은 이미 중국을 잃었습니다. - 오픈소스는 훌륭합니다. 구글의 역사적 인프라 대부분도 오픈소스 덕을 보았습니다. 그러나 솔직히 말해, AI 산업의 비용은 너무 높습니다. 오픈소스로는 감당할 수 없습니다. 제가 투자한 프랑스의 대형 모델 Mistral은 폐쇄형으로 전환될 것입니다. 모든 회사가 Meta처럼 희생양이 되기를 원하거나 그럴 능력이 있는 것은 아닙니다. - AI는 부자는 더 부자가 되고, 가난한 사람은 계속 가난하게 만들 것입니다. 국가들도 마찬가지입니다. 이는 강대국들 간의 게임이며, 기술 자원이 없는 국가는 강대국 공급망에 들어갈 티켓을 얻어야 합니다. 그렇지 않으면 잔치에 참여하지 못할 것입니다. - AI 칩은 고급 제조업에 속하며, 그 생산 가치는 높지만 고용을 촉진하지는 못할 것입니다. 여러분 중에 칩 제조 공장을 가본 사람은 거의 없겠지만, 그 안에는 모두 기계화된 생산 시설이 있습니다. 인간은 필요하지 않으며, 인간은 어리석고 더럽습니다. 그러니 제조업 부흥을 기대하지 마세요. 애플이 MacBook 생산 라인을 텍사스로 옮긴 것은 텍사스 임금이 낮아서가 아닙니다. 이제 더 이상 대규모로 사람을 고용할 필요가 없기 때문입니다. - 역사적으로, 공장이 전력 도입 후 증기 기관보다 더 많은 생산력을 창출하지 않았습니다. 약 30년 후, 분산 전원이 작업장 구조를 재편하고 조립 시스템이 등장하면서 생산력의 도약이 시작되었습니다. 현재 AI도 당시의 전력과 마찬가지로 가치가 있지만, 조직 혁신이 필요하며, 진정으로 큰 보상을 얻으려면 아직 갈 길이 멀습니다. 지금 우리는 그저 '낮게 달린 과일'을 따고 있을 뿐입니다. https://x.com/doki_jerry/status/1824350420925571420?fbclid=IwZXh0bgNhZW0CMTEAAR1Q9gj6FMu3lnml3ANJzw4B6Ql53OkxeaWbh21EZ8xi5r3hP0mv-EbwkTk_aem_PygeYtpTfviQqxfJg3E1MA&mibextid=Zxz2cZ

https://open.substack.com/pub/balajis/p/network-school?r=1dax0&utm_medium=ios learn, burn, earn, and fun. The first part of the Network School is about learning technologies and humanities. The second part of the Network School is about burning calories. Next, in keeping with the overall theme of self-improvement, we’ll have office hours to help with your job, your career, your visa status, and your funding. We’re much more invested in you than a typical college career center because our interests are aligned: the more you earn, and the stronger you are financially, the more you’ll eventually have to reinvest in the community. All work and no play makes Jack a dull boy, of course. So the fourth part of the Network School is about fun. This is the unstructured component. It’s most of what you’re here for. It’s just about assembling great people in one place: positive-sum people who believe in technological progress, internationalism, and capitalism. It’s your internet friends, coming from URL to IRL.

“The ultimate touchstone of friendship is not improvement, neither of the self nor of the other. The ultimate touchstone is witness, the privilege of having been seen by someone and the equal privilege of being granted the sight of the essence of another, to have walked with them and to have believed in them, and sometimes just to have accompanied them for however brief a span, on a journey impossible to accomplish alone.” Bret Taylor

AI Angel & Investor lists made by Ramp https://airtable.com/applPWeuOD5zgaHOH/shrrTNoMG34vQ6in9/tbl9GbJhdPTjXnnFG PW: ramprules

Myth of fundraising https://youtu.be/zBUhQPPS9AY?si=cD7CexQPaCqCqYzJ

https://avc.xyz/writing-online-is-a-conversation The number one thing I hear from people who want to write online more is that they struggle to publish incomplete ideas and unpolished compositions. What I have learned from writing online regularly for over twenty years is that writing online is a conversation. What I mean by that is that you are not trying to publish complete ideas. You are engaging in a conversation with the world and you are a participant in that. Here's an example from back in 2006: I was seeing a lot of startups using a business model where they gave their service away for free with hopes of converting some of the users to subscribers. I wanted to give that business model a name. So I wrote about it and asked the folks who were reading my posts to suggest some names. One reader suggested "freemium" and I loved it and wrote another post stating that we now have a name for that business model. That's a conversation. Here's another example: My colleague Grace wrote a post about the Fragmentation of Search back in February and we started getting calls and emails from founders working in the space. Five months later, we have committed to lead a round of financing in a company right in the sweet spot of that blog post. That's a conversation. So to everyone out there who is struggling to polish their posts and make them perfect before hitting publish, I say "don't bother". Think about writing online like being at a cocktail party or a dinner. Think of it like a conversation starter or a witty reply that takes the conversation to the next level. Because that's what writing online is. A conversation.

South Korea makes protein powder fashionable in Japan South Korean protein powder is catching on in Japan due to its packaging (single-serve pouches), convenience (add water, drink, throw away pouch) and attractive design (web comic characters adorn some pouches). Read more here

https://www.hankyung.com/article/202408089766i https://youtu.be/5LYZCoDysLs?si=fjcIm6-TLwMglh5t

단순화하는건 매우 어렵다. 일종의 주문처럼 반복하는 아주 기본적인 제1원리 알고리즘이 있다. 먼저 요구사항에 의문을 제기하고 요구사항을 덜 어리석게 만드는것이다. 요구사항은 항상 어리석고, 그 요구사항을 만드는 사람도 완벽하지 않다. 여기서부터 시작해야 하는것. 두번째로는 어떤 단계나 부품, 프로세스 단계를 완전히 삭제하려고 노력해야 하는것이다. 삭제한것의 최소 10%를 다시 추가해야 한다면 충분히 삭제하지 않은것. 다소 비논리적으로 보일 수 있지만, 사람들은 종종 다시 추가하도록 강요받지 않았다는 이유로 성공했다고 느낀다. 세번째는 최적화하거나 단순화하려고 노력하는것이다. 이것은 쉽지 않다. 똑똑한 엔지니어들의 가장 흔한 실수는 존재해서는 안되는것을 최적화 하는것이다. 네번째는 주어진 모든것은 그것보다 더 빠르게 할 수 있다는것이다. 현재 속도가 어떻든 더 빠르게 할 수 있다. 그러나 삭제하고 최적화하려고 노력하기 전에는 속도를 높이지 말아야 한다. 다섯번째는 자동화 하는것이다. 나는 예전에 자동화하고, 속도를 높이고, 단순화 한다음 삭제했다. 그 실수가 너무 고통스러웠어서 이 5가지 주문을 만든것이다. 이 주문을 적용한 멤피스에 있는 슈퍼컴퓨터 클러스터는 불과 몇주만에 만들어졌다. 나는 새벽까지 있으면서 모든 사람이 하고 있는 모든 단계들을 살펴보았다. 그래야 뭔가가 어리석거나 비효율적일 때 알아차릴 수 있다. 나는 최전선에 있는 사람들이 하는 일을 직접 몇 번이라도 해보려고 노력한다. 광섬유 케이블을 연결하고, PCI 연결을 진단하는 등의 일이다. 대규모 클러스터의 제한 요소는 주로 케이블링이다. 슈퍼컴퓨터 센터를 돌아다니면서 커다란 뇌속을 걸어다니는 느낌을 받았다. 살면서 성공의 척도는 '하루하루 얼마나 유용한 일을 할 수 있는지'이다. 시간은 진정한 화폐이다. 테슬라를 예를 들면 올해 테슬라는 1000억 달러 이상의 매출을 올릴것이다. 일주일에 20억 달러에 해당하는것. 내가 조금 더 나은 결정을 내리면 10억달러의 결과에 영향을 미칠 수 있다. 따라서 나는 최선의 결정을 내리려고 노력한다. 그리고 지금까지는 경쟁사와 비교하면 꽤 좋은결정을 내려왔다. 1시간의 가치가 1억달러가 넘어갈수도 있다는건 매우 놀라운 일이다. 내가 슬프거나 우울하면 더 나쁜 결정을 내리게 된다. 내게 종교가 있다면 그것은 호기심의 종교, 우주를 이해하려는 시도의 종교이다. 이것은 정말 Grok의 사명이기도 하다. 나는 우주를 이해하려고 노력하거나, 적어도 어느 시점에는 문명이 오늘날 우리보다 우주를 훨씬 더 잘 이해할 수 있도록 노력하고 있다. https://www.facebook.com/syp.sypark/posts/pfbid02xpW2HAC2trvKVg3YrFoo2DNdVE2vb1hdjMZdnKJtLqRReSzAkw2dLds545PcnZ1Vl

Right mental model/perspective -> Right question -> Right answer/experience -> Better/Virtuous finetunning

나는 사석에서 종종 피터 틸이 저평가 되어있는 것 같다는 이야기를 한다. 이 세상 그 누구보다 똑똑하다고 느껴지는 사람. "오히려 현재 미국 정치 세계가 테크 억만장자들과 연결된 지형도를 파악하기 위해서 주목해야 하는 것은 바로 틸-유니버스 (Thiel Universe)입니다. 피터 틸이 지난 20년간 다양한 활동을 하며 키워낸 제자(Protégé)들을 통칭하는 틸-유니버스는 2016년 트럼프 당선 이후 미국의 정치, 외교, 행정은 물론 비즈니스 영역까지 활발하게 진출하며 하나의 끈끈한 결사체를 형성하고 있습니다. 그리고 틸-유니버스는 2024년 공화당의 부통령 후보까지 배출하며 최고 전성기를 구가하고 있습니다." https://stibee.com/api/v1.0/emails/share/03HdRl3cWv9MVyJR_1a471wCGONVFJo

페이팔이 잘 된 이유 경력자 채용이 어려워 순전히 가능성만 보고 주변의 스탠포드-일리노이 공대 친구들을 데려와 일할 수밖에 없었던 제약 조건, 조직의 레거시가 없었기 때문에 능력에 따른 승진과 해고가 빈번했던 경쟁적 환경, 그리고 모두가 20대에서 30대 초반이었던 나이에 회사 매각까지 완료하며 성공 경험과 부를 축적하여 또 다른 도전에 나설 수 있었던 기반 틸은 자신이 관여하는 조직에 유망한 인재들을 적극적으로 영입하고, 그들에게 도전적인 과제를 부여합니다. 이러한 과제를 성공적으로 완수한 인재들에게는 재정적 지원뿐만 아니라 직접적인 멘토링을 제공하여, 그들이 독립적으로 성장할 수 있도록 돕고 있습니다.