Continuous Learning_Startup & Investment

"The more neatly you fit into society, the less free you actually are." @naval

OpenAI 안에는 2020년에 생긴 Applied라는 팀이 ChatGPT를 담당한다고 함. PMF 찾는 초기 스타트업처럼 움직이는게 목표였다고. 그리고 리서치 팀하고 분리가 되어있지만 긴밀하게 협업하는 구조를 가지고 있음. https://newsletter.pragmaticengineer.com/p/inside-openai-how-does-chatgpt-ship

실적이 부진한 임원에게 제프가 한 이야기라는데 이 반대로만 하면... 1. 당신은 고객에게 충실하지 못했고.. 2. 완전히 주인의식을 갖지 못했고.. 3. 나 자신과 팀을 위해 더 높은 기준을 설정하지 못하고.. 4. 충분히 크게 생각하지 못하고... 5. 신속하게 결정하고 행동하지 못하고... 6. 내 성과가 부족한 것이 확실해졌을 때 나 스스로 공개적이고 단호하게 비판하지 못했다..... 라고 실랄하게 질책을 받았다고 한다.

The AI industry is in a curious state right now. Billions are being spent on capex, credits and tokens…yet few new incremental customer revenues are being generated - at least that I see. Two potential explanations: 1) AI is an efficiency play so companies will deploy agents and automation to reduce existing infrastructure/costs, keeping most end use cases the same. So AI generates OpEx savings “under the hood”. 2) VCs are feeding startups with billions that consume AI compute looking for new use cases. The AI compute complex booms and books real revenues but if the startups don’t find product-market fit soon then these revenues will shrivel because the startups won’t get more funding and will go bankrupt. What are some startups making money using AI to enable a new, valuable product to end customers/users?

if you are intrigued about Q Learning but only know about PPO (policy gradients) and RLHF, this paper of John Schulman (OpenAI cofounder) is worth reading: arxiv.org/abs/1704.06440. It shows that both are functionally equivalent in the entropy-regularized setting.

얼마 전 산마테오 오피스에서 유저 분들과 만나 대화하던 중 '여유'에 대한 대화를 나누게 되었다. 창업자들은 바쁜 일정을 소화하고 상당한 압박 속에서 일을 하기 때문에 여유가 없어 보일 줄 알았는데, 여유가 느껴져서 놀랍다고 말씀해 주셨다. 아래와 같이 말씀드렸다. "과거에는 좋은 연봉을 받고, 좋은 지역에 집도 있고, 사교육비 걱정을 덜 할 수 있을 정도의 자산을 축적하고, 휴가 시 해외여행 다니는 인생을 '여유가 느껴지는 인생'이라 생각한 적이 있었습니다. 그런데 요즘은 내가 나를 온전히 아는 사람, 내가 해보고 싶었던 것 해본 사람, 지금도 내가 하고 싶은 것 하고 있는 사람. 그 과정에서 많은 시행착오 겪어서, 쉽게 성공하기 어렵다는 진리와, 망하는 것도 매우 어렵다는 진실을 마주하고 있는 사람에게 여유가 느껴진다고 생각합니다. 여유는 내 안에서 찾아오는 것 같습니다" 물론, 물심양면으로 여유가 있으면 좋겠지만, 무엇보다 만나서 대화를 나누면 여유가 느껴지는 것을 넘어서, 상대방까지도 여유를 찾을 수 있도록 도움줄 수 있는 사람이 될 수 있으면 좋겠다.

https://www.facebook.com/suhoz/posts/pfbid02S69yV53hVj9yR5csXzHmec7W6iJPDX86kKtKb6p8wpQxHS3yFMdz1kSBsTxqJP9dl 1. 창업이요? 하지 마세요. 큰돈 벌 거 같다구요? 토 나오게 힘들어요. 지난해 비상장 회사 중 1000억 이상,아니, 300억 이상 엑시트(매각)했다는 사람수? 수십명 정도에요. 세상 사람 대부분은 월급쟁이인 이유가 있어요. 근데 왜 창업했나요? 너무 지긋지긋한데 너무 재밌으니까요. 2년동안 월 50만원만 받고 일하자라고 제안했는데 그걸 믿고 따라와준 창업멤버들이 존재하는 이상한 분야에요. 2. 회사에 C레벨이 없다구요? 네. 나중에 올 슈퍼인재급 C레벨을 위해 지금도 저희 회사는 C레벨을 두지않고 있어요. 그래도 창업공신들일텐데... 아뇨. 생각해보세요. 창업공신이라고 CTO, CMO 다 초창기 멤버로 갖다놔보세요. 우연히 3년만에 회사가 급성장했어요. 그렇다고 그 3년차 CTO가 있는 회사보고 베테랑 개발자가 그 회사 오겠어요? 저라도 안 올 거 같아요. 그래서 이렇게 C레벨을 안 둔 거에요. 3. 회사가 지금 아무것도 안해도 5년 버틸 현금을 확보해뒀다고요? 네. 이전 3번의 창업과 폐업 경험을 통해서 겪어본 교훈입니다. 창업해서 초기구상한 대로 사업모델은 절대 작동하지 않아요. 그럼 어떻게? 될때까지 피보팅해야죠. 그러려면 2년 정도 버틸 자금 가지고는 안돼요. 그래서 인건비 등 고정비가 나가고도 5년 버틸 정도 현금을 항상 준비해야겠다는 확신을 하게됐고 미리미리 투자유치를 해둔 겁니다. 4. 창업 후 가장 공들인건? 인재영입이요. 저는 경영 쪽, 공동창업자는 개발자 쪽 인재영입을 위해 인재가 많을 법한 동네에 일부러 찾아가서 그 근처 카페에 죽치고 앉아 링크드인, 리멤버 등에서 이력을 확인한 잠재인재에게 콜드메일, DM을 날려요. 그리고 우리 회사에 합류해달라고 설득했어요. 한 3000명 만났나? 99%는 실패죠. 그래도 낙담 안했어요. 결혼 보세요. 결국 한 사람과 살겠다고 숱한 연애, 소개팅을 하는 거잖아요. 정말 괜찮은 분 올때까지 그렇게 계속 도전했어요. 이제요? 2년전 그렇게 만났던 분들 중 일부가 화려한 직장을 그만두고 저희 회사로 와주고 있어요. 5. 3번의 폐업 후 지금의 아이템을 찾기까지 어떤 원칙을 세웠나요? 1) 1조 이상 큰 시장일 것. 2) 매년 10% 이상 성장. 3) 디지털전환이 더딘 곳. 그래서 본 시장이 4050여성. 인구도 많고 구매력이 높은데 이들에게 맞춤형 서비스나 앱은 전무했다고. 실제 네이버 검색창에서 원피스를 치면 이들이 입을만한 큐레이션이 하나도 안됨. 그렇다고 특정 브랜드만 보는 것도 질림. 한번에 여러 브랜드를 둘러보고 편하게 구매까지 할 수 있게 만든다면? 그래서 먹힌 곳이 #퀸잇 #성실캠프 1시간반동안 짧은 창업 여정 소개, 긴 Q&A, 심지어 본인 이메일, 연락처까지 스스럼없이 공개하며 언제든 커피챗 가능하다는 최희민 #라포랩스 공동대표. 강연은 시간가는줄 모르게 끝이 났고 창업하지 마세요. 라는데 오히려 창업가정신을 더 명징하게 만들어줬다. #못온사람만손해 #성실캠프는_성공하려면_실패를알아야한다_취지의재능기부강연회

OpenAI failure, if that is what ultimately happens, will scatter teams everywhere. The net result of that is more competition and, ultimately, more commoditization. Foundational models generally become more robust, available and cheaper. Hardware becomes more commoditized. Training data, reinforcement learning from human feedback (RLHF) and fine tuning become critical.