Continuous Learning_Startup & Investment

지금까지 올렸던 영상들과는 조금 성격이 다릅니다. 그래서 매일 올리는 영상이지만, 이번에는 유독 감회가 새롭더군요. 앞으로 종종 이렇게 생각들도 올릴 예정입니다. 롱테이크 무편집입니다. 플레이리스트에 'raw material' 이라고 별도로 표기해서 정리할 예정이고요. 많은 영상들이 쌓이면 좋겠네요. 여러가지 방향으로 이야기 나누고 싶습니다. 잘부탁드립니다. 좋은 저녁 되세요. https://www.youtube.com/watch?v=sJ-Ua94PpaA

비슷한 경험. 작년부터 피아노를 치고 있습니다. 그런데, 피아노를 잘 쳐야한다는 강박을 가지고 있었습니다. 피아노를 치면서도 틀리면 어떻게 하지, 선생님이 나를 연습도 안하는 게으른 학생이라고 생각하면 어떻게하지 걱정한 적이 많았습니다. 피아노를 치면서도 틀리는 것에 대해서 기본적으로 거부반응을 하고 있더라고요. 내가 실수하는 것을 싫어한다는 것을 인정하지도 않고 딱 선생님에게 잘 보이기 위한 정도로만 피아노를 배우고 있었어요. 처음엔 피아노를 듣고 치는 것 자체가 재밌어서 시작됐는데, 노력도 하고 시간도 들이는데 배움은 없더라고요. 피아노를 학습하는 내 모습을 스스로 복기하다보니 이런 내 모습을 보게 됐어요. 그리고 두려움도 인정하고 못쳐도 되는데 재미있게만 치자고 마음을 바꿨습니다. 내 모습을 알아차리고 마음을 바꾸는 데에는 얼마 시간이 걸리지 않았는데 알아차리기까진 꽤 오랜 시간이 걸렸습니다. 사실 피아노 학원에서 틀리는게 뭐 대단한 실수겠어요. 틀리고 싶지 않다는 제 방어기제를 회피해왔던 거죠. 내가 어떤 일을 왜 시작했는지, 그 일을 정말 잘하기위해서는 어떻게 해야하는지, 그것을 가로막는 것(방어기제, 편견, 감정)은 무엇인지 스스로 생각해보고 알아차리고 더 나은 의사선택을 하면서 성장할 수 있다고 생각합니다. 아직도 피아노는 걸음마 단계지만 이제 더 재밌게 칠 수 있을 것 같아요.

AI로 바뀔 영역 중 하나가 로봇이고 그 분야에서 문제를 잘 정의하는 팀 중 하나. Excited to share: Figure raises $675M at $2.6B Valuation + OpenAI & Figure signed a collaboration agreement to develop next generation AI models for robots Series B investments from: - Microsoft - OpenAI Startup Fund - NVIDIA - Jeff Bezos (through Bezos Expeditions) - Parkway Venture Capital - Intel Capital - Align Ventures In addition, OpenAI & Figure signed a collaboration agreement to develop next generation AI models for humanoid robots The collaboration aims to help accelerate Figure’s commercial timeline by enhancing the capabilities of humanoid robots to process and reason from language We will be using this investment to ramping up Figure’s timeline for humanoid commercial deployment and will be used for: - AI training - Manufacturing - Deploying more robots - Expanding engineering headcount - Advancing commercial deployment efforts

가까운 친구로부터 솔직한 피드백을 받는 것은 나다움을 찾는데에 큰 도움을 준다. 유한게임은 세상의 자원이 제한되어있고 승리하는 방식이 정해져있는 스포츠같다. 무한게임은 목적도 참가자도 룰도 불명확한 우리의 인생이다. 제한된 리소스 안에서 답을 찾는 지역 최적화를 해야한다면 유한 게임이 좋겠지만, 우리가 살아가는 세상은 무한 세상과도 같다. 세상을 Zero-sum mind-set으로 바라볼 것인가? Growing pie mind-set으로 바라볼 것인가? Zero-sum game에서는 남들보다 빠르게 조금 더 잘하는 게 중요했다면, Growing Pie mind-set에서는 다른 사람보다 잘하는 게 초점이 아니라 새로운 파이를 만들어 내는 것이 중요하다. 그렇기에 나다움, 협력, 신뢰 등의 가치를 더 중요하게 생각할 수 있다. https://youtu.be/c8Aj945IgAo

그동안 승승장구한 줄 알았던 그도 가장 큰 실패를 했었고 일과 개인사 모두 동시 힘들었고 인생에서 가장 낮은 지점이라고 생각하는 순간이 있었다. 하나하나씩 어려움을 해결하려고 노력했고 다시 좋은 흐름을 만들 수 있었다. 투자의 대가들이 만든 가르침을 배우고 자신만의 원칙을 만들며 본인의 게임을 한다. 게임을 하면서 실수할 수도 있고 때로는 큰 실수일 수도 있다. 그리고 그 실수로 인해 여러 사람의 평가, 비난을 받을 수도 있다. 그래도 그 실수로 배우고 더 나은 의사결정들을 해나가면 된다. 큰 성공이 없을 때, 유명해지지 않을 때 첫 눈덩이를 만드는 것이 쉽진 않다. 그 문제를 잘 해결해야 어느 정도의 눈덩이를 굴릴 수 있게 된다. 일이 잘 안 풀리고 개인적인 어려움이 있더라도, 잘 자고, 잘 먹고, 운동하고 사랑하는 사람들(가족과 친구)로부터 도움받으면 된다.

https://www.klarna.com/international/press/klarna-ai-assistant-handles-two-thirds-of-customer-service-chats-in-its-first-month/ • The AI assistant has had 2.3 million conversations, two-thirds of Klarna’s customer service chats • It is doing the equivalent work of 700 full-time agents • It is on par with human agents in regard to customer satisfaction score • It is more accurate in errand resolution, leading to a 25% drop in repeat inquiries • Customers now resolve their errands in less than 2 mins compared to 11 mins previously • It’s available in 23 markets, 24/7 and communicates in more than 35 languages • It’s estimated to drive a $40 million USD in profit improvement to Klarna in 2024

💡Winning Instincts vs. Winning Ideas: Your instinct is correct 95% of the time; your ideas - 25% of the time. Trust your instincts, not your ideas. 💪 Small Ideas - Big Ambitions: Start small with big ambitions. 🧩 Proven, Better, New: Each product is an aggregation of individual features where some features are ‘proven’, other features are ‘better’ than the existing ones, and there are ‘new’ features that did not exist before. It is about making the product, as a whole, better. Otherwise (reciting Steve Jobs), by trying to make every feature 10% better, you may make the product 50% worse. 🆕 All New Fails: Assume new fails, and you can find a way to work around it. 🏡 Death By a Thousand Compromises: If you make too many compromises as a founder, you may end up building a company you don’t want to work at. Build a house you want to live in. Decide how ambitious you really are. No judgment, just intellectual honesty. Identify things that matter to you, lines you would not cross, trade-offs you would be willing to make. “I’m a team player; if I’m running the team, I have to be CEO” 🎈 Taste & creativity: You have to constantly increase your bar, develop your taste, make it better. Care at a pixel level. Keep an eye out for true signals. ⚙️ Lessons Learned: Can’t be naïve to a new space; have to learn on the go. Proven, better, new – copy what works well. Allow yourself to be too early – it may be hard but it has to be done to discover a new planet. Understand what your ego is and how to avoid pitfalls that come with it. ✨ Happiness: Being and feeling useful to a community you care about. Mark Pincus Founder and CEO of Zynga

A rock pile ceases to be a rock pile the moment a single man contemplates it, bearing within him the image of a cathedral. 한 사람이라도 큰 성당의 이미지를 품고 돌무더기를 본다면, 그 순간 더 이상 그것은 돌무더기가 아니다.

Many people learn about the tools just enough to get the job done. I prefer to dive deeper; understanding my tools in detail makes my work much more fun. Not sure if it's good or bad. Just more fun! Perhaps that’s what truly matters in the end.

은사님과의 대화 중 기억에 남는 구절들. 결국 창업자의 가치관, 세계관이 그 조직의 DNA이고 일하는 방식이다. 창업자의 나다움이 조직의 나다움을 만든다. 좋아하지만, 고객을 만족시킬만큼 지독하게 좋아하는 일을 창업해야한다. 짧고 빠른 성공이 아니라 나다운 여정을 가는 것이 중요하다. 너무 짧은 순간에 많은 것을 이뤘다고 착각하면 늙고 고인다. 주변을 보고 배우면 성장할 수 있고, 비교하면 불행해진다. 되는지 안되는지는 해보기 전까진 모른다. 가능한 많은 것들을 해보고 나면 그 일이 잘 안되더라도 새로운 세상과 기회가 보인다. 돈 많이 벌어서 남 좋은 일 많이 하자. 특정 목적을 성취하는 삶이 아니라 꾸준히 배우고 성장하고 감사하는 과정이 좋다.

지난 월요일(11월 27일), 알토스 오피스에서 스타트업 리더들과의 모임을 주최했습니다. 공간을 마련해주신 호스팅 오영택 님과 알토스 관계자분들께 감사의 말씀을 전합니다. 제한된 공간과 시간으로 신청해주신 모든 분들과 함께하지 못한 점은 아쉬웠습니다. CTO, 개발 리드, CEO분들과 '동기부여', '팀의 불완전성(특히 시니어의 부재)', 그리고 '타 팀과의 소통 문제'라는 주제로 시작한 토론은 흥미진진했습니다. 모든 분들이 열정적으로 참여해주시고 많은 인사이트와 고민을 함께 나눠 주셔서 다시 한번 너무 감사드립니다. 저는 2년간의 블록체인 오픈소스 활동과 약 5년간 해치랩스에서 경험을 바탕으로 Engineering Manager 경험을 공유했습니다. 모임에서 공유한 내용을 저처럼 팀을 위해 밤낮으로 고민하시는 분들께 조금이라도 도움이 되고자 짧게 공유드립니다. 🔍 1. 저는 Manager를 팀(사람)에 집중하여 조직에서 영향력을 발휘하는 사람으로 정의하고 있습니다. 2. IC(개별 기여자)에서 Manager로 전환하면서 정체성, 관계, 영향력의 전환이 일어났습니다. - 정체성의 전환: '좋은 제품을 만드는 개발자'에서 '내재적 동기를 기반으로 팀원들의 성 장을 촉진하며, 지속가능하고 가치있는 결과를 달성하는 팀을 만들고 이끌어 가는 리더로 전환' - 관계의 전환: 핵심 이해관계자들이 '엔지니어 팀원들'에서 'CEO, Head of BD, Head of TA, 주요 엔지니어 팀원'으로 전환 - 영향력의 전환: '제품 개발'에서 '구성원들의 성과 & 역량 성장 및 평가, 피드백, 채용, 팀의 문화와 방향성 구축'으로 전환 3. Manager로 팀의 미션을 달성하기 위한 팀의 Being(존재) 설정했습니다. - 시장 변화에 신속하게 대응하고 지속적으로 빠르게 가치를 창출하는 엔지니어링 팀 - 단순 개발을 넘어 통합된 책임감을 가진 엔지니어링 팀 4. Top Down, Bottom Up 전략을 활용하여 목표를 달성하기 위해 노력했습니다. Top Down 전략 (Manager로 방향성 제시) - 개발 작업의 단위와 책임 범위 조정 - 기능별 배포 전략 & E2E 자동화 테스트 도입 - 역량 프레임워크 정의 - 생산성 지표 도입 Bottom Up 전략 (팀원에게 초점을 맞춰 내재적 동기를 기반으로 팀 방향성에 Align) - 2주 단위의 1on1(방향성 Align & 성장에 초점) - 역량 평가 5. 대부분의 어려움은 Bottom Up 전략을 실행하는 데에서 일어났습니다. 6. 아직 많이 부족하다고 생각하지만, 팀의 생산성을 크게 향상 시켰고, 통합된 책임감을 느끼는 문화가 자리 잡았으며, 기대하는 역량에 대한 합의를 통해 구성원들의 성장이 일어났습니다. 7. 이런 과정 속에서 제가 배운점은 다음과 같습니다(내용은 뻔하지만 잘 하는것은 어렵다고 생각합니다). - Bottom Up 전략의 중요성 인식: 아무리 뛰어난 전략이더라도 구성원들이 제대로 실행해주지 않으면 실패함 - 구성원들의 문제에 대한 깊은 이해: 경청과 질문을 통해 구성원들의 문제에 대한 본질적 접근 및 이해가 중요함 - 나보다 역량이 뛰어난 IC와 일하는 법: 그들이 문제에 집중할때 팀의 관점에서 방향성을 제시하여 팀 성과를 높일 수 있음 - 구성원에 대한 명확한 기대치 설정: 구성원의 성과나 역량이 아쉽다면 명확하게 기대하는 바를 전달했는지를 고민해야함

It has exactly the same architecture, but offers enhanced performance and faster convergence. Super curious about its performance on video generation too! https://x.com/ma_nanye/status/1748199729438113993?s=46&t=h5Byg6Wosg8MJb4pbPSDow

First of all, really appreciate the team for sharing helpful insights and design decisions – Sora is incredible and is set to transform the video generation community. What we have learned so far: - Architecture: Sora is built on our diffusion transformer (DiT) model (published in ICCV 2023) — it's a diffusion model with a transformer backbone, in short: DiT = [VAE encoder + ViT + DDPM + VAE decoder]. According to the report, it seems there are not much additional bells and whistles. - "Video compressor network": Looks like it's just a VAE but trained on raw video data. Tokenization probably plays a significant role in getting good temporal consistency. By the way, VAE is a ConvNet, so DiT technically is a hybrid model ;) When Bill and I were working on the DiT project, instead of creating novelty (see my last tweet🤷‍♂️), we prioritized two aspects: simplicity and scalability. These priorities offer more than just conceptual advantages. - Simplicity means flexibility. The cool thing about vanilla ViT that people often miss is how it makes your model way more flexible when it comes to working with input data. For example, in masked autoencoder (MAE), ViT helped us to just process the visible patches and ignore the masked ones. And similarly, Sora "can control the size of generated videos by arranging randomly-initialized patches in an appropriately-sized grid." UNet does not directly offer this flexibility. 👀Speculation: Sora might also use Patch n’ Pack (NaViT) from Google, to make DiT adaptable to variable resolutions/durations/aspect ratios. - Scalability is the core theme of the DiT paper. First, an optimized DiT runs much faster than UNet in terms of wall-clock time per Flop. More importantly, Sora demonstrated that the DiT scaling law applies not just to images but now to videos as well -- Sora replicates the visual scaling behavior observed in DiT. 👀Speculation: In the Sora report, the quality for the first video is quite bad, I suspect it is using a base model size. A back-of-the-envelope calculation: DiT XL/2 is 5X GFLOPs of the B/2 model, so the final 16X compute model is probably 3X DiT-XL model size, which means Sora might have ~3B parameters – if true, this is not an unreasonable model size . It could suggest that training the Sora model might not require as many GPUs as one would anticipate – I would expect very fast iterations going forward. The key takeaway is from the "Emerging simulation capabilities" section. Before Sora, it was unclear if long form consistency could emerge on its own or if it required complex subject-driven generation pipelines or even physics simulators. OpenAI has shown that, though not perfect, these behaviors can be achieved with end-to-end training. Yet, two essential points have not been discussed. 1. Training Data: No talk about training source and construction at all, which might just imply data is likely the most critical factor for Sora's success. 👀Speculations: There's already much speculation about data from game engines. I also anticipate the inclusion of movies, documentaries, cinematic long takes, etc. Quality really matters. Super curious where Sora got this data from (surely not YouTube, right?). 2. (Auto-regressive) Long Video Generation: a significant breakthrough in Sora is the ability to generate very long videos. The difference between producing a 2-second video and a 1-minute video is monumental. In Sora, this is probably achieved through joint frame prediction that allows auto-regressive sampling, yet a major challenge is how to address error accumulation and maintain quality/consistency through time. A very long (and bi-directional) context for conditioning? Or could scaling up simply lessen the issue? These technical details can be super important and hopefully will be demystified in the future https://x.com/gabor/status/1758295719788822866?s=46&t=h5Byg6Wosg8MJb4pbPSDow DiT shines in Sora. Our team at NYU has recently released a new DiT model, called SiT.