Continuous Learning_Startup & Investment

1. 남들이 관심없는데 나는 너무 재밌고 잘할 수 있는 문제를 푸는 사람이 있다면 뭐하고 있는지 자세히 알아볼 것. 2. 그게 되겠어라는 생각이 들거나, 주변에서 그런 말을 들으면 될 수 있다고 생각하고 한번 더 생각해볼 것.

세스 클라만이 초반부에 젊은이들에게 해준 조언이 인상적입니다. 투자에서도 결국 남들이 보지 못한 것을 보았을 때, 로우리스크-하이리턴을 얻을 수 있지요. 일반적인 방식 (로우리스크-로우리턴, 하이리스크-하이리턴)을 가져갔을 때는 초과수익을 가져갈 수 없기 때문에 투자자들은 고민과 관점을 통해 남들이 보지 못하는 '비효율'의 영역에서 자신만의 '효율'을 찾아야 하고요. 삶도 마찬가지이지 않나 싶습니다. 남들이 다 좋다고 하는 것들에는 상한선이 있지요. 가치가 정해져있고요. 다른 길을 갔을 때는 위험하지요. 하지만 다른 길 갔을 때도 자신만의 관점과 통찰로 비용을 낮추고 리턴을 크게 만드는 게 삶을 잘 살아가는 법 아닐까요? 결국 비대칭적으로 세상을 인식하고, 그 속에서 기회를 찾는 것. 남들이 모두 다 '비효율'이라고 하는 곳에 자신만의 인생 기회가 있지 않을까 합니다. 여러 생각하게 되는 통찰 있는 인터뷰네요. 한글 번역 : https://www.youtube.com/watch?v=nezRXTEzAkw

Being a contrarian.

Another example, there’s a whole sector now of these avatar platforms where people are basically able to produce personalized videos of someone saying, “Hey Ben, I saw that you were interested in our product and I wanted to tell you a little bit about us” and being able to basically generate text, feed that into an avatar platform that generates a realistic video that’s customized and using that in advertising, using it in personal outreach, using it in training materials. There’s some competing with non-consumption here where some of those videos would never have been produced because it would’ve just been too costly, and there’s some like, “Hey, God, I used to have to spend a ton of time doing this, now I can do it quite quickly”. Another example that’s like that, and by the way, all of the avatar, I mean I can name some of those Synthesia, D-ID, Hayden, they’re all doing great, all of these companies are growing really well.

Yeah, it’s possible. I think much like the iPhone App Store, I think GPT-3 was a thing maybe just to developers and not consumers, while ChatGPT really marks the beginning of the consumer event. Unlike the iPhone, the consumer event in the iPhone’s case happened first, then the platform, here the inverse happens. So yeah, I’m not exactly sure what the right metaphor is, but it does feel like we’re in that confused era. Andy Grove, one of the founding folks of Intel, has that talk about how the industry transforms, and he has that metaphor of imagine a face and its transmogrifying to another face. When you’re in the in-between era, you’re not exactly sure what you’re staring at, but you’re sort of maybe can figure out where things are going to, and that’s what it feels like the era we’re in now, there’s a lot of noise, there’s a lot of hype. I think it’d be hard to make the case that it’s all going to go away, but easy to make the case that some things that seem very big now may not still be here, and some things that seem small will obviously be big. Yeah, I think the phone is the easiest analogy to leap to, but I’m not sure it’s quite the same thing because the phone was about a physical object in a form factor, and historically in tech that is a really big deal and it leads to new opportunities, it’s a new paradigm, new user interfaces are a chance to create new companies. Whereas I think what’s interesting about AI — and why I think in one respect it’s going to take longer to see the impact, but the impact may be greater — is it’s a fundamental shift in the economics of business, where we previously went with the Internet to basically zero cost of consumption, and so we had this explosion of geographical limitations going away on content, and all the implications that had on lots of companies. With AI, it’s taken to effectively zero — obviously inference costs are still a thing — the generation of information, and that is such a radical shift that is not married to a form factor shift. That, in some respects, I think the impact might be greater, but it will take significantly longer to manifest just like it took significantly longer for the Internet’s impacts to manifest relative to say the PC. When the PC came out in what, 1982 or whatever it was, it was a huge deal pretty quickly and a huge sales driver and Microsoft famously was this massively profitable company with basically no VC investment hardly at all, and I’m not sure that’s necessarily going to be the case for AI. You go back, Netscape is like ChatGPT — you had the Netscape moment, you had the ChatGPT moment. Netscape ended up not being a meaningful company in the very long-run, it was more meaningful as a symbol of the time and the actual meaningful companies like Google and Facebook and whatnot weren’t even started until a decade later. I think one of the interesting trends that we’ve seen in the last six months that we weren’t seeing a year ago is basically the application of large models to things that were previously some form of human intellectual labor or productivity labor. So in a way, what they’re doing in these cases is the models are automating or replacing or augmenting some part of a company. They’re competing not with existing software products but with parts of companies. An example of one that Daniel and I were just talking to recently, we won’t name the company, but they automate filing bids on public tenders for businesses that do business with the government in different jurisdictions, and the time savings of this is totally enormous for these companies, and the upside for them is huge. It’s replacing a raft of internal and external consultants who were doing copywriting and bid preparation and just lots of fairly mechanical but still nothing-to-sneeze-at intellectual labor that produced bid documents. There’s material revenue upside for being able to bid on more things and win more bids, and this company’s growing like crazy, like a weed, so that would be one example.

그게 돈이 되겠어? 오타쿠 게임 만들어서 6조원 누적 매출 만든 회사가 있습니다. 중국 게임회사인 미호요입니다. 2012년 대학생일 때 창업을 했습니다. 지금은 대박이지만, 10년 전에는 진짜 '이게 되겠냐' 이런 이야기가 더 심했죠. 배울 것이 참 많습니다. 심사위원들도 참 대단하다는 생각을 합니다. 10년 전에 오타쿠 게임 만들겠다고 하면 '이게 사업이야' 생각 할 수도 있을 것 같은데 진지하게 물어봐줍니다. 그리고 그것에 대해서 진지하게 답하고요. 저런 문화 속에서 새로운 도전들나오고 또 새로운문화 나오는 것이라 생각합니다. 한국에서 하이브도 비슷한 것 아닐까 생각합니다. 방시혁 의장 '힛맨뱅' 아직도 희화화 되고 있기는 한데 그때도 글로벌 꿈 꾸지 않았습니까? 그리고 10년 정도 지나서 글로벌 됐고요. 또 지금 말도 안되는 소리 하는 사람들이 주변에 있다면 주목해봐야 하지 않나 생각하게 됩니다. 자신이 추구하는 가치를 믿고, 추구하며, 만들어가는 이러한 삶은 굉장히 멋진 삶이라고 생각하게 되됩니다. 많은 생각이 드는 영상입니다. 많은 분들께 영감이 되시길 바라며 소개드려봅니다. 한 주도 수고하셨습니다. 즐거운 주말 되시길 바랍니다. https://www.youtube.com/watch?v=Lj-MuTl3eL4

The future is hard to predict, but you can shape it.

https://ai.meta.com/blog/code-llama-large-language-model-coding/ Llama-2는 코딩을 제외하면 거의 GPT-3.5 수준입니다. https://twitter.com/DrJimFan/status/1694757383267053863 이제 코드 라마가 마침내 GPT-3.5로 격차를 해소했습니다! 코딩은 LLM에서 가장 중요한 작업입니다. 코딩은 강력한 추론 엔진과 Voyager와 같은 강력한 AI 에이전트의 초석입니다. 오늘은 OSS 기반 모델의 또 다른 중요한 이정표입니다. 함께 읽어보세요: - 코드 라마는 라마-2 기본 모델에서 미세 조정되었으며, 바닐라, 인스트럭트, 파이썬의 세 가지 버전으로 제공됩니다. 모델 크기는 7B, 13B, 34B입니다. 가장 작은 모델은 괜찮은 GPU로 로컬에서 실행할 수 있습니다. - HumanEval 벤치마크에서 CodeLlama-python은 53.7점으로 GPT-3.5(48.1점)보다 높지만, 여전히 GPT-4(무려 67.0점)보다 뒤처집니다. MBPP에서는 56.2점 대 GPT-3.5의 52.2점을 기록합니다. - PaLM-Coder, Codex(GitHub 코파일럿 모델), StarCoder와 같은 기타 OSS 모델보다 훨씬 우수합니다. - 주변 컨텍스트를 고려하여 중간에서 코드 생성을 지원하는 “채우기 목표“로 훈련되었습니다. 기본적으로 모델은 (접두사, 접미사) 또는 (접미사, 접미사)를 입력으로 받아 (중간)을 출력합니다. 여전히 자동 회귀적이지만 특수 마커 토큰을 사용합니다. 코드 말뭉치를 무작위로 분할하여 인필 데이터를 쉽게 합성할 수 있습니다. - 자가 학습의 또 다른 합성 데이터 세트입니다: (1) 60,000개의 코딩 면접 문제를 풀기; (2) 단위 테스트 생성; (3) 10개의 솔루션을 생성합니다; (4) Python 인터프리터를 실행하여 잘못된 것을 필터링합니다. 데이터 세트에 좋은 것을 추가합니다. - 긴 컨텍스트 미세 조정: Code Llama는 4K 컨텍스트에서 시작하여 계산을 절약하기 위해 16K 컨텍스트로 미세 조정합니다. 몇 가지 위치 임베딩 트릭을 사용하면 더 긴 컨텍스트에서도 일관성을 유지할 수 있습니다. - 인스트럭션 미세 조정 데이터는 독점적이며 공개되지 않습니다.

Mojo의 개발사 Modular는 개발자를 위한 AI 인프라를 개선하기 위해 1억 달러의 자금을 조달했습니다. Mojo는 AI 개발자를 위한 프로그래밍 언어로, Python보다 35,000배 빠릅니다(Modular의 벤치마크 기준). Python의 유용성과 C의 성능을 결합한 언어입니다. 오늘부터 얼리 어답터에게 Mojo SDK를 배포합니다. 9월 초에는 누구나 사용할 수 있게 될 예정입니다. Mojo가 AI 개발자를 위한 파이썬을 대체할 것이라고 생각하시나요? — https://twitter.com/clattner_llvm/status/1694806312042045672 모조는 파이썬을 위협하는 것이 아니라 파이썬을 향상시키고 파이썬 프로그래머에게 초능력을 부여합니다. 누군가 두려워해야 한다면 C++와 사용하기 어려운 가속기 언어일 것입니다. 파이썬은 개발자들이 좋아하는 언어입니다: C++는 대부분 성능이 필요할 때 사용하는 실용적인 필요악입니다.

I’ve spent 5.5 hours with the Vision Pro today and I’m blown away. Any requests for something I should try in the 30min I have left? Most mind-blowing: - The pass-through experience seeing the real world is really good. - Apps stay where you put them in your room. You literally can fill a whole room with stuff and it just stays there and in the orientation you left it in. - The shadows apps cast on the real world that you see in the pass-through are so realistic, subtle, and magically delightful. Most need of improvement: - Resolution is too low. You notice this is if you look at your iPhone while wearing the glasses it looks like a pre-Retina screen. - 3rd party apps should be able to ask for permission to access the cameras and microphone. Just like Apple Watch and iPhone, I think the Vision Pro will get better and better each subsequent release. Bottom line: It’s an incredible feat of engineering. Congrats to all the people at Apple that helped bring this to life.

"If there's one thing that we should be teaching kids, it's how to fight addiction. How not to get addicted to stuff. Because that is where it's all headed."

https://twitter.com/daveclark85/status/1693976973079462366?s=20 I've seen a few threads recently about the power law in venture capital and what this means for individual company returns. We looked at our data on 11,350 companies backed by 259 funds from 1986 to 2018. /1 Top 10 fund returners by multiple of cost are as follows: 10. Coinbase 9. Slack 8. Portal Software 7. Facebook 6. Avanex 5. Google 4. Ariba 3. Yahoo 2. Brocade 1. DoorDash

Two of their top ten investments were founded after 2010. Both are YC companies. That's what draws later-stage investors to YC. The valuations may be high, but it's where the really good startups are, and that's what matters most for returns.

David Clark of VenCap analyzed the returns from 11,350 startups backed by 259 funds from 1986 to 2018. About half these investments lost money, but 121 (1.1%) returned the entire amount of the fund that invested in them.

Play grow sum game not zero sum game. 사람의 심리는 나보다 펀딩 잘받고 잘 나가는듯 하는 회사가 삐끗하면 고소해 하고 또 '것봐' 하면서 기뻐한다. 반면 누가 큰 펀딩 받거나 높은 가격 인정 받으면... '뭐가 잘못된것 아니야...투자가 바보 아니야..' 한다. 우리는 회사대표들에게.... 큰 투자금을 받을수록 또 가치가 높아질수록 겉에 표시하지 않지만 회사가 실수하는것을 기대하는 사람들이 많아질거라 충고한다. 커질수록 작은것도 큰실수 한것처럼 ... 기사도 많이 나올거라고. 어떻게보면 커질수록 감당해야되는거고... 그러다가 치명적인 실수하면 망할수도 있는거다. 사라진 옐로모바일도 있고 그보다 더한 영원한 적자 낼거다 한 쿠팡도 있는거다. 의도적인 속임수 또 잘못을 덮자는게 아니라.... 되도록 이면 누가 삐끗할때 진심으로 걱정 해주진 못해도 더 나쁘게 이야기 하진 않고 ...또 누가 잘되면 (나랑 상관 없더라도) 박수 쳐주는 분들이 많아지면 좋겠다. 그래서 난 삼성전자, 현대차 부터 네이버, 카카오, 쿠팡 늘 응원한다. 그들이 더 높은 가치 만들고 잘해야 또 시장 자체도 커지니까. Pie 자체가 커져야 의미 있으니.

Super excited to welcome our new investors Salesforce Ventures, Google, Amazon, NVIDIA, AMD, Intel Corporation, Qualcomm Ventures, IBM & Sound Ventures who all participated in Hugging Face’s $235M series D at a $4.5B valuation to celebrate the crossing of 1,000,000 models, datasets and apps on the platform. These partners alone shared over 1,000 open models and datasets and have over 10,000 users on Hugging Face already. It takes a village to democratize good machine learning with open-source and we’re just getting started!

Sleep is beautiful because it makes your training jobs advance

예상대로 많은 사람들이 의료에 대한 질문을 구글에 하지 않고 ChatGPT에 하고 있는 상황에서, ChatGPT가 안과 치료에 대한 질문을 답하는데 문제 없는지를 확인한 논문이 Jama Network Open에 실렸네요. Kyuhwan Jung 김휘영 Soo-Yong Shin 온라인 조언 포럼의 200개 질문에 대한 답변을 비교하는 방식으로 이루어졌는데, 챗봇과 인간의 반응 모두 잘못된 정보의 존재, 해를 끼칠 가능성, 해로움의 정도 등에서 크게 다르지 않았다고... 인간의 답변은 위원회 인증을 받은 안과의사 9명이 작성했으며, 평균 경력 기간은 30.7년. 안과의사 8명으로 구성된 패널은 안과의사가 작성한 답변과 AI가 작성한 답변을 비교했는데, 61%의 정확도로 인간 대 챗봇 응답을 평가. ChatGPT 응답은 더 긴 경향이 있지만, 많은 안과 관련 질문에 대해 놀랍도록 일관되고 정확한 답변을 생성할 수 있으며 그 중 일부는 매우 상세하고 전문적이었다고... 하지만 아직 검증해야 할 부분은 더 많다는게 결론이죠. 제목: Comparison of Ophthalmologist and Large Language Model Chatbot Responses to Online Patient Eye Care Questions 질문 대규모 언어 모델 챗봇이 생성한 안과 조언은 안과 의사가 작성한 조언과 어떻게 비교됩니까? 결과 온라인 조언 포럼의 200개 안과 진료 질문에 대한 응답에 대한 이 단면 연구에서 8명의 안과 의사 검토자로 구성된 마스크 패널은 61% 정확도로 인간 생성 응답과 챗봇 생성 응답을 식별할 수 있었습니다. 잘못된 정보 포함, 피해 발생 가능성, 피해 정도, 안과의사 커뮤니티 기준 이탈 등의 측면에서 챗봇과 사람의 답변 품질에 대한 평가는 크게 다르지 않았습니다. 중요성 ChatGPT와 같은 LLM(대형 언어 모델)은 환자 안과 진료 질문에 대한 답변을 포함하여 다양한 작업을 수행할 수 있는 것으로 보이지만 아직 안과 의사와 직접 비교하여 평가되지 않았습니다. LLM이 생성한 조언이 안과 환자에게 정확하고 적절하며 안전한지 여부는 여전히 불분명합니다. 결론 환자의 안과 질문에 대한 이 연구에서 입증된 바와 같이, LLM은 복잡하고 미묘한 의료 질문에 대한 답변을 생성하는 기능을 통해 환자 치료의 품질과 효율성을 개선할 수 있는 상당한 가능성을 가지고 있습니다. LLM 증강 안과에 대한 환자의 태도를 평가하고, 환자 관점에서 LLM이 생성한 답변의 명확성과 수용 가능성을 평가하고, 보다 다양한 임상 상황에서 LLM의 성능을 테스트하고, 윤리적이고 피해를 최소화하는 최적의 LLM 활용 방법을 결정하기 위해서는 추가적인 연구가 필요합니다. 나아가 멀티모달 안과 데이터에 대한 미세 조정 모델을 통해 도메인에 특화된 LLM을 개발하는 것도 곧 가능할 수 있습니다. 궁극적으로, 부인할 수 없는 현실은 LLM이 등장하여 일반 대중이 이용할 수 있게 되었다는 것입니다. 이 연구를 통해 환자, 임상의, 연구자, 정책 입안자 등 다양한 의료 이해관계자 사이에서 안과에서 LLM 사용을 둘러싼 보다 광범위하고 미묘한 대화와 공동 노력이 촉발되기를 기대합니다. 주요 목표는 이러한 초기 연구 결과를 신중하게 활용하여 안과 분야에서 LLM의 책임감 있는 실행을 구체화하는 것입니다. 논문 링크: https://jamanetwork.com/.../jamanetwo.../fullarticle/2808557