Continuous Learning_Startup & Investment

OpenAI 의장 그렉 브록만이 트위터에 이런 말을 남겼네요. "일부 예외를 제외하면, AI의 가장 큰 영향력은 소프트웨어와 머신러닝 모두에 전문가인 사람들로부터 나옵니다. 대부분의 사람들은 그 반대를 예상하지만, 일반적으로 소프트웨어보다 머신러닝을 학습하는 것이 훨씬 빠릅니다. 따라서 뛰어난 소프트웨어 엔지니어는 AI 분야에서 더 큰 잠재력을 발휘하는 경향이 있습니다." 브록만의 경우 원래부터 인공지능 연구자가 아닌 소프트웨어 쪽에서 인공지능 쪽으로 왔기 때문에 그렇게 느낀다 싶네요. https://twitter.com/gdb/status/1692699977628242279 그레그가 AI를 공부하는 방법에 대해서 이야기한 블로그: https://blog.gregbrockman.com/its-time-to-become-an-ml-engineer https://blog.gregbrockman.com/how-i-became-a-machine-learning-practitioner

https://10point.cmail19.com/t/d-l-vjhullk-iuhthuudhd-yh/ SpaceX는 1분기에 소폭의 수익을 올렸습니다. WSJ이 입수한 문서에 따르면, 엘론 머스크의 비상장 로켓 회사는 15억 달러의 매출에 5,500만 달러의 수익을 올렸으며, 이는 회사의 재무 상황을 엿볼 수 있는 드문 수치입니다. 아직 검증되지 않은 기술적으로 까다로운 로켓에 돈을 쏟아붓고 있는 SpaceX의 손실은 2년 동안 줄어들고 있지만 여전히 상당했습니다. 이 같은 결과는 팰컨 로켓의 가격 인상과 경쟁사의 신차 출시 지연이 영향을 미쳤을 가능성이 높습니다.

지난해 인도 여성의 노동력 비중은 24%로 2018년의 21%보다 증가했지만, 사우디아라비아에 이어 세계 12번째로 낮은 수치입니다. 경제학자들은 두 가지 주요 요인, 즉 일자리 창출이 미약하여 일자리를 차지하기 위한 경쟁이 치열하고 여성의 역할을 가정에서 강조하는 매우 보수적인 문화가 그 원인으로 꼽습니다. 더 많은 여성을 노동력으로 끌어들이지 못하면 서구 기업들이 제조업에서 중국을 대체할 수 있는 대안을 모색하는 가운데 인도의 젊은 인구 통계를 활용하려는 계획이 복잡해집니다.

투자자들은 중국에 '리먼 사태'가 닥칠까 우려하고 있습니다. 2022년 말 1,080억 달러를 관리하던 난해한 금융 상품 판매업체가 최근 포위된 부동산 부문에서 금융 전염병이 확산될 수 있다는 우려를 불러일으켰습니다. 많은 개발자에게 자금을 제공한 중룽이 관리하는 4개의 신탁 상품이 최근 중국 상장 기업 3곳에 1,400만 달러를 지급하지 못했습니다. 소셜 미디어에서 일부 개인 투자자들은 중룽이나 중룽의 거대 모기업인 중즈 엔터프라이즈 그룹의 다른 부서에서 제공한 상품에서 약속된 지급금을 받지 못했다고 말하며 당국에 신고했습니다. 두 회사 모두 이러한 의혹에 대해 공개적으로 대응하지 않았으며, 논평 요청에도 응답하지 않았습니다. 길거리에서 들은 이야기: 중국에 대한 어두운 전망은 위안화 약세를 의미할 수 있지만, 급락을 기대하지는 마세요. (읽기) https://www.wsj.com/finance/currencies/get-ready-for-a-weaker-yuan-50dfb196

<투자의 달인이기 이전에 장사의 달인이었던 워런 버핏> 1. ‘오마하의 현인' 워런 버핏은 역사상 가장 성공적인 투자자 중 한 명입니다. 2. (워런 버핏은) 2022년 3월 기준, 블룸버그 세계 최고 부호 순위에서 5위를 차지하고 있습니다. 부호 순위를 쭉 보면, 일론 머스크, 제프 베조스, 빌 게이츠 등 직접 창업을 하여 큰 부를 이룬 사람들이 대부분인데, 버핏이 투자 실력을 바탕으로 그 자리까지 올랐다는 사실이 놀랍습니다. 3. 1930년 네브라스카주 오마하에서 태어난 그는 펜실베이니아대학교 와튼 스쿨을 거쳐 컬럼비아대학원에서 벤저민 그레이엄으로부터 투자를 배웠습니다. 4. 1953년 그레이엄의 회사 ‘그레이엄-뉴먼 코퍼레이션'에 합류했다가 1956년 회사의 청산과 함께 본인의 펀드를 시작했습니다. ‘버핏 파트너십'으로 불린 이 펀드는 13년간 연평균 29.5%라는 엄청난 성과를 냈습니다. 5. (이후) 1969년 펀드를 청산하면서 펀드의 주요 재산이던 ‘버크셔 해서웨이'를 현물로 인수, 개인 최대주주 자리에 올랐습니다. (그리고) 버핏이 회사를 지배하기 시작한 1965년부터 2021년까지 버크셔 해서웨이의 주식 연평균 수익률은 20.1%로, S&P500의 10.5% 대비 9.6%p 초과수익을 냈습니다. 6. 1965년 S&P500에 1달러를 투자했다면 2021년말 302달러가 됩니다. (그런데) 같은 기간 버크셔 해서웨이에 투자한 1달러는 3만 6416달러 됩니다. 7. 워런 버핏은 훌륭한 투자자로서 성공을 거두었을 뿐 아니라, 이 사회가 건강하게 유지될 수 있도록 헌신해왔습니다. 1973년 ‘오마하 선'의 대주주로서 지역 공익 단체의 비리를 파헤쳐 퓰리처상을 수상한 바 있습니다. 8. 버핏은 11살 때 처음으로 주식을 매수하면서 투자자의 길로 들어섰습니다. 13살에 처음으로 세금 신고를 했습니다. 9. (그런데) 버핏은 6살 때부터 껌을 팔아서 돈을 벌었습니다. 9살 때에는 코카콜라를 팔았고, 신문배달을 하고, 잡지도 팔았습니다. 중고 골프공도 팔고, 미식축구 경기장에서 땅콩과 팝콘도 팔았습니다. 10. 10살 때 <1000달러를 버는 1000가지 방법>이라는 책을 읽고 복리의 마술을 깨달은 워런 버핏은, 35살에 백만장자가 될 거라고 선언했습니다. 11. 이듬해 그는 실제로 주식을 매수함으로써 복리 성장의 첫걸을 뗐습니다. 17살에는 회사를 설립하고 핀볼 기계를 설치하여 운영하는 사업을 했습니다. (즉) 버핏은 10대 때 이미 투자와 사업을 병행하며 돈을 모으고 경험을 쌓았습니다. 12. (그렇게) 버핏은 20살이 되던 1950년에 이미 1만 달러가량을 저축했고, 30살인 1960년에 재산 100만 달러를 모아서 11살 때의 선언을 5년 초과 달성했고, 35살이 된 1965년에는 3700만 달러를 소유했습니다. 이때 이미 미국 내 최고 부자의 반열에 올라섰지요. 13. (정리하면) 버핏은 유년기에 누구보다 빨리 돈과 사업에 눈을 떠서 재산을 모으기 시작했습니다. 청년기에는 펀드매니저로서 막대한 재산을 긁어모았습니다. 장년기 이후에는 지주회사의 경영자로서 일반적인 펀드매니저가 쓸 수 없는 방법으로 큰돈을 더 크게 불려갔습니다. - 홍진채, <거인의 어깨 1> 중

한 달 가까이 Llama2 70B H100/A100에서 생짜로 돌려보고 파인 튜닝도 해보고 양자화도 해보고 맥에서 돌려보고 등등등 갖고 논 결과 요약. 토크나이저가 한국어를 좀 많이 깨먹는 식으로 한국어를 정의하고 있어서 파인튜닝으로 한국어 성능을 끌어 올릴 수 있는 범위 한계가 명확함. 의외로 훈련 데이터가 충분치 않은거 같다는 생각이 듦. (repetitive output을 만들어내기가 쉬움.) 12B와 70B는 하늘과 땅 차이임. (34B 내놓아라~) Falcon 40B와 일대일 비교를 하면 느낌이 꼭 ChatGPT 3.5/4 비교하는 기분이 남. (천상 말고 지상에서.) 동시에 영어권에선 이정도면 ChatGPT 3.5에 기분상 비벼볼만하지 않나? 하는 생각도 든다. https://ksc23.talkativot.com 에 KSC 2023 기간동안 오픈해 놓는 중. 양자화 안한 Llama 70B-chat 및 래블업, 업스테이지 파인튠 모델들을 올려 놓았으니 직접 가지고 놀아보셔도 됩니다.

You might also see a lot of chat aggregators with their own UX.

Transformer Math 101 https://blog.eleuther.ai/transformer-math/

"What would someone need a personal computer for?" -> "What would someone need a personal LLM node for?"

Humans should focus on bigger problems. Human history is a story of capabilities and tools. New capabilities are rare. They're often discovered rather than invented. In the early ages, we got fire. In the 1800s, we got electricity. In the 1900s, we got computing. And in the 2000s, we are getting artificial intelligence. Tools are invented. They operate on a shorter timescale. They are how humans interact with our capabilities. They are about details and craft and enjoyment for their user, as well as expansion and nurturement and real-world applicability of their underlying capability. Tool builders take a capability and turn it into something useful and enjoyable to make the world better. We are tool builders. We're taking AI, and we're turning it into something useful and enjoyable to make the world better. Concretely, we're building Cursor. It's our attempt at a new way to write code. We're early, so don't expect too much. But it's the start of something that we think will both radically increase productivity and be immensely enjoyable to use. If we succeed, it will mean the reallocation of human intelligence toward greater and greater problems. We're excited. If you're excited too, please reach out to us at hiring@anysphere.co or read more about what we're looking for here. — Aman, Sualeh, Michael, Arvid, and the entire (tiny) Anysphere team 인간은 더 큰 문제에 집중해야 합니다. 인류의 역사는 능력과 도구의 이야기입니다. 새로운 능력은 드뭅니다. 발명되기보다는 발견되는 경우가 많습니다. 초기에는 불을 발견했습니다. 1800년대에는 전기가 생겼습니다. 1900년대에는 컴퓨터가 등장했습니다. 그리고 2000년대에는 인공 지능이 등장했습니다. 도구가 발명되었습니다. 도구는 더 짧은 시간 내에 작동합니다. 도구는 인간이 우리의 능력과 상호작용하는 방식입니다. 도구는 사용자를 위한 디테일과 기술, 즐거움뿐만 아니라 기본 능력의 확장 및 육성, 실제 적용 가능성까지 고려합니다. 툴 빌더는 하나의 기능을 더 나은 세상을 만드는 데 유용하고 즐거운 것으로 전환합니다. 우리는 툴 빌더입니다. 우리는 AI를 더 나은 세상을 만들기 위해 유용하고 즐거운 것으로 바꾸고 있습니다. 구체적으로는 커서를 만들고 있습니다. 새로운 코드 작성 방식을 시도하고 있습니다. 아직 초기 단계이므로 너무 큰 기대는 하지 마세요. 하지만 생산성을 획기적으로 높이고 사용하기 매우 즐거울 것으로 생각되는 무언가의 시작입니다. 이 시도가 성공한다면 인간의 지능을 더 큰 문제에 재분배할 수 있게 될 것입니다. 저희는 흥분됩니다. 여러분도 기대가 되신다면 hiring@anysphere.co 으로 문의하시거나 여기에서 저희가 찾고 있는 것에 대해 자세히 읽어보세요. https://www.cursor.so/ MIT 학생 4명이 만들고 있는 AI based IDE(Copilot과 경쟁하는 포지션)

NYT의 칼럼니스트 데이빗 브룩스의 이번 주 주말판 칼럼은 흥미롭고도 의미심장한 주제를 다루고 있다. 미국의 젊은이들이 점점 더 결혼을 안 하고 따라서 출생률도 저하되는 것이 미국에서도 우려되는 현상인 가 보다. 버지니아 대 브래드 윌콕스교수의 조사 자료에 의하면 18~40세의 성인 중 75%가 부자로 여유 있게 사는 것이 인생에서 가장 중요하다고 답했다고 한다. 결혼이 중요하다고 한 사람은 32% 뿐. 부모들도 마찬가지다. 퓨 리서치 센터의 조사에 의하면 88%의 부모가 자기 아이들이 재정적으로 독립하는 것이 인생에서 가장 중요한 일이라고 했다. 결혼이 매우 중요하다고 생각하는 부모는 21% 뿐이었다. 2006년에는 50%의 젊은이들이 결혼이 매우 중요하다고 답했는데, 2020년에는 29%만이 그렇다고 대답했다. 사회학자 앤드루 셜린의 용어를 빌리자면 그들은 결혼을 더 이상 주춧돌(corner stone)로 보는 것이 아니라 건물 꼭대기를 장식하는 갓돌(capstone)로 보는 것이다. 다시 말하면 성공적으로 커리어를 다 쌓은 뒤 마지막에 덧붙이는 화려한 장식이라는 거다. 이런 태도 때문에 미국의 결혼률은 급격히 떨어지고 있다. 1980년에는 40대의 6%만이 한 번도 결혼을 안 했는데, 2021년에는 40대의 무려 25%가 한 번도 결혼을 하지 않은 상태다. 그러나 시카고대 경제학과 교수 샘 펠츠먼은 지난 달 발표한 연구 논문에서 결혼이 ‘행복한 사람과 불행한 사람’을 결정해 주는 가장 중요한 구별요소(differentiator)라고 했다. 자신의 인생에 만족하다고 답한 사람 중 결혼한 사람이 결혼하지 않은 사람보다 30% 더 많았다는 것이다. 소득이 행복에 영향을 미치기는 하지만 그렇게 중요하지는 않다고도 했다. 윌콕스도 곧 발간될 ‘결혼하라’는 제목의 책에서 결혼의 퀄리티가 인생 만족의 가장 중요한 지표라고 말했다. 원만한 결혼 생활을 하는 사람들이 ‘매우 행복하다’라고 답한 비율은 결혼하지 않았거나 불행한 결혼 생활을 하는 사람들에 비해 545%나 높았다고 한다. 그는 이어서 “인생의 행복을 포괄적으로 살펴 볼 때 당신이 얼마나 교육을 많이 받았는지, 얼마나 돈을 많이 버는지, 얼마나 자주 성관계를 갖는지, 또는 당신 일에 얼마나 만족하는지 는 행복을 결정하는 데 중요한 요소가 아니다”라고 말했다. 결국 커리어가 아무리 훌륭해도 결혼 생활이 불행하면 그 인생은 불행한 것이고, 커리어가 시원치 않아도 결혼 생활이 행복하면 그건 행복한 인생이다, 라고 데이빗 브룩스는 결론짓는다. 판에 박힌 진부한 이야기일지 몰라도 이건 자명한 진실이라면서. 우리나라의 출생률 저하 문제도 이런 식의 접근이 필요하지 않을까. 한국의 많은 부모들도 자녀들에게 결혼은 중요하지 않아, 커리어가 더 중요해, 이렇게 말하고 있지 않은가.

Private Credit Explained In Just 3 Minutes (Cheat Sheet) 🤯 So what is it? Private credit is a type of debt financing provided by non-bank lenders, allowing smaller to mid-sized companies to access funding. It is not traded or issued on public markets and is typically unrated and illiquid. What are the main types of Private Credit strategies? • Direct lending = loans made directly from lenders to support growth, acquisitions, refinancing • Venture debt = loans to venture-backed companies by a specialized financier • Distressed & special situations = Troubled companies at a discount, usually on the secondary market • Mezzanine = Subordinated between debt and equity usually with embedded equity instruments Who are some of the biggest private credit funds? Ares Management Corporation, Oaktree Capital Management, L.P., The Carlyle Group, Blackstone, Sixth Street, Bain Capital. Why do investors allocate to private credit? • Income generation • Resilience • Reduction in price volatility • Return enhancement (illiquidity premium) • Diversification How big is the private credit market? • The market has surged from around $500 billion in 2015 to approximately $1.5 trillion today. Why has the market got so big? • Banks pulling back from lending (banking crisis) • Low rates pushing investors to seek higher yields • Floating rate nature (direct lending) mitigates risk when rates rise

Bay Area 에 거주하며 가장 만족하는 것은 '다름'을 신경 쓸 필요가 없는, 그래서 너무나도 '단조로운 삶'이다. 옷은 파타고니아 2~3벌, 룰루레몬에서 산 바지 2~3개, 올버즈 신발 1~2개면 충분하다. 편하고, 기능적이고, 무엇보다 다들 그렇게 입기에 어떤 상황에서든 유사 복장을 착용해도 된다 (IR 할 때에도, 유저를 만날 때에도, 팀과 미팅을 할 때에도, client 를 만날 때에도, 발표를 할 때에도 말이다) 차도 전 세계에서 평균 소득 대비 가장 기능적인 선택을 하는 지역이지 않을까 싶다. 사람을 만나 대화하는 공간도 선택지가 단조롭다. 주변에 뭐 먹고 마실때가 많지 않기도 하다. 그래서, 회사 내 카페 (Ringle 이 위치한 wework 내 공간) 또는 블루보틀, 필즈커피, 스타벅스, 쿠파카페 등 이용한다. 어디서 어떻게 만날지 고민을 덜 하는 것 같다. (개인적으로는 스탠포드 내 GSB 나 Green Library에 있는 쿠파에서 이야기 할 때가 가장 좋다) 그리고, 꽤 많은 시간을 사람과 만나 대화하는데 사용하는데, 그 대화와 고민의 중심은 '나' 와 '너', 그리고 '우리 (가족이 될 수도, 팀/회사가 될 수도, 지역사회가 될 수도, 유저가 될 수도...)'에 집중된 듯 하다. 그래서, 사람들이 어떤 고민을 하는지, 어떤 unmet needs 가 있는지, 어떤 문제들에 둘려쌓여 살아가는지 들을 수 있다. (덤으로 Bay Area 에 있으면, 한국에서 많은 분들이 출장/여행으로 방문하기에, 한국에 있을 때 대비, 한국에 거주 중인 지인/유저를 더 많이 만날 수 있는 아이러니함이 있다. 여기에 방문하는 분들과는 한국에서 대비 더 솔직한 대화를 나눌 수 있어 여러모로 좋다) 개인적으로는, 즐길거리가 풍성한 도시의 삶 보다는, 일과 가족에 집중할 수 있는 삶을 선호하기에, 위와 같은 이 곳 분위기가 잘 맞는 듯 하다. 혁신과 좋은 제품은 '선택과 집중'에서 나오고 '단조로움'에서 나온다고 생각하는데, 그래서 이 곳 주변에 세상의 주목을 받는 기술과 회사들이 많이 나오는 것이 아닐까 싶다. 더 많은 분들이 이 곳에 오면 좋겠다.

https://youtu.be/gySlUPJMr40 전통적인 검색 엔진의 3가지 역할 - 내비게이션(AI 필요 없음) - 정보 제공(동일) - 연구(예! 여기 에이전트) 하지만 제너레이티브 AI에서 새로운 행동이 자연스럽게 나온다는 점이 마음에 듭니다(제 해석): - 대화/감정 지원 - 이미지/예술/(오디오) 생성 - 코드/기술 생성

was going over this old @yusuf_i_mehdi interview and found this segment interesting. 3 traditional search engine roles: - navigation (no need for AI) - informational (ditto) - research (yes! agents here) but i love that new behaviors naturally emerged from generative AI (my interpretation): - conversation/emotional support - image/art/(audio) generation - code/skill generation I like thinking of AI product opportunities often as unbundling search, but imo the real blue ocean is in doing things we never asked search to do.

My notes from Poor Charlie's Almanack: The Wit and Wisdom of Charlie Munger turned into maxims: 1. Find a simple idea and take it seriously. 2. Good ideas are rare. When you find one bet heavily. 3. Humans have been writing down their best ideas for 5,000 years. Read them. 4. Avoiding stupid mistakes is more important than being smart. 5. Don’t work with anyone you don’t admire. 6. Don’t sell anything you wouldn’t buy. 7. Avoiding a bad habit is easier than breaking a bad habit. 8. Work on your best idea. Don't diversify 9. Incentives rule everything around you. Look for them. 10. Great businesses are built by going ridiculously far in maximizing or minimizing one or a few things. Think Costco. 11. Learning is changing behavior. 12. Do the unpleasant tasks first. 13. Charlie has read hundreds of biographies. Do the same. 14. Stop multitasking. Concentrate. 15. Many hard problems are solved best when approached backwards. 16. Think of ideas as tools. When a better tool comes along use it. 17. Clip your business and personal expenses. Small leaks sink big ships. 18. Make friends with smart dead people. Adam Smith, Darwin, Cicero, Ben Franklin —whoever interests you. Read their writing. Steal their ideas. They don’t need them anymore. 19. Don't confuse intelligence with invincibility. 20. Bad things will happen to you. It’s inevitable. When they do get up and keep going and remember the next maxim. 21. Self pity has no utility. 22. Find out what you are best at. Then pound away at it. Forever. 23. Only plays games where you have an edge. 24. Avoid mob rule. Avoid demagogues. Avoid dogma. Avoid bureaucracy. 25. Optimize for independence. 25. Use money to buy freedom. 26. Develop durability. 27. What do you have an *intense* interest in? Do that for money. 28. Self improvement has no end.

Thiel suggests that the emphasis on diversity can sometimes distract from more important issues and redirect our attention away from them. The first is the decline of science and technology, which he argues has been stagnant due to the focus on humanities and the lack of questioning in the sciences. Thiel also mentions the distraction from economic issues such as inequality and stagnant economic growth caused by the intense campus and culture wars. He further suggests that diversity serves as a substitute for religion and squeezes out important religious questions. Lastly, Thiel argues that politics itself might be a distraction, and the concept of political correctness could be a way to divert attention from communism and the influence of the CCP. He points out that many fields, such as engineering, were not progressing quickly and had limited opportunities for innovation. Computer science, on the other hand, became a successful field due to its adjacency to the internet and the ability to quickly reach the frontier of innovation. He also argues that diversity and woke ideology may be distracting us from bigger economic issues, such as distortions in real estate that lead to economic injustice. Thiel proposes a Georgist economic analysis, emphasizing the correlation between rising rents and the proliferation of identity politics, suggesting that trillions of dollars may be at stake for urban landlords. success of tech companies, the average person may feel like an insignificant part of a larger machine, leading to frustration. Furthermore, the increasing unaffordability of housing in Silicon Valley contributes to this sentiment. Thiel suggests that the phenomenon of workplace politics may be a distraction or substitute for the original purpose and vision of these tech companies. However, he points out that woke ideology lacks forgiveness and assumes an absolute sense of who the victims are, whereas Christianity recognizes the fallibility of all individuals. Thiel concludes by outlining different responses to grappling with the dark history, including the temptation to dismiss it entirely, the desire to punish those responsible, and the need to find a middle ground.