Continuous Learning_Startup & Investment

1. 스타트업의 본질은 확장(scale-up)과 성장이다. 2. 확장을 위해서는 확장을 막고 있는 병목 지점을 밝혀내고 해결하는 일련의 과정이 끊임없이 계속되어야 한다. 3. 지난 수십 년 간 개발자는 기술을 통해 이 병목들을 없애는 역할을 했다. 그러기에 큰 비즈니스 임팩트를 만들고 억대 연봉이 가능했다. 에고가 높은 이들을 다루기 위해 엔지니어링 매니저도 필요했다. 4. 하지만 이제 개발자가 사업 확장의 병목이 되어가고 있음을 여러 곳에서 보고 있다. 개발자의 역할이 더 높은 레이어로 재정의되거나 대체될 것이다. 5. 이제 자의건 타의건 "고도로 발달한 개발자는 창업자와 구분할 수 없다"로 가게된다. 6. 분업화 시대에서 좁은 사고를 하는 사람은 종합적 사고를 하는 사람이 시키는 일을 한다. 종합적 사고를 하는 사람도 더 넓은 종합적 사고를 하는 사람이 시키는 일을 한다. 7. 습관적으로 앞으로 어떻게 변해갈지 예측해보고, 오늘 이미 와있는 미래를 발견하고, 너드와 부자를 관찰해 교집합을 찾고, 그러다 적절한 베팅을 할 것.

이사회의 엄청 큰 실책이자 AI 산업에 있는 스타트업들에게는 희소식이 되려나요. 반대로 AI Hype이 꺼졌다는 신호탄이 될까요?

Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.

In a statement, the board of directors said: “OpenAI was deliberately structured to advance our mission: to ensure that artificial general intelligence benefits all humanity. The board remains fully committed to serving this mission. We are grateful for Sam’s many contributions to the founding and growth of OpenAI. At the same time, we believe new leadership is necessary as we move forward. As the leader of the company’s research, product, and safety functions, Mira is exceptionally qualified to step into the role of interim CEO. We have the utmost confidence in her ability to lead OpenAI during this transition period.” OpenAI’s board of directors consists of OpenAI chief scientist Ilya Sutskever, independent directors Quora CEO Adam D’Angelo, technology entrepreneur Tasha McCauley, and Georgetown Center for Security and Emerging Technology’s Helen Toner. As a part of this transition, Greg Brockman will be stepping down as chairman of the board and will remain in his role at the company, reporting to the CEO.

Thai cosmetics brands seek fans abroad with budget-friendly items Thai cosmetics companies are pushing further into Japan and other Southeast Asian markets, following in the footsteps of South Korean and Chinese players with a similar small-but-affordable strategy. Read more here

Europe faces hurdles in breaking free of China EV supply chain As Europe tries to cut its Chinese dependence for electric vehicles, U.K. battery makers' financial woes highlight the profound challenge the region faces in building its own supply chain. Read more here

<오늘 하루를 열심히 살아야, 내일이 보입니다!> 1. 나(=이나모리 가즈오)는 교세라를 창업한 이래 줄곧 1년 단위로만 경영 계획을 세워왔다. 2. 3년 또는 5년 후의 일은 정확히 예측하기 어렵지만, 1년 후의 일이라면 그나마 틀리지 않게 전망할 수 있기 때문이다. 그래서 나는 1년간의 경영 계획은 어떻게든 달성하기 위해 노력했다. 3. “오늘 하루를 열심히 일하고 나면 내일이 보이고, 이번 한 달을 열심히 일하고 나면 다음 달이 보인다. 그렇게 올해를 열심히 일하면 내년이 보인다”, 이런 식으로 생각하고 매일의 목표와 월별 목표, 그리고 연간 목표를 꾸준히 달성하기 위해 노력에 노력을 거듭했다. 4. (빅 피처를 강조하는) 경영 컨설턴트들은 나에게 “그런 방식으로는 큰 사업을 할 수 없다”고 입을 모아 말했다. 하지만 나는 (이에 굴하지 않고) 매년 1년간의 구체적인 목표를 세우고 그것을 수행하고 작업이 완료되면, 또 다음 해의 명확한 목표를 세웠다. 5. 그렇게 철저하게 목표를 이루고 우직하게 실천해오면서 사업을 해마다 성장시켜왔다. 이처럼 교세라는 애벌레처럼 성장한 기업이다. 6. (또한) 내가 장기 계획을 세우지 않은 이유 중 하나는, 어설픈 장기 계획은 비용 낭비만을 부르기 때문이다. 7. (거의 모든 계획에서 수익은 예상만큼 늘지 않은 경우가 대부분이지만, 비용은 계획만큼 무조건 쓰게 되고, 심지어 비용은 계획보다 더 쓰게 되는 경우도 많다) 8. (즉) 장기 계획을 세우면 비용은 계획대로 증가하지만, 수입은 그에 맞춰 늘지 않은 경우가 발생한다. 9. (그래서 아름다운 장기 계획을 세우고, 이에 따라 신나게 비용을 쓰다가, 계획대로 이익이 발생하지 않아 사라진 기업은 부지기수다) 이 때문에 나는 장기 계획을 세우지 않기로 했다. 10. (그 대신 매년 살아남기 위해, 조금이라도 더 성장하기 위해 치열하게 노력했다) - 이나모리 가즈오, <마지막 수업> 중 #SomewonYoon https://www.facebook.com/100000921646788/posts/pfbid0UfDvhM87vCbpt89EZoVjmCGS7Aempjc7SxZqKP7eraBbed7ykYBsZdw3tqzv69KMl/?mibextid=ydkPgX

[LLM에 있어서 비싼 고성능 칩을 사용해야 결국 저비용, 저전력으로 연결된다] nvidia를 비롯해서 AMD, 인텔 등은 점점 더 고성능 스펙을 지원하고 이를 위해, 더 빠른 메모리, 더 막대한 계산 유닛을 넣어서 칩당 가격을 더 높이고 있습니다. 덕분에 LLM은 반대로 더욱 저렴한 가격, 저전력으로 서비스가 가능합니다. 반도체를 목적이 아닌 AI를 위한 도구로 보아야 이 도구가 결국 알고보면 비싼 것인지 결국 싼값에 잘 사고있는 것인지가 결정이 될텐데요, nvidia만 하더라도 칩당 단가는 올라가지만 결국 서비스 비용이 저렴해지고 있습니다. 즉 "nvidia가 시장에서 각광을 받는 이유는 전체 비용이 가장 저렴하기 때문"이라고 볼 수 있습니다. 간혹 GPU는 너무 비싸고 너무 전력을 많이 먹는다고 문제제기를 하는 경우가 많은데, 반대입니다. 회사 입장에서는 가장 전력을 덜 먹고 가장 싼 솔루션을 사용할 수 밖에 없고, 이 점에 있어서 nvidia가 독점이라고 생각합니다. AI 반도체를 진정한 도구로 본다면 어떤식으로 AI 반도체가 발전하고 있을까요? 1. 메모리 용량이 커져야 한다 --> 저비용, 저전력의 핵심 GDDR부터 이어지는 (1:1 컨트롤러와 메모리 구성의 스펙기반) 메모리 기술은 메모리 bandwidth(처리속도)를 높이기 위해 메모리 용량(capacity)을 희생했다고 볼 수 있습니다. 그래서 PC에서 사용하는 DDR에 비하면 용량이 작습니다.. 용량이 작으면 모델 사이즈가 커질수록 여러개의 반도체를 사용해야 합니다. 이러면 정말 문제가 커지는데요..... 2. 여러개의 반도체를 사용해야 서비스가 가능하다? --> chip-to-chip 통신 비용 문제 발생 NVLink같은 고성능의 chip-to-chip 통신이 있지만 그래도 HBM 같은 메모리에 비하면 몇배 느립니다. 반면 전력은 굉장히 많이 먹죠. 여러개의 칩을 사용하면 그래서 속도도 느리고 전력도 더 많이 먹게 됩니다. 결국 메모리 용량이 큰 반도체일수록 하나의 칩으로 지원가능한 모델 사이즈가 커지기 때문에, 초거대 AI 모델로 갈수록 하나의 칩이 (비록 단가는 비싸더라도) 얼마나 많은 메모리를 가지고 있는지가 중요해집니다. 조금 싼 칩을 여러개 쓰는 것보다 강력한 칩 하나를 쓰는 것이 결국 저비용 저전력으로 이어지게 됩니다 3. 메모리 속도도 빨라야 한다 모델 크기는 점점 커지기 때문에 주어진 시간에 읽어들여야할 데이터 양도 급격히 증가하고 있습니다. 모델을 쪼개서 여러개의 칩을 써야하는 것은 위에서 서술한 메모리 용량 뿐 아니라, 메모리 속도가 부족할때도 발생할 수 있습니다 (여러 칩이 동시에 메모리를 읽어내는거죠.. 물론 이때도 칩간 통신이 발생을 합니다) 그래서 메모리의 속도와 용량은 결국 초거대 AI 모델을 구동하기 위해 몇개의 칩을 써야하는지를 결정하는 요소가 됩니다. memory wall이라는 문제 때문이라도 (즉, 메모리는 공정이 발전함과 별개로 성장하고 상대적으로 발전속도가 느림) 이 문제는 점점 더 커지고 있습니다. 메모리 기술은 5nm, 3nm, 이런 공정 발전과 별개로 초고속 회로 기술의 발전, 아날로그 회로 기술의 발전에 연동되고 패키지 기술과 밀접한 관련이 있어서 아무래도 공정기술 발전속도를 따라가지 못해서 점점 더 메모리에서 관련 문제점들이 나오기 마련입니다. 4. 비싸지만 초고성능 칩을 쓰는 것이 그래서 결국 저비용 저전력의 핵심이 된다 전에도 한번 공유드린 적이 있지만, 옮겨야 할 모래가 10만톤 있다고 할 때 30톤 트럭과 1톤 트럭을 이용한다고 할 때 어떤 도구가 더 저렴한 것이라고 볼 수 있을까요? 단연 30톤 트럭 효율이 훨씬 좋고 전체 비용도 저렴합니다. 그래서 LLM 시장에서는 더욱 더 강력하고 빠르고 큰 칩을 원하고 있고 이것은 성능 때문일수도 있지만 결국 저비용으로 연결되기 때문입니다. 많은 경우 칩 하나만을 보고 비싸다, 전력을 많이 먹는다 등등의 메세지를 전달하기도 하지만, AI 서비스를 본다면 어떤 칩을 쓰는 것이 결과적으로 어떤 비용을 가져오는 지는 큰 그림에서 보아야한다고 생각합니다. AI에 있어서 반도체는 목적이 아닌 도구로 봐야한다는 메세지 전달드려봅니다. 그래야 최근 발표되는 AI 반도체들에 대해 적절한 평가가 가능하지 않을까 싶습니다.

To do this, Martian trained a model on prompts and their corresponding outputs from different large-language models. In doing so, the model was able to learn what kinds of tasks certain LLMs can handle better than other models. For instance, Upadhyay and Ginsberg found that Anthropic’s Claude 2 model can understand foreign languages better than OpenAI’s GPT-4, they told me. Though startups that help developers evaluate the performance of AI models already exist (one example is Autumn8, which has raised $2 million in funding from Sage Hill Investors), there are few rivals who do that and then route requests to different models in real time based on those evaluations. So the biggest threat to Martian will likely not come from other young startups, but from cloud providers such as Amazon Web Services or model hubs like Hugging Face that could develop a similar service. They also have deep pockets and a multitude of AI developers as customers. Martian is still small, but its model-routing system has handled as many as 1 million requests per day, Today, Martian’s customers receive $10 in free model routing credits, with the startup taking a 20% fee on top of each additional request beyond those. (And contrary to what you might think, Martian still imposes a fee for “free” open-source models since they require computing resources to run on.) https://www.theinformation.com/articles/nea-leads-funding-of-startup-that-helps-customers-cut-ai-costs-a-chinese-startup-seizes-on-metas-open-source-llama-model?rc=ocojsj Model Aggregator는 General한 모습으로도 나오지만 Specific한 Task를 잘 수행하기위해서 여러 모델을 잘 쓰게 도와주는 그러면서 비용은 적절한 수준으로 유지하는 서비스들도 나오고 있다.