Continuous Learning_Startup & Investment

"Successful people create companies. More successful people create countries. The most successful people create religions." I heard this from Qi Lu; I'm not sure what the source is. It got me thinking, though--the most successful founders do not set out to create companies. They are on a mission to create something closer to a religion, and at some point it turns out that forming a company is the easiest way to do so. In general, the big companies don't come from pivots, and I think this is most of the reason why. https://blog.samaltman.com/successful-people

우리가 너무 ‘느리다’는 생각과 너무 ‘급하다’는 생각이 공존하는 경험을 해보신 적 있으신가요? 저는 종종합니다. 두 생각이 표면적으로는 상충되어 보이지만 실은 동일한 상황의 앞뒷면이라는 것도 최근에는 깨달았습니다. 바로 다음과 같은 상황들이요: - 저렴한 동시에 의미있는 실패를 하고 있지 못하다. - 움직임은 많지만 앞으로 나아가고 있지 않다. - 조급함으로부터 ‘열심히/많이’ 하지만 결과적인 임팩트는 미미하다. - 결과에 대한 성패를 판단하는 준거가 충분히 명확하지 않다. 해결을 위해서는 여러 고민이 복합적으로 필요할텐데 (목표의 방향성, 목표가 동기화되는 체계, 팀으로서 일하는 방식, 의사결정구조 등) 그 중 최근에는 그만둘 때와 밀어붙일 때를 구분하여 알아차릴 수 있는 ‘팀의 직관’에 대해 많이 생각하게 됩니다. 이 직관을 돕는 장치들을 소개한 글을 발견한지라 공유합니다. 가볍게라도 내면의 자신과, 그리고 팀과 대화하는 데 도움이 되셨으면 합니다. 다음은 특히나 제게 도움이 된 내용의 일부: - Don’t allow sunk cost to decide: 매몰비용이 결정의 주된 기준이 되게끔 하지 마세요. - Do you see yourself doing this in 12 months? If not, you might as well stop now: 12개월 뒤에도 ‘그것’을 하고 있을 것이라 보시나요? 아니라면 지금 멈추세요. - Would my time be spent better trying a new project?: 신규 프로젝트를 시도할 때 우리의 자원이 덜 아까우리라 생각되진 않나요? - Are there smaller wins you can achieve along the way?: 이 여정을 따라가면 어쨌건 작은 성공들이나마 기다리고 있나요? - Often I already know deep inside, but just don’t want to admit it to myself.: 마음 깊숙이 이미 답을 알지만 단순히 인정하고 있지 않은 것뿐일수도요. - If you now have more information to assess the credibility of that why, re-assess.: 프로젝트 시작 당시보다 더 많은 정보를 갖게 되었다면 프로젝트의 당위를 재진단하세요 https://www.linkedin.com/posts/%EC%83%88%EB%B2%BD%EB%84%A4%EC%8B%9C%EA%B9%80%EA%B2%BD%EC%9D%80_stubborn-visionaries-pigheaded-fools-activity-7185480830121639938-SlPr?utm_source=share&utm_medium=member_ios

HubSpot's a pretty big company (~8,000 people) but we've managed to avoid this death spiral. Things that have helped: 1) Small teams with high autonomy 2) Hold regular "science fairs" where teams show off what they *shipped* 3) Closely connect our product team to customers, so they can hear needs first hand 4) Have a culture that prioritizes *value* delivered to the customer 5) Have founders that use the product regularly and are perpetually impatient. 😀 —— Startup vs Big Company Dynamics Startup • Observation: Users want a new feature. • Designer (60 min later): Here are some figma prototypes. • Engineer: We can ship this by the end of the week. Big Company: • Observation: Let’s discuss our observations when Suzy’s back; targeting end of month. End of Month: Bob should really be in this meeting, let’s reschedule. • Meeting: Users want this feature. We’ll need Jessica's buy-in. • Jessica Meeting: Presented six weeks of research for the new feature. • Jessica: This can fit into our H2 planning. • H2 Kickoff: Remember users want this feature? • Product Manager: Will draft a product brief that will be ready for H2's second cycle. • Designer: Drafted designs in Figma, ready for the next review. • Design Review: Why this feature? Should we prioritize X instead? • Outcome: Feature sidelined. Cycle repeats. Note This isn’t subtweeting but the reality of software development at scale. Whether you're a startup or a big company, it’s crucial to streamline to avoid this. Success breeds complexity, but no startup is immune.

https://twitter.com/i/status/1782784338238873769 사람들의 행동을 바꾸는 것은 큰 가치를 인정받을 수 있군요. 정보 검색을 도와주는 AI product Perplexity $1B 투자 유치, 연 $8m 매출.

The Ultimate Wisdom From a Billionaire on Escaping a Prisoner Mind I used to only work for financial freedom & I felt stuck. But it is a prisoner mindset anyone can change. What is preferable can be pleasurable.

김은숙으로 살면 행복할 것 같나요? 아니요, 전혀 그렇지 않았어요. 제가 그렇게 말하면 사람들은 성공했는데 왜 행복하지 않냐고 그래요. 그럼 성공하면 행복만 할까요? 아니라니까요. 최근에 드는 생각은 저는 쉬는 법을 모르는 것 같아요. 한 작업이 끝나면 좀 쉬어도 되거든요. 그런데 저는 늘 책상 앞에 앉아 있어요. 무언가를 끊임없이 봐요. 드라마, 영화, 다큐를 보고 리뷰나 아이디어를 메모합니다. 작가상을 받고 수상소감에서도 말씀드렸는데 드라마 작가가 된 후, 단 하루도 퇴근한 적이 없었던 것 같아요. 돌아보니 괴롭더라고요. 단 하루도 마음 편한 날이 없었어요. 제일 이해 안 될 때가 한 20대 중반, 30대 초반 친구들이 ‘저는 재능이 있는지 잘 모르겠어요’라고 할 때예요. 그럼 재능이 없는 거예요. 재능이 있으면 모를 수가 없어요. 어떻게든 재능이 비집고 나와요. 주변에서 다 알아보고요. 너는 글을 잘 써, 너는 노래를 잘해, 달리기를 잘해. 그렇게 백번 넘게 들어봤어야 합니다. 한 번도 못 들어봤는데 혼자 몰래 글을 쓰고 싶었다? 그럼 재능이 없는 거예요. 빨리 그만둬야 합니다. (그런데 애매한 재능도 있잖아요?) 그럼 제가 하는 방법을 써야 해요. 엄청나게 노력해야죠. 김은숙 작가는 글에 남다른 재능이 있었지만, 어려운 가정형편으로 고등학교를 졸업하기도 전에 대학을 포기하고 집안의 생계를 위해 취직했다. 가구공장에 취직해 일을 하고, 책을 읽었고, 그러다 스물일곱에 좋아하는 작가 신경숙의 모교인 서울예대 문창과에 진학해 소설을 쓰고, 대학로에서 희곡을 썼다고 알려져 있다. 하루하루 성실하지 않았다면 그녀의 이력 그 어떤 것도 불가능했을 터. 결핍과 열정, 꿈이 있어 달려온 길이었다면 지난한 드라마 집필의 시작과 끝 어드메서 잠시 멈춰 쉬어도 되었을 일. 그러나 그녀는 결코 쉬지 않았다. 오전 7시에 잠들어 오후 3시에 일어나 후배 작가들과 이야기를 나누고, 저녁을 먹은 후, 오후 7시면 어김없이 혼자 책상에 앉았다. 그리고 다음 날 아침 7시까지 꼬박 12시간. 강행군도 이런 강행군이 없다. 그새 다른 일을 하는 것도 아니다. 저녁 약속이라거나 외출도 거의 없다. 할 줄 아는 것보다 못하는 일이 훨씬 많다. 그저 그 자리에 앉아 있지 않으면 불안했던 이유도 있지만, 한편으로는 그 자리가 가장 편했다. 저는 일할 때가 제일 재미있어요. 다른 건 할 줄 몰라요. 배달 앱으로 음식 주문하는 법도 최근에 배웠어요. 휴대폰으로 금융업무를 보기 전에는 은행이나 관공서에 직접 가야 했잖아요. 갈 때마다 주눅 들고 떨렸어요. 예전 기억 때문인 것 같은데, 엄마가 학교에 다닌 적이 없었어요. 그러니 제가 초등학생이 되자마자 저를 데리고 은행 업무를 보셨어요. 엄마도 절실하셨겠죠. 도움받을 곳이 저밖에 없었을 테니까요. 어린 나이에 엄마가 저만 믿고 있으니 얼마나 긴장을 했겠어요? 그때 무서웠던 게 아직도 남아있어요. 김은숙 작가가 단호하게 덧붙였다. “사람들은 제가 20년쯤 했으니 어느 날 문득 영감이 떠오를 거라고 생각하는데, 절대 아.닙.니.다!” 옆에서 보조작가가 거들었다. “저희 중 누구도 선생님보다 오래 책상에 앉아 있을 수는 없어요. 캐릭터를 만들 때 경우의 수를 두잖아요. 저희가 사흘 걸릴 일을 순식간에 해답을 내놓으세요. 타고났는데 너무 열심히 하시니 따라갈 수가 없어요. 사실 그래서 가끔은 좀 분하다니까요!” 성공했다고 고비가 없는 게 아니라니까요. 매 순간이 힘들어요. 이전 작품이 성공해도 저는 매번 다음 작품으로 제 실력을 인정받아야 했어요. 행운이다, 요행이다, 이런 시각도 있었고요. 더 크게 성공해야 내 실력을 인정해 줄까, 매번 저를 증명해 내려고 아등바등했어요. 떠밀린 것도 있는 것 같고, 떠안은 것도 있는 것 같고, 저에 대한 평가가 유난히 박한 것도 있는 것 같고, 억울할 때도 있는 것 같고··· 그러니 오전에 좋았다가 오후에 울고 그런다니까요. 다들 부러워하시는 것도 알고, 무슨 걱정이냐 하실 것도 알죠. 저 스스로 만족은 있지만 그게 오래가진 않는 것 같아요. 가끔 그런 생각 들어요. ‘나는 언제 새 옷 좀 입어보나? 왜 일 년 365일 같은 트레이닝복을 입고 있지?’ 세 벌 가지고 돌려서 입는데, 어느 날 영상 통화를 하다가 딸이 그래요. “엄마, 안 씻어? 왜 옷이 똑같아?” 그냥 책상과 의자에 묶여있어요. 하루도 그 자리에 앉지 않은 날이 없어요. 욕심이 있어서 그럴 수 있어요. 왕관의 무게를 물어보셨죠? 계속 왕관을 쓰고 싶으니까요. 저는 사실 운이 좋았어요. 작정하고 쓰기 시작한 지 3개월 만에 첫 작품이 나왔고, 그 후로는 제가 하고 싶을 때 했으니까요. 그럴 수 있었던 이유가 뭘까 생각해 보면 각색이 아닌 오리지널을 썼기 때문이 아닐까 싶어요. 요즘 웹툰이나 웹소설 기반의 각색 드라마를 많이 하는데, 당장은 달콤하겠지만 저는 시작부터 자기 것을 해야 한다고 생각합니다. 첫 단추가 되게 중요한데, 각색을 하게 되면 자기 작품을 더 못 쓰게 됩니다. 자기 것 쓰는 거, 당연히 힘들죠. 게다가 원작 핑계를 댈 수 있다는 게 얼마나 큰 방패겠어요. 그렇지만 잘되면 원작이 탄탄했다 하고, 못되면 각색 작가가 욕을 다 먹어요. 좀 힘들더라도 내 것을 연구해서 내 색깔이 분명한 내 작품을 내놔야 합니다. 저는 정말 백번 수정해요. 책상에 앉아 하루 12시간씩 하는 일이 뭐겠어요. 쓰고, 수정하고, 쓰고, 수정하고, 또 쓰죠. 넷플릭스나 유튜브를 볼 때 ‘김은숙 님 취향에 맞는 드라마’라며 제 드라마가 추천작으로 뜰 때, 재밌어요. 제 드라마가 과분하게 사랑을 받았고, 그래서 인정도 받았고, 그럼 그만큼 해야죠. 가능한 한 책상에 오래 앉아 있고, 오래 고민하는 것. 저는 그게 제가 할 일이라고 생각해요. http://www.ktrwawebzine.kr/page/vol217/01.html?fbclid=IwZXh0bgNhZW0CMTEAAR3F3Q8_HXMp_upMRXVtLsDSdarY5eqBBTZ8Yn4WfxsINqsoN4Jpa-ehcgg_aem_AULh77D66Fvun3CcKDit22yZqr-izp_KV5cunTlMG0szUrO9Njy9vjXk5AeO9ocfEitRNA4XO2NkvOiQmCAYVfOQ

AI 에이전트가 기업 운영에서 의미 있는 역할을 수행함에 따라 IT 기능의 성격이 변화하여 현재보다 훨씬 더 전략적인 역할을 수행하게 됩니다. 오늘날 IT는 기업의 기존 작업자나 워크플로우를 위한 소프트웨어를 지원하는 데 집중하는 경우가 많습니다. 미래에는 기업에서 IT 부서에 지적 인력을 공급하는 역할도 맡길 것입니다. "엔지니어가 제품을 만드는 데 도움이 되는 소프트웨어가 필요해요"라고 말하는 것이 아니라 "제품을 엔지니어링하는 데 소프트웨어가 필요해요"라고 말하기 위해 IT 부서에 간다고 상상해 보세요. 향후 몇 년 후에는 기업의 운영을 강화하기 위해 돌아다니는 에이전트를 관리하는 'AI를 위한 Workday'도 상상할 수 있습니다. 그리고 이것은 시작에 불과합니다....

The next big breakthrough in AI is AI Agents. This is when AI goes from being used as an assistant to chat with, to using AI to accomplish complete tasks that a human might otherwise have to perform. This moves AI from being a "read-only" operation to fundamentally a "read/write" operation. Ultimately, this brings us much closer to the full promise of AI, in particular in the enterprise, where AI can begin to complete any part of a workflow, and we're already seeing examples today of Agents that write entire software applications or respond to customer support tickets. Today, in many ways Agents are where cloud computing was in 2007; that is to say, very early. When you extrapolate this trend out over a decade, we can start to imagine what an entirely different enterprise operation might look like. We can easily picture having highly proficient Agents available for every function in an organization, enabling important work to get done far faster than today. The impact of Agents on the enterprise really has no limit, but 3 big implications stand out to me: 1. Businesses of all sizes will have access to resources and specialized skills that they wouldn't otherwise tap into. Bill Joy, the cofounder of Sun Microsystems, famously said "no matter who you are, most of the smartest people work for someone else." Especially for smaller companies, this has always been a disadvantage. Your larger competitors will always be able to tap into a talent pool that you can't afford or access. Whether it's specialized legal support, or scaling a sales team, AI Agents will enable companies of all sizes the same access to resources that were once only the privilege of a large organization. 2. Companies will be able to re-allocate energy and talent to increasingly more differentiating and higher impact work. We know that for various parts of a company, our time is wasted with tasks that computers *should* be remarkably good at solving, but just haven't been able to today. As AI Agents become more robust, many of these activities that we drain our time on can be automated, and we can repurpose time and energy to driving more innovation, getting closer to our customers, better supporting customers, and more. 3. As AI Agents play a meaningful role in the operations of a company, this changes the nature of the IT function, making it even more strategic than today. Today, IT is often focused on enabling software for existing workers or workflows in a company. In the future, a company will go to IT for supplying intellectual horsepower as well to the enterprise. Imagine going to IT not just to say "I need software to help my engineers build my product" but instead, "I need software to engineer my product". You can squint and picture in the coming years even a "Workday for AI" where you manage Agents that are running around augmenting the operations of a company. And this is just the beginning.... AI의 다음 큰 혁신은 AI 에이전트입니다.이는 AI를 채팅을 위한 보조 도구로 사용하는 것에서 나아가 사람이 수행해야 하는 완전한 작업을 수행하는 데 AI를 사용하는 것입니다. 이는 AI를 '읽기 전용' 작업에서 근본적으로 '읽기/쓰기' 작업으로 전환합니다.궁극적으로 이는 AI가 워크플로우의 모든 부분을 완료할 수 있는 AI의 완전한 잠재력에 훨씬 더 가까워질 것이며, 특히 기업에서는 이미 전체 소프트웨어 애플리케이션을 작성하거나 고객 지원 티켓에 응답하는 에이전트의 사례를 볼 수 있습니다. 오늘날 에이전트는 여러 면에서 2007년 클라우드 컴퓨팅의 초기 단계, 즉 매우 초기 단계에 있습니다. 이러한 추세를 10년 후로 내다보면 완전히 다른 기업 운영의 모습을 상상할 수 있습니다. 조직의 모든 기능에 고도로 숙련된 에이전트를 배치하여 중요한 업무를 지금보다 훨씬 빠르게 처리할 수 있는 상황을 쉽게 상상할 수 있습니다. 에이전트가 기업에 미치는 영향은 정말 무궁무진하지만, 크게 세 가지가 눈에 띕니다: 1. 규모에 관계없이 모든 기업은 다른 방법으로는 활용할 수 없는 리소스와 전문 기술을 이용할 수 있게 되었습니다. 썬 마이크로시스템즈의 공동 창업자인 빌 조이는 "당신이 누구든, 가장 똑똑한 사람들은 대부분 다른 사람을 위해 일한다"는 유명한 말을 남겼습니다. 특히 소규모 기업의 경우 이는 항상 단점이었습니다. 대형 경쟁업체는 항상 여러분이 감당할 수 없거나 접근할 수 없는 인재 풀을 활용할 수 있습니다. 전문 법률 지원이나 영업팀 확장 등, AI 에이전트를 통해 모든 규모의 기업이 대기업의 특권으로만 여겨졌던 리소스에 동일하게 액세스할 수 있게 됩니다. 2. 기업은 점점 더 차별화되고 영향력이 큰 업무에 에너지와 인재를 재할당할 수 있게 될 것입니다. 회사의 여러 부서에서 컴퓨터가 놀라울 정도로 잘 해결해야 하지만 현재로서는 할 수 없는 업무에 시간을 낭비하고 있다는 것을 잘 알고 있습니다. AI 에이전트가 더욱 강력해짐에 따라 시간을 낭비하는 많은 활동이 자동화될 수 있으며, 시간과 에너지를 더 많은 혁신을 추진하고, 고객에게 더 가까이 다가가고, 고객을 더 잘 지원하는 등의 활동에 재투자할 수 있습니다. 3.

OpenAI/Anthroupic/Google이 Closed AI Model로 모델-서비스까지 모두 독점하거나 일부 기능에 대해서 API로 열어주는 것과 달리 (과거 Apple Appstore), Open Source AI Model은 모델 학습만 제외하고 Finetunnig, Middle Layers(ML ops, Prompt Ops etc)가 모두 열려있다. Mistral과 Meta가 이 산업을 주도하고 있고 AI 스타트업 중에 인프라/B2B를 하는 회사들은 이들의 어깨에 올라타야한다. 모델-Infra-고객의 수요가 이렇게 빨리 바뀌는 상황에는 고객 중심적으로 빠르게 제품 개발하고 개선하는 팀이 우위에 설 수 있고 스타트업들이 잘해볼 수 있다. Mistral, META도 Opensource 진형에서 경쟁하면서 각 모델과 협업해줄 파트너들을 적극적으로 찾을 것 같네요. 오픈 소스 진형에도 경쟁이 생기면서 스타트업에게 더 좋은 기회들이 많이 생길 것 같다.

과점 체제가 형성되고 있습니다. 즉, 인터넷 전반의 데이터로 학습을 확장하고 모델을 인간의 피드백에 맞춰 조정함으로써 마침내 많은 사람들이 이러한 기술을 사용할 수 있게 되었습니다. 이러한 혁신은 극소수의 주체들에 의해 이루어졌으며, 그 중 가장 큰 주체(OpenAI)가 시장을 지배하려는 의도를 가지고 있는 것으로 보입니다. 우리는 떠오르는 제너레이티브 AI 시장에서 대부분의 가치는 제작하기 어려운 기술, 즉 제너레이티브 모델 자체에 있을 것이라고 생각합니다. 이러한 모델은 수천 대의 매우 강력한 기계에서 고품질 소스에서 제공되는 수조 개의 단어를 학습해야 하며, 이는 높은 진입 장벽을 설정하는 한 가지 요소입니다. 두 번째 중요한 장벽은 숙련된 팀을 구성하기 어렵다는 점인데, 이 부분은 미스트랄닷에이아이가 독보적인 위치를 점할 수 있는 부분입니다. 현재의 제너레이티브 AI는 시장의 제약 조건을 충족하지 못합니다. 1. 제너레이티브 AI 기술을 사용하고자 하는 기업은 중요한 비즈니스 데이터와 민감한 사용자 데이터를 일반적으로 퍼블릭 클라우드에 배포되는 블랙박스 모델에 제공해야 합니다. 2. 모델을 완전히 노출하지 않고 모델의 출력만 노출하면 다른 구성 요소(검색 데이터베이스, 구조 입력, 이미지 및 사운드)와 연결하기가 더 어려워집니다. 기술적 대응 1. 모델 개발에 보다 개방적인 접근 방식을 취합니다. 허용적인 오픈소스 소프트웨어 라이선스가 적용된 모델을 출시할 것이며, 이는 해당 카테고리의 경쟁사보다 월등히 높은 수준일 것입니다. 이러한 화이트박스 모델을 활용할 수 있는 도구를 배포하고, 상표를 중심으로 개발자 커뮤니티를 구축할 것입니다. 이러한 접근 방식은 OpenAI와의 이념적 차별화 요소이며, 우수한 연구자들을 고용하는 데 있어 매우 강력한 논거가 되고, 의욕적인 해커들로부터 많은 다운스트림 애플리케이션의 문을 열어줄 수 있는 강력한 개발 촉진제가 될 것입니다. 2. 오픈소스든 라이선스든 관계없이 고객이 모델의 내부(아키텍처 및 훈련된 가중치)에 항상 액세스할 수 있습니다. 이를 통해 모든 콘텐츠를 입력 텍스트로 직렬화하여 블랙박스 API에 공급하는 대신 콘텐츠를 심층 모델의 다른 부분에 공급할 수 있는 고객의 워크플로우와 더욱 긴밀하게 통합할 수 있습니다. 3. 데이터 소스 및 데이터 제어에 대한 집중도를 높입니다. 스크랩된 콘텐츠 외에도 고품질의 데이터 콘텐츠에 대해 모델을 학습시키고 라이선스 계약을 협상할 것입니다. 이를 통해 현재 사용 가능한 모델(예: 라마)보다 훨씬 더 나은 모델을 훈련할 수 있습니다. 심층적인 기술(전문가 혼합 및 검색 증강 모델)을 사용하여 데이터 소스 액세스 옵션이 있는 모델을 서비스할 것입니다. 유료 프리미엄을 지불하면 특정 모델을 금융/법률 등에 특화할 수 있습니다(이는 상당한 성능 향상을 제공합니다). 비즈니스 비즈니스 측면에서는 제너레이티브 AI를 통해 비즈니스 워크플로우를 혁신할 새로운 서비스형 AI 산업에 가장 가치 있는 기술 브릭을 제공할 것입니다. 우리는 유럽의 통합업체 및 업계 고객과 통합 솔루션을 공동 구축하고, 이를 통해 매우 귀중한 피드백을 얻어 유럽에서 AI를 활용하고자 하는 모든 기업의 주요 도구가 될 것입니다. 업종과의 통합은 모델(학습된 가중치 포함)에 대한 전체 액세스 라이선스, 주문형 모델 전문화, 통합업체/컨설팅 회사와의 제휴를 통한 완전 통합 솔루션에 대한 상업적 계약 체결 등 다양한 마케팅 형태를 취할 수 있습니다. 로드맵에 자세히 설명된 대로 기술 개발과 병행하여 최적의 접근 방식을 모색하고 파악할 것입니다. 인프라 저희는 이미 티어 1 클라우드 서비스 제공업체의 컴퓨팅 성능을 임대하기 위한 경쟁력 있는 계약을 협상했습니다(9월부터 1536 H100을 예약하고 여름에 증설할 계획입니다). 또한, 미스트랄.ai는 유럽에 강력한 기반을 두고 있기 때문에 유럽의 신흥 클라우드 서비스 제공업체들이 딥 러닝 서비스를 확대함에 따라 이들과도 협력할 것입니다. 로드맵 기술적 측면에서는 2024년 1분기와 2분기 동안 기존 기업들이 과소평가하고 있는 두 가지 주요 측면에 집중할 것입니다: 16GB 노트북에서 실행할 수 있을 만큼 작으면서도 유용한 AI 비서 역할을 하는 모델 훈련 수백만 개의 추가 단어에 이르는 핫 플러그 가능한 추가 컨텍스트로 모델을 훈련하여 언어 모델과 검색 시스템을 효과적으로 병합합니다.

Roadmap On the technical side, during Q1-Q2 2024, we will focus on two major aspects that have been under-estimated by incumbent companies: ● Train a model small enough to run on a 16GB laptop, while being a helpful AI assistant ● Train models with hot-pluggable extra-context, ranging in the millions of extra words, effectively merging language models and retriever systems.

An oligopoly is shaping up i.e. scaling training to internet-wide data and aligning models with human feedback, finally made these technologies usable by many; these breakthroughs were made by very few actors, the largest of which (OpenAI) appears to have hegemonic intention over the market. We believe that most of the value in the emerging generative AI market will be located in the hard-to-make technology, i.e. the generative models themselves. Those models need to be trained on thousands of very powerful machines, on trillions of words coming from high quality sources, which is one factor that sets a high barrier to entry. The second important barrier lies in the difficulty to assemble an experienced team, something that mistral.ai will be in a unique position of doing. Current generative AI do not meet market constraints 1. Businesses wishing to use generative AI technology are forced to feed their valuable business data and sensitive user data to a black-box model, typically deployed in the public cloud. 2. Only exposing the output of models, instead of exposing the model entirely, makes it harder to connect with other components (retrieval databases, structure inputs, images and sounds). Technological counter-positioning 1. Take a more open approach to model development. We will release models with a permissive open-source-software licence, that will be largely above the competition in that category. We will distribute tools to leverage the power of these white box models, and create a developer community around our trademark. This approach is an ideological differentiator from OpenAI; it is a very strong point argument for hiring highly coveted top researchers, and a strong accelerator for development, as it will open the doors for many downstream applications from motivated hackers. 2. Whether open-source or licensed, the internals (architecture and trained weights) of our models will always be accessible to our customers. This will allow tighter integration with customer’s workflows, whose content can be fed into different parts of the deep model, instead of serialising all content into input text, fed to black box APIs. 3. Increase the focus on data sources and data control. Our models will be trained on high quality data content (in addition to scraped content) for which we will negotiate licence agreements. This will allow us to train models much better than currently available ones (e.g. Llama). Using deeply involved technology (mixtures-of-experts and retrieval-augmented models), we will service models with optional data sources access: for a paid premium, a certain model can be specialised on finance/law/etc (this provides a substantial performance boost). On the business side, we will provide the most valuable technology brick to the emerging AI-as-a-service industry that will revolutionise business workflows with generative AI. We will co-build integrated solutions with European integrators and industry clients, and get extremely valuable feedback from this to become the main tool for all companies wanting to leverage AI in Europe. Integration with verticals can take different marketing forms, including licensing full access to the models (including the trained weights), specialisation of models on demand, partnering with integrators/consulting companies to establish commercial contracts for fully integrated solutions. As detailed in our roadmap, we will explore and identify the best approach in parallel to technological development. Infrastructure We have already negotiated competitive deals for renting computational power in Tier 1 cloud service providers (we are planning to reserve 1536 H100 starting in September, with a summer ramp up). As mistral.ai has a strong European grounding, we will also be working with both emerging European cloud providers as they grow their deep learning offers.