Continuous Learning_Startup & Investment

Frontier models keep getting more and more expensive to train, while commodity models drop in price each year as performance goes up (for example, it is probably ~5X cheaper to train GPT-3.5 equivalent now than 2 years ago)

😂

AI code asisstant -> AI Coder Chatbot -> Assistant -> Agent. 처음엔 특정 직군의 생산성을 높이는 수준이지만 장기적으로 그 직군의 워크 플로우를 대체해가면서 여러 Agent를 다루는 1명의 생산성이 급격히 오르는 게 일반화되지 않을지.

We live in such strange times. Apple, a company famous for its secrecy, published a paper with staggering amount of details on their multimodal foundation model. Those who are supposed to be open are now wayyy less than Apple. MM1 is a treasure trove of analysis. They discuss lots of architecture designs and even disclose that they train on GPT-4V-generated data. They provide exact scaling law coefficients (to 4 significant figures), MoE settings, and even optimal learning rate functions. I have not seen this level of details from a big tech's whitepaper for a very, very long time. I'm also shocked they didn't put any effort on PR. MM1 just gets dropped, like a Mistral magnet link, on Arxiv out of nowhere. Apple's so back! Paper: https://lnkd.in/g5hDiU2k

https://youtu.be/mqJ5YKlMIaM?si=ExGciQShPnWMF7oh 시즌제 운영: 약 40일 정도의 기간을 시즌으로 설정하고, 시즌마다 명확한 목표를 세워 달성하고자 함. 시즌이 끝나면 회고를 통해 성공 요인을 분석하고, 이를 바탕으로 핵심 가치를 정립해 나감. 시즌 사이에는 피트스탑(Pit-stop) 기간을 두어 문제점과 기회 요인을 파악하고 우선순위를 설정. 구성원 주도의 문제 해결: 구성원들이 함께 문제를 정의하고 해결 방안을 모색하는 것을 중시함. 스쿼드 단위로 구성원들이 자발적으로 모여 문제를 해결하고자 함. 대표가 일방적으로 문제와 해답을 제시하기보다는, 구성원들의 의견을 존중하고 합의를 이끌어 내고자 함. 핵심 가치 기반의 의사결정: 회사의 핵심 가치를 의사결정의 기준으로 삼음. 대표의 결정이라도 핵심 가치에 부합하지 않으면 구성원들이 자유롭게 의견을 개진할 수 있음. 이를 통해 조직의 유연성과 적응력을 높이고자 함. 정보의 투명한 공유: 개인의 연봉과 보상을 제외한 모든 정보를 구성원들과 공유함. 경영진의 법인 카드 사용 내역과 회사의 재무 상황 등을 공개하여 구성원들이 정보에 기반한 의사결정을 할 수 있도록 함. 자율과 책임의 조화: 구성원들에게 문제 해결의 자율성을 부여하되, 그에 따른 책임도 함께 짐. 스스로 문제를 찾고 해결하고자 하는 구성원들의 열정과 몰입을 이끌어 내고자 함.

번지에서는 AI 가 미팅을 받아쓰고 요약을 하고 있습니다. 계산해 봤더니 한건당 300원 정도더라고요. 좋은 요약을 만들기까지와 과정과 시행착오를 공유하려 합니다. “STT(받아쓰기) 퀄리티가 너무 좋지 않아요. 개선할 수 없을까요?" 제가 번지와 함께 하고 처음 받은 요청입니다. 이때 까지는 사람이 미팅을 요약하고 공유하고 있었는데 받아쓰기 퀄리티가 좋지 않으니 미팅 영상을 다시 돌려가면서 봐야하니 엄청난 리소스가 소비되고 있었죠. 그래서 받아쓰기가 잘 되면 영상을 보지 않고 텍스트만 읽어서 요약하면 되니 훨씬 시간이 줄어들 것이라는 생각이었죠. 왜 영상을 봐야하고 받아쓰기를 해야 하냐고요? 번지는 인재가 필요한 고객사에게 문제를 해결할 수 있는 인재를 매칭하는 플랫폼입니다. 그렇기에 인재를 요청한 고객사와 꼭 30분 이상의 미팅을 하고 문제를 정의하는데요. 이 과정에서 고객사에서 말한 문제와 실제 문제가 다른 경우가 많죠. 그렇기에 고객사와 깊이있는 대화를 주고 받으며 문제를 다시 정의해야 하고 이 정보를 기반으로 인재 매칭을 준비하게 됩니다. 그래서 당연하게도 이 미팅 데이터가 저희에게는 너무너무 중요한 정보인거죠. < 문제 해결하러 가기 > Step 1. 받아쓰기 잘하게 만들기 처음 받아쓰기 문제를 받았을때는 다양한 STT 모델을 찾아보기 시작했어요. 제가 Data Scientist 로도 오랫동안 일했기에 좋은 STT 모델을 찾아서 적용하면 충분히 개선할 수 있을 것 같았거든요. 그래서 허깅페이스, 구글등 여러 곳을 돌아다니면서 모델을 찾아봤고 OpenAI 의 Whisper 모델이 가장 뛰어나다고 판단할 수 있게 되었습니다. 그리고 Whisper 모델은 공개되어 있어서 무료기도 하고요. 특히 Whisper 는 세가지 모델이 있는데 가장 큰 large-v2 모델을 쓰면 한국어도 아주 잘 받아쓸 수 있다고 하더라고요. 그래서 이래저래 테스트를 해 보았고 이 모델을 쓰기로 결정했습니다. Medium, small 모델의 수준은 기대에 미치지 못하더라고요. Step 2. 모델 구축하기 이제 모델이 정해졌으니 서버를 구축해서 모델을 서비스 할 준비를 하면 됩니다. API 서버를 만들고 모델과 연동해서 미팅영상파일을 받아서 처리후에 Whisper 모델이 받아쓰기 한 텍스트를 응답해주면 됩니다. 장비를 산정해 봈고 꽤 비싼 장비를 준비해야 하더라고요. 비용이 꽤 크게 필요할 것 같았습니다. 이때부터 고민이 시작되었습니다.  지금은 하루에 10~20개의 미팅을 처리할텐데… 이렇게 구축하고 비용을 쓰는 게 맞나? 내가 지금 해결하려는 문제에 가장 적절한 방법은 찾은 것이 맞나? 제가 해왔던 일들을 의심하기 시작했습니다. Reset. 다시 처음부터 시작하기 “STT(받아쓰기) 퀄리티가 너무 좋지 않아요. 개선할 수 없을까요? 제가 받은 요청은 분명 이것이었습니다. 이 문제에 대한 해결이라면 저는 적절한 방식으로 접근하고 있었습니다. 하지만, 저는 문제를 더 깊이 살펴보지 못했습니다. 팀이 필요한 것은 단순히 “STT 고도화” 가 아니었습니다. 팀이 필요한 것은 모든 미팅을 “접근 하기 쉬운 형태로 변환(STT)” 하고 “잘 정리(요약)” 하는 것이었습니다. 그래야 그 정보를 번지팀의 본업인 "고객사의 요구사항을 이해하고 적절한 인재를 매칭하는 일"에 활용할 수 있기 때문입니다. 이 때부터 저는 STT모델이 아니라 번지가 고객사를 만나고 인재를 추천하는 모든 순간을 AI를 이용해서 더 효율화 할 수 없을까 고민하기 시작했습니다. 그래서 좋은 받아쓰기와 요약을 만들기 위해 아래 과정들을 진행하게 됩니다. 1. ChatGPT API (STT, Chat Completion) 를 적극 사용한다 2. API 를 잘 쓰기 위해서 우리의 데이터를 거기에 맞춘다  3. 요약 자동화 하기 위해 미팅 솔루션을 콜라보에서 줌으로 바꾼다 4. 팀원들의 피드백을 들으면서 ChatGPT 프롬프트를 바꾸고 여러 버전을 테스트 한다. 5. 슬랙을 이용해서 쉽게 접근할 수 있도록 만든다. 6. 쌓인 데이터로 더 큰 가능성을 발견한다. 글이 길어져서 이번에는 저희 생각의 과정들을 적어 보았습니다. 다음 글에는 위의 자세한 과정과 시도했던 방법들을 더 적어보려 합니다. ChatGPT 를 처음 써보면 뭐든지 다 해줄 것 같습니다. 내 업무에도 적용하면 모든 게 다 자동화 될 것 같은 기분이 들죠. 하지만 막상 그렇게 했을 때 뭔가 부족하고 아쉬울 때가 많습니다. 그리고는 아직 AI는 멀었네... 하고 생각하죠. 가장 중요한 것은 문제를 제대로 이해하고 AI 를 어떻게 쓸지 판단하는 것이라고 생각합니다. PO로 전향하면서 많이 했던 고민들인데 요즘 AI를 활용하면서 더 많이 고민하고 있습니다. AI 를 어떻게 쓸지 고민을 하는 분들이 있다면 함께 얘기 나누면 좋을 것 같습니다.

공부를 하면 할수록 답하기 어려운 AI의 미래. 세계 최고의 투자자들 또한 마찬가지인가보다. 퓨 https://blog.eladgil.com/p/things-i-dont-know-about-ai