Continuous Learning_Startup & Investment

9월 1일 금요일에 'AI로 어떻게 돈을 벌까?'를 주제로 밋업이 개최됩니다. 이번 밋업에서는 AI를 통해 신규 사업을 기획하거나, 기존 BM을 개선시키고 싶은 분들, AI 기술을 어떻게 활용할 수 있는지 관심있는 분(개발자/예비 창업가/리서처 등)들을 많이 모시고자 합니다. 참여를 희망하시는 분들은 아래 링크를 통해 신청해주시면 감사하겠습니다 🙂 신청 링크 : https://bit.ly/agi6thfb 신청 기간 : 23.08.29(화) 까지 * 제한 인원이 100명으로 사전에 종료가 될 수 있는 점 양해 부탁드립니다 * 이번 행사는 지난 밋업보다 조금 더 큰 규모로 진행합니다! 주변에 밋업을 추천해주고픈 분이 계시면 널리 알려주세요. [행사 개요] 일시 : 2023년 9월 1일(금) 12:30 - 17:30 장소 : 포스코타워 역삼 (서울 강남구 테헤란로 134) 참가비 : 1만원 (참여 확정이 되신 분에게 안내드릴 예정입니다.) [세션 일정] 세션 1 : AI팀이 서비스 성장에 기여하는 방법, 하성주(하이퍼커넥트 CTO) 세션 2 : 신약 개발에서 사용하는 AI, 박성수(디어젠 CTO) 세션 3 : LLM을 사용해서 고객의 문제를 해결하는 방법, 박찬준(업스테이지 AI Engineer) 세션 4 : AI 서비스로 고객을 만족시키는 방법(feat. 돈 버는 방법), 허훈(라이너 AI Engineer) & 홍승환(스캐터랩 AI Engineer) 세션 5 : 유튜브보다 오래쓰는 AI 컨텐츠 플랫폼 만들기, 정승진(팀러너스 CEO) 이번 밋업은 알토스벤처스,소풍벤처스, 베이스인베스트먼트에서 후원해주셨습니다! 기업, VC 중에서 간단히 후원해주실 수 있는 분들은 agitowninseoul@gmail.com로 후원 문의 부탁드립니다🫡 이전 AGI Town의 밋업이 궁금하다면 →https://matthewcontinuouslearning.notion.site/AGI-Town-Hall-6d71cb335cf0428ea0926b4f7f6d3353

인도가 소련, 미국, 중국에 이어 네 번째로 달 착륙에 성공한 국가가 되었다. (미국, 소련, 중국이라고 쓴 기사는 잘못된 것이다. 소련이 미국보다 먼저 착륙했다.) 인도가 대단한 일을 해냈다. 진심으로 축하한다. https://v.daum.net/v/20230823214502514?fbclid=IwAR1du5lLHuRMDiRyVofOWLYGEjbSBD6KlgL5DXRsW9ZftjKjjYIBWAhsONs_aem_AWuG6X45DCyjPj1_EzGnlrOyUwekq-fFFb6At2B3YMV3ckgCxMXW_sIcvPrc9YkmR9U&mibextid=Zxz2cZ

이제 이런 논문들도 나오는군요. 총71페이지 분량의 인공지능 의식 평가에 대한 논문. 예전 같으면 미친 사람 취급 받았을텐데 말이죠. AI가 의식을 갖고 있다고 인정하면, AI에게 인간과 유사한 방식으로 권리와 정체성 표시가 부여되도록 사회적 합의가 이루어져야 할까요 ? 아니면 의식 = 인간의 권리를 가정하는 형이상학적 구조 전체가 무너지고 인간과 "살아 있는" 사물을 기계와 분리하는 다른 세계관이 도입될까요 ? 아니면 기계가 어떤 방식으로든 의식이 있는 것으로 밝혀지면 의식이라는 개념은 더 이상 유용하지 않은 것으로 간주되어 다른 것으로 대체될까요 ? 인간이 의식있는 AI를 돼지 수준으로 생각하는 것처럼, 의식있는 AI도 인간을 돼지 수준으로 생각하지는 않을까요 ? 제목: 인공 지능의 의식: 의식 과학에서 얻은 인사이트(Consciousness in Artificial Intelligence: Insights from the Science of Consciousness) 요약: 현재 또는 가까운 시일 내에 인공지능 시스템이 의식을 가질 수 있을지는 과학적 관심사이며 대중의 관심도 높아지고 있는 주제입니다. 이 보고서는 가장 잘 뒷받침되는 신경과학적 의식 이론에 비추어 현존하는 AI 시스템을 자세히 평가하는 엄격하고 경험적 근거에 입각한 AI 의식에 대한 접근 방식을 주장하고 그 예시를 제시합니다. 반복적 처리 이론, 글로벌 작업 공간 이론, 고차 이론, 예측 처리, 주의 스키마 이론 등 여러 저명한 과학적 의식 이론을 조사합니다. 이러한 이론에서 우리는 의식의 '지표 속성'을 도출하고, 이러한 속성에 대해 AI 시스템을 평가할 수 있는 계산 용어로 설명합니다. 이러한 지표 속성을 사용하여 최근의 여러 AI 시스템을 평가하고 미래의 시스템이 이러한 속성을 어떻게 구현할 수 있는지 논의합니다. 분석 결과, 현재 의식을 가진 AI 시스템은 없지만 이러한 지표를 만족하는 AI 시스템을 구축하는 데 명백한 기술적 장벽이 없음을 시사합니다. arXiv: https://arxiv.org/abs/2308.08708 PDF: https://arxiv.org/pdf/2308.08708.pdf arXiv-vanity: https://www.arxiv-vanity.com/papers/2308.08708 Paper page: https://huggingface.co/papers/2308.08708 Papers with code: https://paperswithcode.com/paper/consciousness-in-artificial-intelligence

금융 분석 툴을 만드는 Arkifi가 $9m의 투자를 유치 (Khosla Ventures와 Nyca Partners가 공동 리드). 주니어 애널리스트를 대체하겠다는데, 열심히 엑셀 정리하던 시대가 생각보다 빠르게 저물 수도 있어보인다. https://www.reuters.com/article/idUSL6N39Y0D8 <데모 영상> https://www.youtube.com/watch?v=tz28X5HJqBA&t=53s

"최근 제약바이오 업계에 눈에 띄는 변화가 하나 포착된다. 바로 '신약' 단 하나만을 겨냥하며 덩치를 키우는 트렌드, 이름하여 초대형 바이오 벤처 '빅 바이오텍'의 탄생이다." https://thebell.co.kr/free/content/ArticleView.asp?key=202308171739505760107811&lcode=00&page=10&svccode=00

✨ 실적 시즌 이후 내년을 위해 봐야하는 섹터 - ② 작성 : 와이엠리서치 텔레그램(t.me/ym_research) 🥰 화장품 ODM 위에도 기술했듯, YM리서치 팀에서는 실적발표와 관련하여 화장품 관련하여 많은 이야기를 드렸었죠. 특히, ODM들의 실적은 모두가 놀라울 정도의 서프라이즈를 내면서 시장 주도주로 부상했습니다. 한번 자세히 살펴보시죠. 1) 화장품 시장을 관통하는 메가트렌드 : 인디브랜드 : 현재 고물가와 경기침체로 인하여, 글로벌 전체적으로 중저가 인디 브랜드의 강세가 지속. "경기 침체에는 립스틱이 잘팔린다" 와 같은 맥락. 기존 브랜드들도, 인디 브랜드 라인업을 계속해서 갖추어 나가면서 바야흐로 대 인디의 시대. 여기에 과거보다 더 어린나이부터 화장품 소비가 시작되고, 그 금액이 점차 커지면서 인플루언서를 이용한 온라인 바이럴이 굉장히 효과적으로 작용하는 모습 2) 인바운드와 K-뷰티 : 상반기부터 보여지는 국내 화장품 브랜드의 강세는 수출뿐 아니라 인바운드에 의한 내수 증가도 크게 작용. 상반기 면세점 매출액은 수수료 이슈로 인하여 기대보다 못한 모습을 보여주었지만, 한국을 방문하는 외국인들의 대표 여행코스로 자리매김한 올리브영 쇼핑으로 인한 국내의 인디 브랜드들은 엄청난 강세 역시나 강력한 모멘텀은 역시나 중국의 단체관광 재개. 다만, 과거 처럼 한국의 고가형 기능성보다는 올리브영이나 로드샵 중저가 인디 위주의 흥행이 당분간 지속 예상. 명동/홍대 지나가면 화장품 매장에 들러보자. 3) 북미향 인디브랜드 : 첫째는 역시나 K뷰티의 선전. K-POP에 의한 낙수효과. 국내 인디브랜드들의 북미 수출향 금액이 계속해서 증가하고 있으며, 브랜드뿐 아니라, 실리콘투와 같은 총판업체들의 실적도 수직상승하는 모습. 둘째는 셀럽을 기반으로한 10대-20대에게 강하게 어필하는 브랜드들에 납품하는 색조 ODM들의 급진적인 실적 상승. 여기에 북미향 스킨케어도 점차 중저가 시장 침투가 급격해짐에 따라 기초 ODM들 실적도 굉장히 좋은 상황. 4) 중국과 일본 : 일본의 MZ들은 문화적 한국에 예속되었다고 할 정도로, 완전히 친한파. 일본내 K뷰티는 엄청난 인기를 구사하면서 빠른 실적 상승을 견인 중. 특히 기초부문에서 국내 브랜드들이 엄청난 강세. 중국의 경우는 국내 화장품 수입액이 많이 줄었으나, 하반기를 기점으로 소폭 반등. 중국 또한 틱톡 등 SNS 의 강세로 인하여 인투유와 같은 중저가 인디들의 급성장세. 🏆개별 기업들 살펴보기 ① 씨앤씨인터내셔널 - 북미 고객사의 급성장을 바탕으로, 국내/중국 모두 고른 성장을 보여주는 중 - 현재 서구권 뷰티의 핵심은 가성비/인플루언서 바이럴을 통한 온라인 마케팅 - 특히 10대들 사이에서 떠오르는 브랜드인 레어뷰티의 핵심아이템 (블러셔, 틴트)공급 ② 코스맥스 - 국내+일본 성장을 토대로 본격적인 영업레버리지 효과 발현 - 북미의 경우, 공장 당 매출로는 크게 성장한 모습 - 기타 인도네시아, 태국 등도 드디어 이익에 기여 시작 ③ 한국콜마 - 고마진 Sun 제품 과 인디중심 믹스 변화로 인한 수익성 개선 - 타사들과 달리 중국내에서 엄청난 성장(YoY 70%!) 을 보여준 모습 - 특히, 선제품 관련된 변화(제형 및 연령대 및 성비확장)는 구조적인 모습 ④잉글우드랩(코스메카) - 기초50%, 색조20%, 기능성25%, 기타5% 라인업. - 미국 매출 95%이상으로, 고객도 저가온라인 부터 고가까지 모두 미국 브랜드 들. - 특히, 미국 인디 브랜드가 고객인 본사(EWLK)의 2Q 실적(매출 225억, 영익 50억)은 고무적. 이외에도, 펌텍코리아, 본느 등 화장품 ODM 기업들 모두 좋은 모습.

메타에서 speech-to-text, speech-to-speech, text-to-text 번역이 가능하고 100개의 언어를 지원하는 멀티 모달, 멀티 링궐 번역 모델 SeamlessM4T를 공개했습니다. 기능도, 성능도 놀랍지만, 이번에도 오픈소스로 모델까지 공개했습니다. (단, 상업적 이용은 불가) 역시 진격의 메타!! https://ai.meta.com/.../models.../seamless-communication/

LLM은 비용이 많이 들지만, 더 적은 비용으로 더 나은 성능을 얻을 수 있다면 어떨까요? 제 박사 과정 학생인 링지아오 첸과 제임스 저우와 함께 진행한 이 연구는 여러 LLM 제공업체를 결합하고 각 모델 간의 차이를 활용하여 다양한 NLP 작업에서 동일한 비용으로 GPT-4보다 성능을 4% 향상시키거나 80% 이상 저렴한 비용으로 동일한 성능을 얻을 수 있음을 보여줍니다. 논문: https://lnkd.in/gSBPVum6 https://youtu.be/M9EZ7YM88uQ

GPT3.5 파인튜닝 공개되었습니다. 가격은 일반 (input $0.0015 / 1K tokens) 대비 약 10배 정도 비싸다고 할 수 있고 GPT4의 (input $0.03 / 1K tokens) 절반 정도 되네요. GPT3.5를 도메인 특화 등에 파인튜닝해서 GPT4보다 더 좋은 성능을 낼 수 있다면 이익이겠습니다. Training: $0.008 / 1K Tokens Usage input: $0.012 / 1K Tokens Usage output: $0.016 / 1K Tokens 치열한 도메인 특화 경쟁이 시작되었고, 이를 통해 GPT4를 넘어서는 멋진 특화 모델들을 많이 볼 수 있을 것 같습니다. 멋진 세상입니다! -- https://platform.openai.com/docs/guides/fine-tuning Starting today, you can now fine-tune GPT-3.5 Turbo for custom use cases. Read more about the new fine-tuning capabilities in our latest blog post. Fine-tuning use cases Since the release of GPT-3.5 Turbo, developers and businesses have asked for the ability to customize the model to create unique and differentiated experiences for their users. With this launch, developers can now run supervised fine-tuning to make this model perform better for their use cases. In our early results, we have seen developer achieve: Improved steerability Reliable output formatting Consistent custom tone In addition to increased performance, fine-tuning also enables businesses to shorten their prompts while ensuring similar performance. Pricing Fine-tuning costs are broken down into two buckets: the initial training cost and usage cost: Training: $0.008 / 1K Tokens Usage input: $0.012 / 1K Tokens Usage output: $0.016 / 1K Tokens

요즘 스타트업하며 특히 더 절실히 느끼는 것은, 고정비와 변동비의 개념을 명확하게 인지하고, 무엇을 늘릴지에 대한 일관적 전략을 세우는 것이 중요하다는 것이다. 고정비에 투자하는 것에는 위험이 따른다. 고정비를 상쇄할 만한 매출/수익이 나오지 않으면 회사가 무너질 수 있기 때문이다. 대표적 고정비 항목은 인건비이다. 다만, 고정비에 투자하는 이유는 자산을 만들기 위해서이다. 기존 자산을 더 좋은 자산으로 만들거나, 새로운 자산을 만들지 않으면, 회사가 건전한 성장을 만들어 나가기는 어렵다. IT 스타트업은 기술 또는 상품이 자산인데, 기술/상품을 만드는 것은 사람이기에, 무엇을 만들기 위해 사람에 얼마를 투자할지? 해당 자산은 언제 매출/수익을 만들 수 있으며, 투자를 상쇄하는 시점은 언제 오는지에 대한 예측, 결정이 중요하다. 최악은 변동비와 고정비가 함께 올라가는 구조이다. 특정 부분을 Insoucring 하기로 결정하여 팀을 build-up 했는데, 해당 팀에서 '저희 외주도 함께 쓰면 안되요?' 등 하며 변동비까지 높이는 상황이다. 변동비를 쓸꺼면 고정비를 최소화하고, 고정비를 쓸꺼면 변동비를 최소화 해야 하는데, 둘 다 올라가는 구조가 빠르게 무너지는 회사들의 공통된 특징이기도 하면서도, 많은 스타트업에서 공통적으로 경험하는 무서운 시행착오 이기도 하다. 과거 글에서, 훌륭한 인재를 모시는 경우, 일정 기간 동안은 해당 팀에 대한 버짓 통제를 강화해야 한다고 말했던 이유이기도 하다. Ringle은 고정비를 투자 전략을 취하고 있는 예이다. 1) [기술 개발] 튜터-유저 간 모든 수업 내용에 대해 영어 실력을 진단하기 위한 CAF 진단 엔진(AI 기반의 진단 엔진)을 만들고, [상품 개발] Teens 라는 새로운 상품을 런칭하고, [역량 강화] 팀 내 홍보를 효율적으로 하기 위해 외주에 의존하기 보다는 Creative 팀을 내부에 구축했다. 그래서 마음이 항시 바쁘다. Asset 에 투자한 만큼 ROI 가 더 빠르게 나올 수 있도록, '무엇을 어떻게 더 잘할 수 있을지?' 매일 매일 고민해야 하기 때문이다. 칼을 꺼냈으면 무라도 썰어야 한다는 속담이 항시 생각나기도 한다. 어떤 전략을 취하는지는 회사의 비전, 성향, 업의 특징 등에 따라 달라지기 때문에, 어떤 전략이 정답이다 라고 말할 수는 없다. 그렇지만, 변동비 중심 전략을 취했으면 고정비를 최소화하며 성장해야 하고, 고정비 중심 전략을 취하면 변동비를 최소화하며 빠르게 매출/수익을 내는 방향으로 성장해야 한다. 각 전략에 따른 최적 실행 방안을 구축하지 못하고, 이것도 저것도 아는 방향으로 운영하며 두 비용이 동시에 올라가는 구조는 절대 피해야 한다.

- RLHF, Reinforcement Learning from Human Preference 는 멋지지만 다소 Hacky함 사람들이 LLM을 교육하는 더 좋은 방법을 알아내더라도 놀랍지 않을 것. RLHF에는 다음과 같은 미해결 질문이 있음 - 인간의 선호도를 수학적으로 표현하는 방법은? - 현재 인간의 선호도는 비교에 의해 결정됨 - 인간 라벨러는 응답 A가 응답 B보다 나은지 여부를 결정하지만, 응답 A가 응답 B보다 얼마나 더 나은지는 고려하지 않음 - 인간의 취향은? - Anthropic은 유용함, 정직함, 무해함이라는 세 가지 축을 따라 모델 응답의 품질을 측정했음 - DeepMind는 대부분의 사람들을 기쁘게 하는 응답을 생성하려고 함 - 우리는 입장을 취할 수 있는 AI를 원할까, 아니면 잠재적으로 논쟁의 여지가 있는 주제를 피하는 평범한 AI를 원할까? - 문화, 종교, 정치적 성향 등의 차이를 고려할 때 누구의 선호가 "인간적" 선호일까 ? - 모든 잠재 사용자를 충분히 대표할 수 있는 훈련 데이터를 얻는 데는 많은 어려움이 있음 예를 들어, OpenAI의 InstructGPT 데이터의 경우 65세 이상의 레이블러가 없었음. 라벨러는 주로 필리핀인과 방글라데시인 - 커뮤니티 주도의 노력은, 그들의 의도는 훌륭하지만 편향된 데이터로 이어질 수 있음 예를 들어, OpenAssistant 데이터 세트의 경우 응답자 222명 중 201명(90.5%)이 남성이라고 밝혔음 # 채팅 인터페이스의 효율성 향상 - ChatGPT 이후로 채팅이 다양한 작업에 적합한 인터페이스인지에 대한 여러 논의가 있었음 - 이는 새로운 논의가 아니며, 아시아에서는 채팅이 약 10년동안 슈퍼앱의 인터페이스로 사용되었음 - 개인적으로 이런 이유로 채팅 인터페이스를 좋아함 - 채팅은 이전에 컴퓨터나 인터넷에 노출되지 않을 사람을 포함하여 빠르게 사용방법을 배울 수 있는 인터페이스 - 채팅 인터페이스는 접근성이 있음. 손이 바쁘면 텍스트 대신 음성을 사용할 수 있음 - 채팅은 믿을수 없을정도로 강력한 인터페이스임. 어떤 요청이든 할 수 있고, 응답이 좋지 않은 경우에도 응답을 제공함 - 하지만 아직 채팅 인터페이스를 개선할 수 있다고 생각되는 영역들이 있음 - 턴당 여러개의 메시지 - Multimodal 입력 - 워크플로우에 생성AI 통합 - 메시지 편집 및 삭제 # 비영어권 언어용 LLM 구축 - 현재 English-First LLM은 성능, 대기 시간 및 속도 면에서 다른 언어에 대해서는 잘 작동하지 않음 - 이 글의 몇몇 초기 독자들은 이 방향을 포함해야 한다고 생각하지 않는다고 이야기 했음 - 이는 연구보다는 물류(Logistics) 문제에 가까움. 우리는 이미 그 방법을 알고 있고 돈과 노력을 투자하기만 하면 된다는 것 하지만 이는 사실이 아님. 대부분의 언어는 리소스가 부족함. 영어나 중국어에 비해 고품질 데이터가 훨씬 적고, 대규모 모델을 훈련하는 데에는 다른 기술이 필요할 수 있음 - 더 비관적인 사람들은 미래에 많은 언어가 사라지고 인터넷이 영어와 만다린 이라는 2개의 언어로 구성 된 두개의 세계로 만들어질 것이라고도 함. Esperando 기억하는 사람 있나요? - 기계 번역 및 챗봇과 같은 AI 도구가 언어 학습에 미치는 영향은 아직 불분명함 그것들이 사람들이 새로운 언어를 더 빨리 배우도록 도울까, 아니면 새로운 언어를 배울 필요를 완전히 없앨까?

LLM 연구의 공개 과제들 10가지 # 환각(Hallucination) 감소 및 측정 - 회사에서 LLM을 채택하는데 가장 큰 장애물은 환각 - 환각을 완화하고 측정하기 위한 지표를 개발하는 것은 인기 있는 연구 주제로 많은 스타트업들이 집중하고 있음 - 환각을 줄이기 위한 임시 팁으로 프롬프트에 컨텍스트 추가하기, Chain-Of-Thought, Self-Consistency, 모델에게 간결한 답을 요청하기 등이 있음 # 컨텍스트 길이 및 컨텍스트 구성 최적화 - 대부분의 질문에는 컨텍스트가 필요함 - SituatedQA 논문에 의하면 정보 검색 질문의 상당부분이 컨텍스트에 따라 답변이 다름(NQ-Open 데이터셋의 16.5%가 해당) - 회사의 사례에서는 훨씬 더 높을 것(고객 지원 챗봇이라면, 해당 고객의 기록이나 제품에 대한 정보가 컨텍스트) - 컨텍스트 길이는 RAG(Retrieval Augmented Generation)에 특히 중요 - RAG는 2단계로 동작 - 청킹(인덱싱) : LLM에서 사용할 모든 문서를 수집. 임베딩을 생성하고 임베딩을 LLM에넣기위해 청크로 분할하고, 임베딩을 벡터 DB에 저장 - 쿼리: 사용자가 쿼리를 보내면 LLM이 쿼리를 임베딩으로 변환. 벡터 데이터베이스에서 임베딩과 가장 유사한 청크를 가져옴 - 컨텍스트 킬이가 길수록 더 청크를 많이 넣을수 있음. 모델이 억세스할수 있는 정보가 많아지면 응답이 더 좋아지겠죠? - 항상 그런것음 아님. 모델이 사용하는 컨텍스트의 양과 해당 모델이 컨텍스트를 얼마나 효율적으로 사용하는가는 서로 다른 질문임 - 모델 컨텍스트 길이를 늘리려는 노력과 함께 컨텍스트를 효율적으로 만들기 위한 노력도 있음 - 프롬프트 엔지니어링 또는 프롬프트 컨스트럭션이라고 부름 - 예를 들어 최근 논문은 모델이 컨텍스트의 중간보다 처음 이나 끝에서 정보를 더 잘 이해한다는 것 # 다른 데이터 양식들(Modalities) 통합 - Multimodiality 는 매우 강력하지만 아직 과소평과됨 - 중요한 이유들 - 의료,로봇공학,전자 상거래,소매,게임,엔터테인먼트등 다양한 데이터를 다루는 사례가 있음 - 의학적 예측에는 텍스트(의사의 노트, 설문지) 와 이미지(CT, X-Ray, MRI)가 필요 - 제품 메타데이터에는 이미지, 비디오, 설명 및 표 형식 데이터가 포함 - 멀티모달리티는 모델 성능의 큰 향상을 가져올 것 - 텍스트만 이해하는 모델 보다 텍스트와 이미지를 이해할 수 있는 모델이 성능이 좋음 - 텍스트 기반 모델에는 엄청난 텍스트 데이터가 필요하므로 곧 모델을 훈련하는데 필요한 인터넷 데이터가 고갈될 것이라는 우려도 있음 - 텍스트가 부족해지면 다른 데이터 양식을 활용해야 함 - 특히 기대하고 있는 것 : 시각 장애가 있는 사람들이 멀티모달리티를 통해 인터넷을 검색하고 현실세계를 탐색할 수 있게 할 것 # LLM을 더 빠르고 저렴하게 만들기 - GPT-3.5가 2022년 11월에 나왔을 때, 많은 사람들이 레이턴시 및 프로덕션에서의 사용 비용에 대해 우려했음 - 하지만 레이턴시/비용 분석은 그 이후로 많이 바뀌었음 - 반년도 안지나서, 커뮤니티는 GPT-3.5 메모리 공간의 2%만으로, 성능면에서 GPT-3.5에 매우 근접한 모델을 만드는 방법을 찾았음 - 핵심: 충분히 좋은 것을 만들면, 사람들은 빠르고 저렴하게 만드는 방법을 알아낼 것 - 4년전에 정리한 모델 최적화/압축을 위한 4가지 주요 기술 - Quantization(양자화): 가장 일반적인 모델 최적화 방법. 매개변수를 나타내는데 더 적은 비트를 사용하여 모델의 크기를 줄임. 부동소수점 32비트 대신 16비트, 심지어 4비트도 사용 - Knowledge distillation(지식 증류): 작은 모델(학생)이 더 큰 모델이나 모델의 앙상블(선생)을 모방하도록 훈련시키기 - Low-rank factorization(저차원 행렬분해): 매개변수의 수를 줄이기 위해 고차원 텐서를 저차원 텐서로 교체. 예를 들어, 3x3 텐서를 3x1과 1x3 텐서의 곱으로 분해하여 9개의 매개변수 대신 6개의 매개변수만 갖게 하는 것 - Pruning(가지치기) - 지금도 이 4가지 기술은 관련있고 인기가 있음. Alpaca는 지식 증류기법을 사용했고, QLoRA는 저차원 행렬분해와 양자화의 조합을 사용했음 # 새로운 모델 아키텍처 설계 - 2012년 AlexNet 이후로 LSTM, seq2seq 등 많은 아키텍처가 유행하고 사라짐 - 이에 비해 Transformer는 매우 끈질김. 2017년에 나왔고, 언제까지 유행할지 궁금 - Transformer를 능가하는 새로운 아키텍처를 개발하는 것은 쉽지 않음. 지난 6년간 엄청 최적화 되었음 - 새로운 아키텍처는 오늘날 사람들이 관심을 가질만한 규모로 성능을 발휘해야함 - 트랜스포머는 원래 TPU에서 빠르게 실행되도록 설계되었고, 나중에 GPU에 최적화 되었음 - 2021년엔 Chris Ré’의 연구실에서 S4를 중심으로 많은 흥분이 있었음. 최근에도 여전히 새로운 아키텍처에 투자를 하고 있으며, 가장 최근엔 스타트업 Together와 공동으로 Monarch Mixer 아키텍쳐를 개발했음 # GPU 대안 개발 - GPU는 2012년 AlexNet 이후 딥러닝을 위한 지배적인 하드웨어 - AlexNet이 인기있는 이유중 하나는 GPU를 성공적으로 사용하여 신경망을 훈련시킨 첫번째 논문이라는 것 GPU 이전에는 AlexNet 규모로 모델을 훈련하려면 수천개의 CPU를 사용해야 했음 수천개의 CPU에 비해 2개의 GPU는 박사 및 연구자들한테 훨씬 접근이 쉬웠고, 딥러닝 연구 붐을 일으켰음 - 지난 10년동안 대기업/스타트업 및 많은 회사들이 AI를 위한 새로운 하드웨어를 만들려고 시도했음 - 가장 눈에 띄는 것은 구글의 TPU, Graphcore의 IPU, Cerebras - SambaNova는 새로운 AI칩 개발을 위해 10억달러 이상을 펀딩받았찌만, 생성형 AI플랫폼으로 피봇했음 - 한동안 양자컴퓨팅에 많은 기대가 있었고, 주요 플레이어는 다음과 같음 - IBM의 QPU - 구글의 컨텀컴퓨터는 올해초에 Nature에 양자 오류 감소에 대한 주요 이정표를 발표했음. 양자 가상머신은 Google Colab을 통해 억세스 가능 - MIT 양자 엔지니어링 센터, 막스플랑크 양자 광학 연구소, 시카고 양자거래소, 오크리지 국립연구소등 - 매우 흥미로운 또 다른 방향은 Photonic 칩 - 오늘날의 칩들은 전기를 이용하여 데이터를 이동하므로 많은 전력을 소비하고 레이턴시도 발생 - 광자칩은 광자를 사용하여 데이터를 이동하고 더 빠르고 효율적인 컴퓨팅을 위해 빛의 속도를 활용함 - Lightmatter ($270M), Ayar Labs ($220M), Lightelligence ($200M+) 및 Luminous Computing ($115M)을 포함하여 이 분야의 다양한 스타트업이 수억 달러를 펀딩받음 # 에이전트를 사용 가능하게 만들기 - 에이전트는 인터넷 검색, 이메일 보내기, 예약등과 같은 작업을 수행할 수 있는 LLM - 이 글의 다른 연구 방향들과 비교해보면 가장 초기의 분야라고 할 수 있음 - 참신함과 막대한 잠재력 때문에 에이전트에는 열광적인 인기가 있음 - Auto-GPT는 이제 GitHub Star 수 기준 25번째로 인기있는 Repo임 - GPT-Engineering 도 또 다른 인기있는 저장소 - 설레임에도 불구하고 LLM이 행동할수 있는 권한을 위임받을 만큼 신뢰할 수 있고 성능이 있는지에 대해서는 여전히 의구심이 있음 - 이 분야에서 가장 주목할 만한 스타트업은 Adept - 2명의 Transformer 공동 저자와 전 OpenAI VP가 설립해서 지금까지 거의 5억달러를 펀딩 # Human Preference를 통한 학습 개선