Continuous Learning_Startup & Investment

https://www.cadgraphics.co.kr/newsview.php?pages=news&sub=news01&catecode=2&num=72382 중국의 전기자동차 스타트업인 니오(NIO)는 버추얼 트윈으로 가상 시뮬레이션을 진행했다. 물리적인 프로토타입 없이 제품에서 일어날 수 있는 문제를 개발 단계에서 발견하고 해결할 수 있었고, 그 결과를 전세계 조직에 공유함으로써 의사결정 속도를 높여 3년이 채 되지 않는 기간에 친환경 자동차를 개발할 수 있었다. 프랑스의 건설 기업인 부이그(Bouygues Construction)는 빌딩을 건축하고 도시를 건설하는 과정에서 건물의 버추얼 트윈으로 단열 및 통풍 성능을 가상 시험으로 진행해 폐기물을 줄일 수 있었다. 또한, 국내 건설 기업인 포스코A&C에서는 버추얼 트윈 모델을 활용해 건설 현장의 장비와 기존 건축물의 간섭을 검증했고, 고난이도/고위험 작업 전에 엔지니어를 교육하는 데에 버추얼 트윈을 활용해 효과를 높였다. 스위스의 포장재 기업인 앰코(AMCOR)는 무게를 줄이면서 구조 강성은 높인 포장재 및 재활용 가능한 친환경 소재를 개발하는 데에 분자 스케일의 버추얼 트윈 모델링을 활용했다. 이외에 생명과학 산업에서는 신약을 개발하기 위한 실험 과정에서 소모되는 시간 및 비용과 화학물질 배출을 줄이기 위해 디지털 인체 모델과 시뮬레이션을 활용해 최적의 실험방안을 찾을 수 있었다.

I think we can all agree that GPT-4 completes many tasks at human-level proficiency. It is imperfect in odd ways -- it can write software like a smart MIT undergrad, but can't do basic task planning like an entry-level EA. It speaks all languages, but can barely do math. Suppose the progress doesn't stop, just like GPT-4 was better than 3, GPT-5 is capable of basic agentic behavior -- i.e. able to accept a task, work on it for a while, and return results. Some modest fraction of Upwork tasks can now be done with a handful of electrons. Suppose everyone has an agent like this they can hire. Suppose everyone has 1,000 agents like this they can hire... What does one do in a world like this? What do you long or short? Markets • In a post-AGI world, where does value accrue? • What happens to NVIDIA, Microsoft? • What happens to Internet bandwidth? Should we buy copper? Real-estate • If globalization is the metaphor, and the thing can just write all software, is SF the new Detroit? • How does AI change wealth inequality? Is all beachfront property mispriced? Energy and datacenter • If it does become an energy game, what's the trade? • Across the entire datacenter supply chain, which components are hardest to scale up 10x? What is the CoWoS of datacenter? • Is coal mispriced? Nations • Who wins and loses? • $250b of India’s GDP exports are essentially GPT-4 tokens… what happens now? • Are there any relevant analogies from history we can compare to? • What is the euclidean distance of reskilling in prior revolutions, and how does AGI compare? The typist became an EA, can the software engineer become a machinist? • Electrification and assembly lines lead to high unemployment and the New Deal, including the Works Progress Administration, a federal project that employed 8.5m Americans with a tremendous budget… does that repeat? Inflation • If AI is truly deflationary, how would we know? What chart or metric would show that first? • How should one think of deflation if demand for intellectual goods continues to grow as production costs go down? Geopolitics • What happens with China? With Russia? • What is the likely "Taiwan event", and what would be a leading indicator for it?

#원자력 #원전 #AI Microsoft는 AI를 활용해 수년/수억 비용이 드는 원자력 규제 및 라이센스 작업 관련 LLM 모델 교육 진행. 이는 NRC 허가 절차를 신속히 진행 위한 일로, 시간/비용 절감 부분 잠재적 엄청난 효과. NRC 승인을 받은 마지막 원자력 운영업체 NuScale은, 12000페이지에 달하는 신청서를 제출했으며 그 과정에 $5억 이상 지출. 승인에도 불구하고 유틸리티 대한 수요가 임계 수준에 도달하지 않아, 이익 관련 로드맵은 무너진 상황. 이처럼 원전 스타트업이 관련 승인 프로세스를 진행하기엔 비용/시간 부분 어려움 존재, AI는 신규 플레이어의 장애물을 낮춰줄 수 있는 측면. 마이크로소프트는 프로세스에 소요되는 인력/시간을 90%까지 줄여, 잠재적으로 시간/비용 절약 가능한 AI 교육 위해 원자력 단체와 협력 중. 이러한 프로세스를 정형화 시키기 위해 매우 구체적이고 구조화된 모델을 교육 중. 실제로 규제 승인 절차에 소요되는 시간을 단축할 수 있다면, 이는 새로운 원자로 설계만큼이나 큰 혁신이 될 수 있는 측면. https://www.wsj.com/tech/ai/microsoft-targets-nuclear-to-power-ai-operations-e10ff798?utm_source=substack&utm_medium=email

Made-in-Asia generative AI race heats up amid U.S. dominance Vietnam has joined the race in Asia to develop generative artificial intelligence programs that cater to local languages and cultures, as well as shedding dependency on services offered by U.S. tech groups. Read more here

Australian government to meet battery metal producers as prices slump Nickel and lithium producers in Australia are halting or slowing operations amid a persistent price slump, with the government saying it plans to meet with companies to discuss possible support measures for the industry. Read more here

Samsung bets on smart ring as fitness tech gathers pace Samsung Electronics plans to launch a smart ring later this year as it ramps up its mobile health business, looking to become the world's first major tech company to roll out such a device to track fitness around the clock. Read more here

인도증시 시가총액이 전세계 4위 홍콩을 넘어섰습니다. It's not India's decade, it's India's century. #김민상 https://www.facebook.com/share/cRrrg2c8AV7BYYHq/?mibextid=xfxF2i

https://arxiv.org/abs/2401.08525 As the AI community increasingly adopts large-scale models, it is crucial to develop general and flexible tools to integrate them. We introduce Gather-Attend-Scatter (GATS), a novel module that enables seamless combination of pretrained foundation models, both trainable and frozen, into larger multimodal networks. GATS empowers AI systems to process and generate information across multiple modalities at different rates. In contrast to traditional fine-tuning, GATS allows for the original component models to remain frozen, avoiding the risk of them losing important knowledge acquired during the pretraining phase. We demonstrate the utility and versatility of GATS with a few experiments across games, robotics, and multimodal input-output systems. 여러 모델들을 연결하는 방법. 서로 다른 모델의 레이어들 사이에 GATS라는 모델의 레이어들을 끼워넣는 방식입니다. GATS는 서로 다른 모델의 임베딩에서 각각 최근 임베딩 N개를 가져와서 Attention하고 원 모델의 임베딩으로 Projection 하는 구조네요. 로봇 조작이나 게임 같은 걸 하다가 아주 가볍게(?) MaskGIT과 Chinchilla LM을 GATS로 연결해서 ViT를 학습하는 것과 ViT와 Chinchilla LM을 GATS로 조합하고 MaskGIT & Autoregressive LM으로 학습해서 이미지 캡셔닝과 Text2Image 학습을 한 사례를 보여줍니다.

Forwarded this email? Subscribe here for more 2024년 1월 18일 KIM SEONGHYEON JAN 18   READ IN APP   HippoAttention FP8 Attention들이 나오기 시작하는군요. (https://blog.fireworks.ai/fireattention-serving-open-source-models-4x-faster-than-vllm-by-quantizing-with-no-tradeoffs-a29a85ad28d0) Flash Attention v2의 1.5 ~ 3배 가량의 수치를 보여주고 있네요. 저도 FP8을 써보고 싶네요. 4090이라도 구해와야할지. #efficiency Solving olympiad geometry without human demonstrations (Trie H. Trinh, Yukuai Wu, Quoc V. Le, He He, Thang Luong) Proving mathematical theorems at the olympiad level represents a notable milestone in human-level automated reasoning, owing to their reputed difficulty among the world’s best talents in pre-university mathematics. Current machine-learning approaches, however, are not applicable to most mathematical domains owing to the high cost of translating human proofs into machine-verifiable format. The problem is even worse for geometry because of its unique translation challenges, resulting in severe scarcity of training data. We propose AlphaGeometry, a theorem prover for Euclidean plane geometry that sidesteps the need for human demonstrations by synthesizing millions of theorems and proofs across different levels of complexity. AlphaGeometry is a neuro-symbolic system that uses a neural language model, trained from scratch on our large-scale synthetic data, to guide a symbolic deduction engine through infinite branching points in challenging problems. On a test set of 30 latest olympiad-level problems, AlphaGeometry solves 25, outperforming the previous best method that only solves ten problems and approaching the performance of an average International Mathematical Olympiad (IMO) gold medallist. Notably, AlphaGeometry produces human-readable proofs, solves all geometry problems in the IMO 2000 and 2015 under human expert evaluation and discovers a generalized version of a translated IMO theorem in 2004. https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/ https://github.com/google-deepmind/alphageometry 딥마인드의 올림피아드 기하학 문제를 푸는 시스템. LM이 정의를 만들고 기호 기반 엔진이 전제와 정의로부터 결론들을 연역해나가는 것을 반복해서 증명에 도달해나가는 방법이군요. 데이터 전체를 합성해서 만들었는데 이 데이터의 구성 과정이 핵심이라고 할 수 있겠네요. 전제를 랜덤 샘플한 다음 이 전제에서 유도되는 결론들을 연역하고 이 연역 과정을 기반으로 결론들의 그래프를 만듭니다. 이렇게 하면 임의의 문제와 그에 대한 답을 생성하는 것이 되죠. 여기서 증명 시스템을 만들기 위해서는 정의를 생성할 수 있어야 하는데 이 정의는 결론에 포함되지 않지만 그래프에는 포함된 전제들을 사용합니다. 전제와 결론을 주고 정의들을 예측하게 만드는 것이죠. (이 부분이 좀 헷갈리긴 합니다.)

아주 작은 카페를 하나 만들려고 한다. 당장은 아니고, 아마 2-3년 내에 하나 만들지 않을까 싶다. 카페 컨셉은 명확하다. 사람들이 편하게 라운지처럼 들려서 이야기할 수 있는 카페. 밤에 술 먹고, 합석하는 그런 분위기가 아니라... 대낮에 카페나 티 한 잔 들고도 편안하게 모르는 사람들과 대화 나눌 수 있는 그런 라운지 같은 카페. 서로 같은 일을 하는 업계의 사람일 수도 있고, 완전히 새로운 사람일 수도 있는. 누구는 학생일 수도 있고, 누구는 사업가일 수도, 누구는 디자이너, 개발자일 수도. 그 안에서 새로운 인연이 생겨나 인생의 친구가 생길 수도, 연인이 생길 수도, 공동 창업자가 생길 수도. 서로 편견 없이 대화할 수 있는. 그 무엇도 정해진 것 없지만... 그런 정해지지 않은 미래를 시작할 수 있게 시발점이 될 수 있는 그런 카페. 서울이라는 공간에 마음이 따뜻해지고, 모르는 사람이 말을 걸어와도 편하게 대화할 수 있는 그런 환경과 공간이 있으면 참 좋겠다는 생각을 했다. 결국 환경이 있으면 사람은 거기에 맞춰서 움직이니까. 우리가 서로에게 더 잘해주지 못하는 것은 그러할 수 있는 맥락과 환경이 부족해서라고 생각해서. 함께 할 수 있는 친구들과 이런저런 아이디어들을 던지고 있다. 결국 사람이 있으면... 어떻게든 그 방법은 찾아가는 게 인생이니까. 새로운 무언가의 시작이 된다는 의미에서 카페 이름은 '시발점' 정도면 어떨까 싶다. 일단 끄적끄적. 어떻게든 되지 않을까. https://blog.naver.com/bizucafe/223331717261