Mutt Technologies
Открыть в Telegram
돈 이야기 안해요 (아마도) English speakers might want https://x.com/haxxton1
Больше1 417
Подписчики
Нет данных24 часа
+17 дней
+2430 дней
Архив постов
1 418
로컬 AI 추론 특화 세팅을 하고싶다면 내년에 주목해야 할 칩이 있음. 인텔 크레센트 아일랜드
1.3PFLOPS FP8이면 RTX 5090과 견줄만 하고, 특징적으로 VRAM을 제품군별 160GB-480GB 가량 탑재할 예정. 대역폭은 최대 1.5TB/s
현재 VRAM 대량확보가 가능한 유일한 옵션인 맥 스튜디오의 매우 강력한 경쟁자 포지션이 될 듯. 일단은 2027년 양산 예정인데 일정 밀리면 M7 Ultra와 직접 경쟁하지 않으려나?
https://www.tomshardware.com/tech-industry/artificial-intelligence/intels-crescent-island-ai-accelerator-officially-powers-new-gpu-d-series-products-chip-delivers-1-3-peak-pflops-of-fp8-compute-and-1-5-tb-s-of-memory-bandwidth
1 418
+1
북한이 춘천에 군사도발해서 네이버 데이터센터가 터졌다고 생각해보세요. 네이버페이 안되고 치지직 못보고 온갖 커머스 서비스 다 불통된다면? 일부 데이터는 영원히 복구가 불가능하다고 통보된다면?
똑같은 일이 올해 3월 UAE AWS 데이터센터에서 발생했고(여기는 AZ 한개는 완파로 복구불가 선언함) 지금은 러시아 얀덱스에서 상황 진행 중
어지러운 국제 정세 속에서 서비스 제공자들은 고가용성/고내구성 세팅을 진지하게 검토해야 하며 사용자들도 백업을 분산하는 게 권장됨
https://status.yandex.cloud/ru/incidents/2136
1 418
Machi Big Brother가 트레이딩으로 수익내는 법: 잃어서 $PAPER를 캐려고 시도한다
마반꿀은 과학
https://x.com/izebel_eth/status/2108948659132141772
1 418
OpenAI/Anthropic 프론티어 모델들 첫 출시 이후로 슬금슬금 품질 낮춰서 다음 모델 푸시/인프라 비용 밑장빼기 한다는 의혹이 있는데, 이를 정량적으로 측정하는 곳
https://www.bridgebench.ai/nerf-bench
1 418
Le Chaton Fat 나오면 다 때려잡는다고 조롱받던 Mistral이 오랜만에 프론티어에 섰습니다
Mistral Large 4("Le Chonk"): 1T-A49B sparse MoE 모델
벤치마크가 되게 정신없는데 뭔가 취사선택한 느낌이 들지만, GLM-5.3, Kimi K3 과는 견줄 수 있어보입니다.
가중치는 이번달 말에 공개됩니다.
This is only the beginning. ML4 is the first milestone on the roadmap funded by our €3 billion Series D — the largest equity round ever raised by a European technology company. That capital is already being put to work: we are significantly scaling up our compute capacity in our own European datacenters, and much more is coming online in the months ahead.본문 하단에 보면 GPU 3000개로 RL 돌렸다는 이야기가 나오는데, 4.5조 펀딩 받은걸로 GPU 왕창 사서 스케일업 더 하려나 봅니다. 오픈웨이트 Fable 스케일 미스트랄을 내년엔 볼 수 있을듯? https://mistral.ai/news/mistral-large-4/
1 418
+1
stuckfunds.eth라는 온체인 리서쳐는 브릿지 등등에서 클레임 안 하고 놀고 있는 지갑을 자동으로 찾아서 주인에게 제보해주고 자발적으로 기부를 받는 봇을 돌리고 있음
NEAR Rainbow Bridge 에서 $15M을 출금 안하고 4년째 놀고 있는 미친 지갑을 얘가 발견해서 주인에게 알려줌. 아마 얘가 발견한 지갑 중 역대 최고액 지갑인듯?
왜 4년째 클레임 안 된 채로 놀고 있냐면... 2022년 11월에는...
https://etherscan.io/tx/0xa6ec36400948098c59c2cb18fd562c9c9834bdf7d9ef187cffdfe4cd725e5a9e
1 418
Near Intents는 며칠전 비트겟 해커가 세탁하는 7억원을 동결하는 데에 성공했지만 1시간 전 개빡친 라자루스가(팩트인지는모름) 50억을 털어갔음
1 418
Repost from Pluto Research
스페이스X 직원이 오늘 긴빠이해서 Grok Bot으로 연결되는 dot.com주소를 올리니까 빡쳐서 댓글단 티보 (OpenAI 직원)
1 418
DeepSeek AI가 화웨이 Ascend 칩에 대한 초고속 행렬곱 커널을 오픈소스로 풀었음
원래도 화웨이 칩 써서 딥시크 개발한건 잘 알려져 있었는데, 자기들이 얼마나 인프라 최적화에 목숨을 메다는지(사실 에이전트가 다 한다고 직원이 이야기했었음) 자랑겸 지식공개 느낌
https://x.com/zheanxu/status/2105119944556110265
1 418
티보가 GPT Pro $200 플랜 다시 열거라는데, 명쾌하게 설명한 건 아니지만 (달러로 환산한) 실질적인 토큰 할당량이 반으로 줄어들거라는 이야기도 같이 함.
그래놓고 하는 소리: GPT-6 Sol, GPT-6 Luna는 같은 능력에 반값이니 좀 너프해도 괜찮지? 이해해줘 뿌잉뿌잉
이래놓고 800불인지 500불인지 상위 플랜 내겠다는거냐 티보 이 십새갸
https://x.com/thsottiaux/status/2104823812042940713
1 418
안드레이 카파시가 시작한 NanoGPT challenge 라고, H100 8대로 얼마나 빠르게 GPT-2 small과 동일한 성능을 재현할 수 있는지 스피드런하는 컨텐츠가 있음.
• OpenAI 가 GPT-2 를 만들던 시절에는 168시간 걸렸음(이 땐 Google TPU v3 32개로 한 것이니 비교는 불가)
• 올해 1월에 카파시가 재구현하면서 3분으로 시작
• 올해 3월에 autoresearch를 카파시가 들고 오면서 프론티어 시켜서 1.6분까지 최적화
• 올해 8월 3일까지 여러가지 커널 최적화/파라미터 튜닝을 통해 성능을 쥐어짜서 1.23분까지 단축
• 지난 8월 30일에 최신 연구 결과들(Anvil2 optimizer 등등)을 때려붓고 40초로 단축
이제 피자 한판값 H100 임대료로 피자보다 빠르게 GPT-2를 만들수 있음. 기술의 발전이 정말 무서움
https://x.com/classiclarryd/status/2104688738354028962
1 418
엔비디아 극초창기에 자문하고 스톡옵션을 받았는데 까먹고 옵션 행사를 다 안했다가 날린 돈이...450만주 (약 $1B)
https://colo.to/nvidia-stock-narrative.html
1 418
OpenAI 허깅페이스 해킹사건의 추가적인 정보 발굴 및 정리
• 에이전트가 상주하던 테스트 환경은 외부 URL에 접근은 가능하지만(GET 요청) 페이지 안에서의 상호작용/데이터 전송 등이 막혀있던 상태였음 • 이를 우회하기 위해 아래와 같은 작업을 스스로 수행함 • httpBun 이라는 간단한 웹 코드 공유서비스를 이용하면, URL에 코드를 담아서 전달하는 것이 가능 • 또다른 서비스 mShots가 있는데, 이는 "원격 브라우저" 서비스 로 요약할 수 있음. URL을 입력하면 원격 브라우저가 사이트에 접속해서 스크린샷을 보여줌 • HTTP URL에는 길이 제한이 있기 때문에, 이를 회피하기 위해 링크 단축 서비스(bitly 같은)를 이용해서, 코드를 몇백개의 조각으로 분할한 후 [각 조각의 내용 + 다음 조각을 가리키는 단축 URL] 과 같이 연결된 리스트를 구성함 • 이를 조합하여 mShots에 보내고 스크린샷을 찍으면 GET 요청만으로 원하는 내용의 코드 실행을 수행할 수 있음을 에이전트가 시행착오를 통해 알아냄 • 이후 어찌저찌 HuggingFace 인프라에 접근하고, HuggingFace 직원용 슬랙에도 접근해서 검색하고, "내부 테스트용 데이터셋" 에도 접근함(심지어 외부 유출 금지라는 문구가 있음에도 못본척한 수준이 아니라 아예 금지문구를 날려버리는 짓도 수행함)말이 길었는데 그냥 기술적으로 어떻게 허깅페이스를 탈탈 털었는지에 대해서 사이버 고고학이 이루어졌다 보면 됨 이게 Astra (혹은 그 다음?) 에서 가드레일이 빠진 버전일 텐데, 우리가 쓰는 Astra가 말도 안되게 똑똑하지만 안전을 이유로 얼마나 행동을 제약당하고 있는 건지 감도 안 옴 (Claude도 가드레일이 강력하면 강력했지 절대 약하지 않은데, 극단적인 경우는 인사만 했는데도 기존 채팅내역 보더니 가드레일 위반으로 거절당하는 사례도 있음) 그리고 CIA를 비롯한 미국 정보기관들은 이러한 초고성능 모델을 가드레일 떼고 쓰는게 확실한 상황인데* 전략무기로서의 AI가 얼마나 무서운지 단편적으로나마 교훈을 준 사례라고 보면 될 듯. 거칠게 말하면 CIA/NSA는 이런 괴물을 24시간 내내 돌리고 있을 것임. 중국이 목숨걸고 돈태워가며 추격하는 이유가 있음. https://x.com/JeffLadish/status/2103584703215497217 *여기서 첨언하자면, 앤트로픽은 "대규모 자국민 감시" 와 "완전 자율 무기" 에 대해서만 미국 국방부와의 계약을 거부하였었음. 그 말은... 이 두개 빼고는 AI 사용을 이전에도 하고 있었고 앞으로도 쭉 할것이라는 말로도 해석 가능함. OpenAI/xAI 등은 애초에 거부한 적이 없음.
