世界各国が血眼になってGPUを確保する中、とてつもないLLMがリリース、1ビットLLM 全ての推論を加算のみ GPU不要になる可能性も

1: 稼げる名無しさん：2024/02/29(木) 16:34:34.47 ID:/Cz/NJMF9.net

Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits(https://arxiv.org/pdf/2402.17764.pdf)」だ。
彼らが発表したグラフを引用しよう。
画像
https://wirelesswire.jp/wp-content/uploads/2024/02/21622e3ce0b3cdc355c5a6679c4ea640-1536×1031.png

Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へhttps://t.co/KKRA5bw9MZ

— GIGAZINE(ギガジン) (@gigazine) February 29, 2024

1001: 以下名無しさんに代わりまして管理人がお伝えします 1848/01/24(？)00:00:00 ID:money_soku

スレタイで「GPUが不要になる可能性」ってあるけれど、行列の加算でもGPUが圧倒的なのでは？
乗算だけなんだっけ？

　加算でも同様にGPUのほうが早かったと記憶しているが、最新のアーキテクチャは確認していないのでちょっと調べてみたいな。
　スレ内ではNVIDIA終了という声も見られたが、恐らく問題なくNVIDIA一強状態は続くのではと思っている。（株価は上昇一服状態に入っているが）