Tether、クロスプラットフォーム対応のBitNet LoRAフレームワークをリリース。コンシューマー向けデバイスで数十億パラメータモデルのファインチューニングを可能に。

PANewsは3月21日、TetherがQVAC FabricにおいてクロスプラットフォームBitNet LoRAファインチューニングフレームワークをリリースし、Microsoft BitNet(1ビットLLM)のトレーニングと推論の最適化を可能にしたと報じた。このフレームワークは計算能力とメモリ要件を大幅に削減し、ノートパソコン、コンシューマーグレードGPU、スマートフォン上で数十億パラメータモデルのトレーニングとファインチューニングを可能にする。

このソリューションは、モバイルGPU(Adreno、Mali、Apple Bionicを含む)上でBitNetモデルのファインチューニングを可能にする初のものである。テストでは、125Mパラメータモデルは約10分でファインチューニングでき、1Bモデルは約1時間で可能で、モバイルデバイス上で13Bパラメータモデルまで拡張できることが示されている。

さらに、このフレームワークはIntel、AMD、Apple Siliconなどの異種ハードウェアをサポートし、非NVIDIAデバイスで初めて1ビットLLM LoRAファインチューニングを実現した。性能面では、BitNetモデルはモバイルGPU上でCPUより2~11倍高速な推論速度を実現し、従来の16ビットモデルと比較してメモリ使用量を最大約77.8%削減する。

Tetherは、この技術がハイエンド計算能力とクラウドインフラストラクチャへの依存を打破し、AIトレーニングの分散化とローカル化への発展を促進し、連合学習などの新しいアプリケーションシナリオの基盤を提供する可能性があると述べた。