AIとLLMの進化とハードウェアの最適化
AIとLLMの進化とハードウェアの最適化
何ができそうか
提案
Strata最適化ワークフローの実装
Qwen3.8-Flash-NextをRTX 4080上で効率的に実行するため、Strataエンジンを導入し、モデルの量子化とメモリ配分を再設計する。
次の一歩
本人がUbuntu環境で Strata リポジトリをクローンし、Ollamaで動かしているQwen3.8-27Bモデルに適用するコードを idea-stock リポジトリに作成し、systemd user timer で自動実行するパイプラインをテストする。
着想の背景
記事ではStrataが12GB GPUと32GB RAMで125Bモデルを実行し、RTX 5070でも高性能な結果を出している。本人のRTX 4080（16GB VRAM）はこれを上回るスペックであり、Qwen3.8-27Bのローカル推論性能をさらに引き出す余地があると判断。また、NVIDIAのNemotronやDeepSeekの進化を受けて、自社開発プロセスに同様の最適化を導入する必要性が生じた。