Low VRAM Large Model Execution
Low VRAM Large Model Execution
何ができそうか
提案
Strata + 深度量子化モデルのローカル実行パイプライン
自分のRTX 4080 SUPER（16GB VRAM）を活用し、StrataエンジンとGSQ-RCO量子化モデルを組み合わせて、763Bパラメータモデルを効率的にローカルで実行し、パフォーマンス指標を可視化するワークフロー構築。
次の一歩
「idea-stock」リポジトリに「strata-llm-benchmark」プロジェクトを作成し、DeepSeek-V4.1-Flash-1017のGSQ-RCO量子化版をシステムで起動し、トークン生成速度と品質をログ収集するスクリプトを実装する。具体的には、systemd user timerで週1回実行するスクリプトを作成し、結果をJekyllブログに自動投稿。
着想の背景
記事群に登場する「Strataによる12GB VRAMでも動く125Bモデル実行」「GSQ-RCO圧縮による763Bモデルの230GB化」がキーポイント。自分の環境（16GB VRAM + 64GB RAM）では、Strataが「125Bモデルを12GB GPUで動かす」技術を応用し、DeepSeekの763Bモデルをさらに高効率化できる可能性がある。また、「Unsloth + llama.cppで3倍の推論速度」という記述から、既存のLLM実行環境に比べて性能向上が期待できる。