【Strata × GPU-UNLOCK】公式推奨構成を超越する！RTX 4070 Ti SUPER＋3060でPrefillが2.5倍（1,265 tok/s）に跳ね上がった実測検証と律速の物理限界

1. Strataとは：巨大MoEモデルを一般PCで動かすオープンソース推論エンジン

AIモデルのパラメータ数が100Bを超える時代において、従来の個人開発環境では「VRAMにモデル全体が収まらない」という物理的な壁が存在していました。この課題を打ち破るべく登場したのが、オープンソースの推論エンジン「Strata」です。

Strataは、GPUのVRAMだけでなく、メインメモリ（RAM）や高速NVMe SSDを階層的に組み合わせ、計算をCPUとGPUでインテリジェントに分担（Offloading）します。これにより、総パラメータ125B（アクティブ約3B）のQwen3.8-Flash-Nextや、総パラメータ552BのDeepSeek V4.1-Flashといった超巨大MoE（Mixture of Experts）モデルを、コンシューマー向けPC環境で実行可能にしました。

2. 対応モデルと量子化方式の選び方

npaka氏のまとめ記事（note）でも整理されているとおり、Strataがサポートする主要LLMと量子化方式には明確な役割分担があります。

主な対応LLM

• Qwen3.8-Flash-Next：総125B、アクティブ約3B。個人環境で最もバランス良く高速に動作する主力モデル。
• Qwen3.6-35B-A3B：総35B、アクティブ約3B。VRAMやRAMの制約が厳しい環境向けの小型MoE。
• DeepSeek V4.1-Flash-1017：総552B、アクティブ8B〜16B。SSDスワップ前提の超巨大モデル。

量子化フォーマットの特性

Strataでは、公式が推奨するISTA-DASLabの量子化モデル（Q2_0, IQ2_XS, IQ3_XXS, IQ3_S）やUnsloth Dynamic方式（UD-Q4_K_XL等）、NVIDIA向けNVFP4が用意されています。日常的な対話や推論では、速度と精度のバランスが極めて優れたIQ2_XSまたはIQ3_XXSが実用上のデファクトスタンダードとなります。

3. RAM・VRAM別の公式推奨構成と「見落とされがちな盲点」

公式ドキュメントで提示されているPC構成と生成速度の目安は以下のとおりです。

しかし、こうした公称スペックには「ある決定的な盲点」が存在します。それは、多くのベンチマークが「逐次生成速度（Decode）」のみに着目しており、プロンプト処理速度（Prefill）や初回トークン遅延（TTFT: Time To First Token）の律速メカニズムに踏み込んでいないという点です。

特にGeForce環境においては、ハードウェア本来の演算能力がソフトウェア／ファームウェアの壁によって抑え込まれており、このリミッターを解除することで劇的な性能向上が眠っています。

4. 【実機検証】公式スペックを粉砕する「GeForce GPU-UNLOCK」の衝撃

手元の実機環境において、GeForce特有のリミッターを解除し、Strataでの実効性能がどのように変化するかを徹底検証しました。

検証ハードウェア構成

• メインGPU：NVIDIA GeForce RTX 4070 Ti SUPER（16GB VRAM, PCIe Gen4 x16接続）
• ヘルパーGPU：NVIDIA GeForce RTX 3060（12GB VRAM, PCIe Gen4 x4接続）
• 対象モデル：qwen3.8-flash-next-iq3_xxs
• 推論エンジン：Strata（strata-bench）

GeForceに課された「Tensorコア半速リミッター」とは

コンシューマー向けGeForce（Ada Lovelace / Ampere世代）は、データセンター向けプロ用GPUとの市場差別化のため、「FP16/BF16入力・FP32アキュムレーション（累算）のTensorコア命令発行レートが本来の約半速に制限」されています。現代のLLM推論やGEMM（行列積）は数値精度の破綻を防ぐためにFP32累算が必須ですが、GeForceはここが意図的にボトルネック化されているのです。

このハードウェア制限をカーネルレベルで解放するのが「GPU-UNLOCK」です。

自作cuBLAS 13ベンチマークによるハードウェア実証

PyTorchや重厚なCUDA Toolkitに頼らず、Strata同梱のlibcublas.so.13をC言語から直接dlopenする安全装置付きベンチマークツールを作成し、RTX 4070 Ti SUPERの実力を単体測定しました。

// gemm_bench.c: cuBLAS 13 を直接 dlopen して Tensor Core の実効性能を測定する安全装置付きベンチマーク
#include <stdio.h>
#include <stdlib.h>
#include <dlfcn.h>
#include <cuda_runtime.h>
#include <cublas_v2.h>

int main(int argc, char **argv) {
    int dev_id = (argc > 1) ? atoi(argv[1]) : 0;
    cudaSetDevice(dev_id);

    // Canary GEMM: 極小サイズでカードの生存と応答性を事前に確認
    if (run_canary_gemm(dev_id) != 0) {
        fprintf(stderr, "Error: GPU %d failed canary check (possible bus error)\n", dev_id);
        return 3;
    }

    // 2048x2048 行列積 (BF16入力 -> FP32累算)
    const int N = 2048;
    printf("[GPU %d] Running 2048^3 BF16->FP32 GEMM...\n", dev_id);
    double tflops = benchmark_gemm(dev_id, N, CUDA_R_16BF, CUDA_R_32F);
    printf("[GPU %d] Result: %.2f TFLOPS\n", dev_id, tflops);
    return 0;
}

半速制限下では90 TFLOPS未満に頭打ちするはずのRTX 4070 Ti SUPERが、158.5 TFLOPSという理論上限の約90%を記録。ハードウェアリミッターの解除が完璧に実証されました。

Strata実機ベンチマーク：Prefill 2.5倍、TTFT半減の衝撃結果

このGPU-UNLOCK環境において、Strataでqwen3.8-flash-next-iq3_xxsを実行した実測データが以下です。

数字を見て息を呑みました。プロンプト処理速度（Prefill）は503 tok/sから一気に1,265.7 tok/sへ急伸（+151.5%、約2.51倍）。これに伴い、ユーザーがプロンプトを投げてから最初の1文字目が返ってくるまでの遅延時間（TTFT）は、約2秒（1,962ms）から0.8秒台（820ms）へと半減以下（-58.2%）に短縮されました。

公式が掲載しているRTX 5070（単体）のPrefill速度を遥かに凌駕し、対話型エージェントとしての体感速度は完全に別次元へと到達しています。

5. 工学的徹底考察：なぜPrefillは2.5倍になり、Decodeは23%増だったのか？

ここで技術者として最も興味深い問いが生じます。「なぜPrefillは2.5倍に爆発したのに、Decodeは+23.1%にとどまったのか？」という点です。

このデータは、LLM推論における「Compute-bound（演算律速）」と「Memory-bound（メモリ帯域律速）」の物理的境界線を完璧に証明しています。

1. Prefillが爆発した理由（Compute-boundの解放）

ユーザーが入力した数百〜数千トークンのプロンプトを一括処理するPrefillフェーズは、巨大な行列積（GEMM）の並列計算が支配的です。ここは純粋にGPUコアの演算スループット（TFLOPS）に依存します。

GPU-UNLOCKによってTensorコアの半速制限が取り払われ、cuBLAS実測で158.5 TFLOPSという真の馬力がダイレクトに注ぎ込まれたため、理論想定（約2倍）を超える2.51倍のスループットが達成されました。

2. Decodeが23%増にとどまった理由（Memory-boundの物理限界）

一方で、1トークンずつ逐次出力するDecodeフェーズの演算量はごくわずかです。

$$1\text{トークンあたりの演算量} \approx 2 \times P \quad (P: \text{アクティブパラメータ数})$$

Qwen3.8-Flash-Nextのアクティブパラメータ約3B（30億）に対し、1トークン生成に必要な演算量は約6 GFLOPに過ぎません。154 TFLOPSの演算器から見れば、計算能力の1%未満しか使っておらず、理論上の計算律速上限は20,000 tok/sを遥かに超えています。

しかし、トークンを1つ生成するたびに、モデルの全重みデータをVRAMからキャッシュへ読み出す必要があります。そのため、Decode速度は「VRAMの実効帯域幅（RTX 4070 Ti Sの504 GB/s）およびデュアルGPU間のPCIe転送速度」によって完全に頭打ちになります。

メモリ帯域という物理的な天井が存在する中で+23.1%（84.8 tok/s）伸びた理由は、コアクロック向上に伴うL2キャッシュ実効スループットの改善と、Attention計算などの一部演算負荷の短縮によるものです。これはハードウェアの特性を限界まで引き出した理想的な挙動と言えます。

💡 GPU-UNLOCKの真価とは
GPU-UNLOCKの最大の価値は、「Decode速度をわずかに伸ばすこと」ではありません。「TTFT（初期応答遅延）を半減させ、数千トークンの長文プロンプトやRAG、マルチモーダル入力、同時並行リクエストのボトルネックを完全に粉砕すること」にあります。

6. ハードウェア運用のリアル：RTX 4060のPCIeバス落ち（Xid 79）と安全装置

自作マルチGPU環境でハイパワー推論を行う際、避けて通れないのがハードウェアの安定性問題です。今回の検証過程でも、極めてシビアなトラブルに直面しました。

Xid 79連鎖とUVM致命障害の究明

当初、サブ機として搭載していたRTX 4060に高負荷をかけた際、システムが突如クラッシュして再起動する現象が発生しました。カーネルログを詳細に追跡した結果、以下の障害連鎖が判明しました。

• nvidia 0000:05:00.0: PCIe Bus Error: severity=Uncorrectable (Non-Fatal), type=Transaction Layer
• NVRM: Xid (PCI:0000:05:00): 79, GPU has fallen off the bus.
• NVRM: Xid: 154, GPU recovery action changed ... (Node Reboot Required)
• NVRM: uvm encountered global fatal error 0x60, requiring os reboot to recover.

大電力駆動に伴うPCIeシグナル整合性の低下により、RTX 4060がPCIeバスから脱落（Xid 79）。これに連鎖してNVIDIA UVM（Unified Virtual Memory）がグローバル致命障害（0x60）を起こし、全GPUが再起動必須状態に追い込まれていました。物理リンクを確認すると、最大Gen4 x8のカードがGen1 x4（2.5 GT/s）にフォールバックしていたのです。

安全装置付き測定スクリプトの実装

このトラブルを受け、システムを巻き込む暴走を防ぐため、PCIeリンク速度検査とCanary（炭鉱のカナリア）テストを自動化した測定スクリプトを開発しました。

#!/usr/bin/env bash
run-gemm.sh: PCIeリンク健全性事前検査付き実行スクリプト
GPU_ID=${1:-0}
PCI_ADDR=$(nvidia-smi --query-gpu=pci.bus_id --format=csv,noheader -i $GPU_ID | tr -d '[:space:]')
LINK_GEN=$(cat /sys/bus/pci/devices/$PCI_ADDR/current_link_speed 2>/dev/null)

echo "[PRE-CHECK] GPU $GPU_ID ($PCI_ADDR) Link Speed: $LINK_GEN"
if [[ "$LINK_GEN" == *"2.5 GT/s"* ]]; then
    echo "[ABORT] PCIe link downgraded to Gen1! Refusing to run to prevent Xid 79."
    exit 3
fi

./gemm_bench $GPU_ID

リンク速度がGen1に落ちているGPUは自動で実行を拒否（exit 3）し、健全な4070 Ti SUPERと3060のみでStrataを安全に運用する体制を確立しました。

# Strata での Qwen3.8-Flash-Next 実行コマンド例
./strata-run \
  --model qwen3.8-flash-next-iq3_xxs \
  --main-gpu 0 \
  --helper-gpu 2 \
  --gpu-roles 1:"off" \
  --ctx-size 32768 \
  --bench-mode

7. まとめ：Strataのポテンシャルを極限まで引き出すための設計指針

npaka氏のまとめ記事（note）が示したように、StrataはMoEモデルのメモリ階層化によってローカルLLMの可能性を大きく広げました。そして今回の実機検証から得られた知見は、さらに一歩先のアーキテクチャ設計を示唆しています。

1. 公式ベンチマークの数値は「通過点」に過ぎない：GeForceのTensorコア制限を解除することで、Prefill性能は2.5倍（1,265 tok/s）に跳ね上がり、TTFTは820msへと激変する。
2. Decodeはメモリ帯域、PrefillはTensor演算：どれだけ強力なGPUを積んでも、Decode速度はGDDR6帯域幅で頭打ちになる。余剰となった150+ TFLOPSの演算パワーは、TTFT短縮やコンテキスト処理（RAG）、Visionエンコーダ、投機的サンプリング（Speculative Decoding）に割り振るのが最も費用対効果が高い。
3. ハードウェアの健全性監視が不可欠：マルチGPUで高負荷をかける際は、PCIeリンクの速度低下（Gen1フォールバック）やXidエラーを検知する安全機構が安定運用の鍵を握る。

公称スペックを眺めるだけでなく、ハードウェアの物理特性とアーキテクチャの境界線を見極めること。それこそが、ローカルAI環境を自らの手で最適化する最大の醍醐味と言えます。