[外出先のMacBook / 作業PC]
   │
   │ (Tailscale暗号化メッシュVPN)
   ▼
[自宅 Windows/Linux PC (z690)]
   ├─ GeForce RTX 3060 (VRAM 12GB)
   ├─ llama.cpp server または vLLM (ポート 18080)
   └─ モデル: Qwen 3.8 Flash Next (80+ tokens/sec)
  

# 1. llama.cpp リリースまたはDockerを取得
https://github.com/ggerganov/llama.cpp/releases からお使いのOS/CUDA対応版をダウンロード

2. モデルの配置（Hugging FaceからQwen等のGGUFモデルを取得）
例: Qwen 2.5 3B / Qwen 3.8B 等の量子化GGUF
mkdir -p models && cd models
curl -L -O https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf
cd ..

3. 自宅PCで推論サーバーを起動（全ネットワーク0.0.0.0で待受、GPU全層オフロード）
./llama-server \
  -m models/qwen2.5-3b-instruct-q4_k_m.gguf \
  --host 0.0.0.0 \
  --port 18080 \
  -ngl 99 \
  -c 32768
  

# 必要なライブラリのインストール
pip3 install requests
  

#!/usr/bin/env python3
"""
strata_client.py - 自宅GPUへTailscale経由で問い合わせる軽量クライアント
GitHub: https://github.com/tstarryheavens-prog/ai-living-lab
"""

import os
import sys
import requests

環境変数 STRATA_HOST から接続先を取得（デフォルト: localhost）
例: export STRATA_HOST="http://100.x.y.z:18080"
STRATA_HOST = os.getenv("STRATA_HOST", "http://localhost:18080")
MODEL_NAME = os.getenv("STRATA_MODEL", "qwen-3.8-flash-next")

def ask_strata(prompt: str, temperature: float = 0.3, max_tokens: int = 2048) -> str:
    url = f"{STRATA_HOST}/v1/chat/completions"
    headers = {"Content-Type": "application/json"}
    payload = {
        "model": MODEL_NAME,
        "messages": [
            {"role": "system", "content": "あなたは簡潔で的確に回答する優秀なローカルAIアシスタントです。"},
            {"role": "user", "content": prompt}
        ],
        "temperature": temperature,
        "max_tokens": max_tokens
    }

    try:
        res = requests.post(url, json=payload, timeout=90)
        res.raise_for_status()
        data = res.json()
        return data["choices"][0]["message"]["content"].strip()
    except requests.exceptions.ConnectionError:
        return f"❌ 接続エラー: {STRATA_HOST} に接続できませんでした。Tailscaleまたはllama-serverを確認してください。"
    except Exception as e:
        return f"❌ エラー: {e}"

if __name__ == "__main__":
    if len(sys.argv) < 2:
        print("使用法: python3 strata_client.py \"質問や依頼内容\"")
        sys.exit(1)

    prompt = " ".join(sys.argv[1:])
    print(ask_strata(prompt))
  

# 自宅PCのTailscale IPを指定して実行
export STRATA_HOST="http://100.x.y.z:18080"
python3 strata_client.py "このエラーログの要点を3行でまとめて"