690604:1549 ADR-034-134 #09.2 [skip CI]

2026-06-04 15:49:27 +07:00
parent c841be1b31
commit 1c3d9906e4
1 changed files with 1 additions and 0 deletions
@@ -238,6 +238,7 @@ def process_with_typhoon_ocr(pil_image: Image.Image, options_override: dict = {}
        "top_p": 0.1,
        "repeat_penalty": 1.1,
        "num_gpu": 99,  # บังคับ GPU layers สูงสุด — ป้องกัน Ollama fallback ไป CPU โดยไม่จำเป็น
+        "num_ctx": 2048,  # ลด KV cache + compute graph จาก 6.7 GiB → ~1.7 GiB เพื่อให้ model fit ใน VRAM 8GB
        **options_override,
    }
    payload = {