690604:1613 ADR-034-134 #09.5 [skip CI]

2026-06-04 16:14:00 +07:00
parent 29314a7ec4
commit 1a399400ff
2 changed files with 2 additions and 2 deletions
@@ -238,7 +238,7 @@ def process_with_typhoon_ocr(pil_image: Image.Image, options_override: dict = {}
        "top_p": 0.1,
        "repeat_penalty": 1.1,
        "num_gpu": 99,  # บังคับ GPU layers สูงสุด — ป้องกัน Ollama fallback ไป CPU โดยไม่จำเป็น
-        "num_ctx": 2048,  # ลด KV cache + compute graph จาก 6.7 GiB → ~1.7 GiB เพื่อให้ model fit ใน VRAM 8GB
+        "num_ctx": 4096,  # image tokens ~2772 → ต้องการ context > 2048; 4096 รองรับ image + output โดยไม่ truncate
        **options_override,
    }
    payload = {
@@ -1,6 +1,6 @@
 FROM scb10x/typhoon-ocr1.5-3b:latest

-PARAMETER num_ctx 2048
+PARAMETER num_ctx 4096
 PARAMETER num_predict 2048
 PARAMETER temperature 0.1
 PARAMETER top_p 0.1