Çıkarım çalışma zamanı

Sorun giderme

Önyükleme aşamaları, belirti tablosu, çevrimdışı / önceden doldurulmuş kurulum

Bu sayfa, İngilizce belgeden makine çevirisiyle çevrildi.

Çalışıyor mu, yoksa takıldı mı?

docker logs -f openplate-inference sırasıyla üç aşamadan geçer. "Meşgul" ile "bozuk" durumunu ayırt edebilmen için her birinin nasıl göründüğü aşağıda verilmiştir.

1. Aşama: ağırlıklar indiriliyor (yalnızca ilk önyükleme, ev bağlantısında dakikalardan bir saate kadar sürebilir). Boyutlar, bağlantı hızınla karşılaştırabilmen için en başta yazdırılır:

═══════════════════════════════════════════════════════════════════════
  openplate-inference: weights for MODEL_PROFILE=lite
  destination: /models   total: 1.96 GiB
═══════════════════════════════════════════════════════════════════════
▶ [model] downloading LFM2.5-VL-1.6B-Q8_0.gguf (1.16 GiB) from https://huggingface.co/...
   This is a one-time download into /models. It is resumable:
   restarting the container continues where it stopped.
######################################                            54.2%

Takıldı mı? Yüzde beş dakika boyunca değişmediyse indirme takılmıştır. Konteyneri yeniden başlat: baştan başlamaz, kaldığı yerden devam eder. Sonraki önyüklemelerde bu aşama, bunun yerine birkaç saniyelik sağlama denetimi sürer:

▶ [model] LFM2.5-VL-1.6B-Q8_0.gguf: already present, verifying sha256 (1.16 GiB)...
✅ [model] LFM2.5-VL-1.6B-Q8_0.gguf verified, skipping download.
✅ All weights for profile 'lite' are present and verified.

Sağlama toplamı başarısız olursa günlük, bozuk dosyayı silip yeniden denemen için gereken tam komutu yazdırır. Onu uygula. Aynı dosyada iki kez başarısız olursa, sen ile Hugging Face arasındaki bir şey indirmeyi değiştiriyordur (bir kısıtlı ağ portalı veya filtreleme vekili bunu yapar). Başka bir ağ dene veya birimi elle önceden doldur (aşağıda).

2. Aşama: model yükleniyor (her önyüklemede 5 ila 60 saniye):

═══════════════════════════════════════════════════════════════════════
  Starting llama-server (this loads the model, expect 5 to 60 s)
    profile:  lite
    model:    /models/LFM2.5-VL-1.6B-Q8_0.gguf
    mmproj:   /models/mmproj-LFM2.5-VL-1.6b-F16.gguf
    GPU:      none detected, CPU only (-ngl 0, -t 8)
    context:  8192   slots: 2
═══════════════════════════════════════════════════════════════════════
...
main: server is listening on http://127.0.0.1:8080 - starting the main loop

GPU: satırını kontrol et. "--gpus all verdim ama hala yavaş" durumunun teşhis edildiği yer burasıdır: none detected yazıyorsa GPU konteynere ulaşmıyordur ve başka bir yerde yapılacak hiçbir ayarlama işe yaramaz.

3. Aşama: hazır:

{"level":"info","msg":"openplate-inference listening","port":8300,
 "model":"openplate-plate-1","profile":"lite","concurrency":2,"keyIds":"a1b2c3d4"}

/readyz bundan sonra 200 döner. Servis, modelin yüklenmesi bittikten önce dinlemeye başlar, bu kasıtlıdır: çok GB'lık bir yüklemede engellenen bir önyükleme, donmuş bir konteynerden ayırt edilemez. Çıkarım çalışma zamanı ayağa kalkana kadar /readyz bunu belirtir.

Meydana geliş sırasına göre yaygın hatalar

belirti	neden
Konteyner hemen kapanıyor, tek satır stderr	Hatalı yapılandırma. Mesaj değişkenin adını verir. Yapılandırma önyükleme sırasında doğrulanır: bir model çalışma zamanı olmadan başlayan bir servis her taramaya 502 ile yanıt verir.
İndirme takılıyor, ilerleme yok	Yeniden başlat, kaldığı yerden devam eder.
`CHECKSUM MISMATCH`	Ekrana yazdırılan kurtarma komutunu uygula.
`/readyz` hiçbir zaman 200 değerine ulaşmıyor, günlükler 2. aşamadan sonra duruyor	Model yüklenirken bellek tükendi. `docker stats` değerini ve bellek alt sınırları içeriğini kontrol et.
Taramalar 401 döndürüyor	Anahtar yanlış veya eskimiş. Yeniden başlatma işlemi önyükleme anahtarını tekrar üretir. `API_KEYS` değerini ayarla.
Taramalar `Retry-After` ile 429 döndürüyor	Beklendiği gibi çalışıyor: kuyruk dolu veya `RATE_LIMIT_RPM` sınırını aştın.
Taramalar 502 döndürüyor	Servis ayakta ama model çalışma zamanı değil. 2. aşamaya bak. Harici modda `MODEL_RUNTIME_API_KEY` kontrolü yap (bkz. Hazır olma durumu).
Taramalar başarılı ama her `macrosPer100g` null dönüyor	Makro çözümleme kapalı. Ya `FOOD_SOURCE=none` ya da besin veritabanı okunamadı; hangisi olduğunu önyükleme günlüğü belirtir. Bkz. Yemek verileri. Tanımlama yine de çalışır.
`FOOD_SOURCE=lcc` ve makrolar gün ortasında null değerine dönüyor	`LCC_API_KEY` olmadan anonim katman tükenir (IP başına UTC günü başına 1.000 kredi). Bir anahtar olduğunda ise aylık kotası harcanmıştır veya LowCarbCheck anahtarı reddetmiştir. LowCarbCheck erişilemez de olabilir. Günlük `stage`, `source`, `failed` ve `attempted` alanlarını içeren bir warn satırı taşır. `LCC_API_KEY` ayarla, anahtarı kontrol et, `fdc` seçeneğine geç veya bir sonraki UTC gününü bekle.
openplate "bu örnek kendi yapay zekasını sağlar" kartını göstermiyor	`DEFAULT_INFERENCE_BASE_URL` ayarlanmamış veya tarayıcıdan üzerinden erişilemiyor. README hızlı başlangıcı içindeki Yol A bölümüne bak.

Çevrimdışı / önceden yüklenmiş kurulum

GGUF dosyalarını birime kendin kopyala, böylece indirme aşaması bir doğrulama aşamasına dönüşür. Dosya adları birebir eşleşmelidir; tüm dosya adlarını ve sha256 değerlerini içeren bildirim scripts/fetch-weights.sh dosyasının en başındadır.

bash

docker run --rm -v openplate-models:/models -v "$PWD:/src" alpine \
  cp /src/LFM2.5-VL-1.6B-Q8_0.gguf /src/mmproj-LFM2.5-VL-1.6b-F16.gguf /models/

Ağırlıkları kendi depolama alanında yansılıyorsan, WEIGHTS_MIRROR_BASE değerini bu dosya adlarını barındıran bir temel URL olarak ayarla; Hugging Face yedek seçenek olarak kalır ve sağlama toplamları her iki durumda da zorunlu tutulur, dolayısıyla bir yansı sana farklı ağırlıklar veremez.

Hâlâ çözülmedi mi?

Çalışma zamanı uyumluluk sorunları (her taramada 502, bozuk çıktı, yanlış eşzamanlılık): Kendi çalışma zamanını getir.
Yavaş ama çalışıyor: Donanım ve ölçülen gecikme süresi.
Diğer her şey için: çalışma zamanı türün ve sürümün, kullanılan model, ilgili istek ve yanıt ile /readyz çıktını ekleyerek bir sorun kaydı aç.