Model doğruluğu: bir model adının dört rotası olduğunda ne olur

Bir relay’de model adı bir adres değildir. Bir veya daha fazla üst akış kanalına iliştirilmiş bir etikettir ve relay her istek için aralarından seçim yapar. O seçimi anlamak, bir kataloğa inanmakla onu kontrol edebilmek arasındaki farktır.

Kategorinin ölçülmüş en kötü başarısızlığı burada yaşıyor. 28 relay üzerinde yapılan bir çalışmada uçların %45,83’ü istenenden farklı bir model sundu. Birkaç kötü aktör değil: test edilen uçların neredeyse yarısı.

Rota gerçekte nedir

Rota, bir model adından cevap verebilecek bir şeye giden bir yoldur. Somut olarak bir sağlayıcı kimlik bilgisi artı bir uç artı onlarla gelen yapılandırmadır. claude-opus-5 sunan bir relay üç ayrı Anthropic hesabı tutuyor olabilir ve her biri bir rotadır. Aynı model, aynı ağırlıklar, ulaşmanın üç yolu.

Birden çok rota iyi sebeplerle vardır. Hız sınırları hesap başınadır, yani üç hesap üç katı verim demektir. Hesaplar birbirinden bağımsız arızalanır, yani ikinci rota bir yedektir. Fiyatlar bölgeye veya sözleşmeye göre değişebilir, yani bir rota daha ucuz olabilir.

Aynı zamanda kötü sürüm için de fırsat yaratırlar: o rotalardan biri istediğiniz model değildir. Daha küçük bir kardeş, bir ince ayar veya aynı etiketin ardındaki başka bir sağlayıcının modeli olabilir. Dışarıdan üçü de test edene kadar aynı görünür.

Bu katalogdaki model

53 (2026-08-30 okundu)

Tek rotayla sunulan

29

Birden fazla rotayla sunulan

24

En derin dallanma

3 modelde 4 rota

Bu sayılar, bu istasyonun genel katalogda model başına yayınladığı route_count alanından geliyor. Bir relay’in bunu yayınlayıp yayınlamaması başlı başına bilgi vericidir — bir isteği karşılamanın kaç yolu olduğunu söylemeyen bir relay, sizden o soruyu düşünmemenizi istiyordur.

Seçim nasıl yapılıyor

Birden fazla rota varken bir politika karar verir. Politika bir sıralamadır ve sıralama işletmecinin neyi optimize ettiğini kodlar. Bu istasyonunki sırayla: kararlılık, ilk token’a kadar süre, doğruluk, sonra fiyat.

Bunu bir cümle olarak okuyun: en az arızalanacak rotayı tercih et; onlar arasında en erken cevap vermeye başlayanı; onlar arasında gerçek model olma ihtimali en yüksek olanı; ve ancak ondan sonra en ucuzu. Fiyatı öne koyan bir relay tutarlı ama çok farklı bir söz veriyor olurdu ve bunu tam da canary testinin tespit etmek için tasarlandığı biçimde fark ederdiniz.

Bunların hiçbiri yanlış değil. Yanlış olan, hangisini işlettiğinizi söylememektir; çünkü her biri “ödediğimi aldım mı” sorusuna farklı cevap verir ve müşteri bunu cevaba bakarak anlayamaz.

İkame ve neden görülmesi zor

İkame edilmiş bir model bozuk bir cevap değildir. Akıcı, düzgün biçimlenmiş, doğru şekilli ve ödediğinizden biraz daha kötü bir cevaptır. Onu ticari olarak cazip ve yakalanması zor yapan da budur:

• Cevap şeması aynıdır, yani kodunuzda hiçbir şey hata vermez.
• usage bloğu yine token sayıları döndürür, yani muhasebeniz normal görünür.
• Kalite kaybı, muhtemelen istek başına çalıştırmadığınız bir değerlendirmede küçük bir kayma olarak belirir.
• Aralıklı olabilir — dört rotadan biri — yani tek bir test geçer.

Bir belirti varsa, genelde metin değildir. Farklı model aileleri farklı token’lar; aynı istem için tamamlama token sayıları ifadelerden önce ayrışma eğilimindedir. Canary yönteminin cevabın yanı sıra token sayılarını da karşılaştırmasının sebebi budur.

“Sağlıklı” ne demek, ne demek değil

Kataloglar sıklıkla model başına bir durum yayınlar. Bu katalogda şu an her model healthy okuyor ve o kelimenin neyi kapsadığı konusunda net olmakta fayda var: rota son isteklere başarıyla cevap verdi demektir. Bir erişilebilirlik sinyalidir.

Bir doğruluk sinyali değildir. İkame edilmiş bir model sunan rota gayet sağlıklıdır — her seferinde hızlı ve düzgün biçimde cevap verir. Sağlık ve doğruluk farklı özelliklerdir ve yalnızca biri sunucu tarafından kolayca ölçülebilir. Yeşil bir durumu doğru modeli aldığınızın kanıtı gibi sunan her relay ikisini birbirine karıştırıyordur ve iddiayı dikkatle okumalısınız.

Rota sayısını okumak

Yayınlanmış bir rota sayısı faydalı bilgidir ama insanların sıkça varsaydığı anlama gelmez. Yüksek daha iyi, düşük daha güvenli değildir; sayı doğruluğu değil kapasiteyi ve yedeklemeyi tarif eder.

Faydalı okuma politikayla birlikte olanıdır. Doğruluk öncelikli bir sıralamada dört rota kapasitedir; fiyat öncelikli bir sıralamada dört rota, size daha ucuz bir şey sunulması için dört şanstır. Sayı tek başına bunları ayıramaz; ikisinin de bir katalog sayfasında bulunmasının sebebi budur.

Bir relay’e yönlendirme hakkında ne sormalı

Dört soru; üzerine düşünmüş bir işletmecinin hepsini tek cümleyle cevaplayabileceği ve cevaplayamadığında bilgi verici olan sorular:

1. 01Bu modele kaç rota hizmet ediyor ve bu sayıyı yayınlıyor musunuz?
2. 02Yönlendirme politikanızın sıralaması nedir ve okuyabilir miyim?
3. 03Tüm rotalar resmî sağlayıcı kimlik bilgisi mi, yoksa bazıları başka türden mi?
4. 04Devralmada ne oluyor — farklı bir modele mi düşüyorsunuz, yoksa aynı modele giden farklı bir rotaya mı?

Sonuncusu, savunulabilir görünen belirli bir davranışı yakalar: istenen model erişilemez olduğunda daha ucuz bir modele düşerek isteğin hata vermek yerine başarılı olmasını sağlamak. Bazı kullanıcılar bunu ister. Asla varsayılan olmamalı ve asla sessiz olmamalıdır, çünkü başa çıkabileceğiniz bir kesintiyi göremeyeceğiniz bir kalite gerilemesine çevirir.

Kayda geçsin diye bizim cevaplarımız: rota sayıları katalogda model başına yayınlanıyor; politika kararlılık, ilk token, doğruluk, fiyat; rotalar resmî sağlayıcı kimlik bilgileri; ve devralma aynı modele giden rotalar arasında oluyor, asla farklı bir modele değil. Bunlar iddialardır. Test edin.

İkame onlara ve size ne kazandırır

İkame olur çünkü aritmetiği caziptir. Aynı ailedeki öncü ve orta seviye modeller arasında fiyat farkı çoğu zaman beş ila on kat iken, kolay istemlerde — ki istemlerin çoğu kolaydır — benzer okunan cevaplar üretirler.

Yayınlanmış liste fiyatlarıyla hesaplayın. Milyon girdi token’ı başına 4,00 olan bir öncü model ve 0,75 olan orta seviye kardeşi: pahalının fiyatına ucuz olanı sunmak, farkı her istekte, görünmeden, cevap şemasında hiçbir değişiklik ve izlemenizin yakalayacağı hiçbir hata olmadan cebe atar.

Size maliyeti ise eşit dağılmaz ve zor olan kısım budur. Basit istemlerde ikame edilmiş model çoğu zaman ayırt edilemez. Kayıp tam olarak pahalı modeli almak için satın aldığınız durumlarda yoğunlaşır — uzun bağlam, çok adımlı akıl yürütme, dikkatli talimat takibi, derlenmesi gereken kod. Yani hasar gerçektir, en zor iş yüklerinizde toplanır ve çoğu insanın yaptığı sıradan testte en az görünürdür.

Yönlendirme mekanizmadır; canary testi onu dışarıdan kontrol etme yoludur. İkisi de relay’lere dair geniş rehberin içinde yer alıyor; o rehber, üretim trafiğini bir relay’den geçirmeden önce başka nelerin denetlenmeye değer olduğunu anlatıyor.