AI API relay’leri: nasıl çalışır ve biri nasıl denetlenir

AI API relay’i, kodunuzla model sağlayıcısı arasında duran bir sunucudur. SDK’nızı OpenAI veya Anthropic yerine relay’e yöneltirsiniz, zaten göndereceğiniz isteği gönderirsiniz, relay onu üst akışa iletir, cevabı alır ve size geri verir. Fikir bu kadar. Bir relay’i diğerinden ayıran her şey — fiyat, güvenilirlik ve risk — o gidiş dönüş sırasında olan bitende saklıdır.

Bu rehber bir relay’in gerçekte ne yaptığını, karşılaşacağınız dört türü ve kullanmaya değer olanı kaçınılması gerekenden ayıran kontrolleri anlatıyor. Bir relay işleten insanlar tarafından yazıldı; bu bir çıkar çatışmasıdır ve aynı zamanda içeriyi tarif etmek yerine gösterebilmemizin sebebidir.

Mekanizma, tek bir istekte

Relay, ilettiği sağlayıcıyla aynı protokolü konuşan bir HTTP sunucusudur. Pratikte bu, aşağıdaki gibi bir isteği kabul edip sağlayıcınınkiyle aynı biçimde bir cevap döndürmek demektir.

curl https://proxystation.co/v1/chat/completions \
  -H "Authorization: Bearer sk-..." \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-5.6-sol","messages":[{"role":"user","content":"hi"}]}'

O isteğin makinenizden çıkmasıyla cevabın gelmesi arasında dört şey olur:

1. 01Kimlik doğrulama. Relay kendi anahtarını kontrol eder, sağlayıcınınkini değil. Sizin anahtarınız relay tarafından verilmiştir ve üst akışta hiçbir anlam taşımaz.
2. 02Yönlendirme. Relay, bu isteğe hangi üst akış kimlik bilgisinin ve hangi ucun hizmet edeceğine karar verir. Tek bir model adının birden çok olası rotası olabilir; hangisinin cevapladığı bir politika kararıdır ve anlaşılmaya en değer kısım burasıdır.
3. 03İletme. İstek relay’in kendi sağlayıcı kimlik bilgisiyle yeniden imzalanıp gönderilir. Sağlayıcı sizi değil, relay’i görür.
4. 04Muhasebe. Cevap döner, relay token sayılarını cevabın içinden okur, fiyatlandırır ve bakiyenizden düşer.

Üçüncü adım relay’lerin ticari varlık sebebidir: relay kapasiteyi bulabildiği fiyattan alır ve yeniden satar. İkinci adım birbirlerinden nasıl ayrıldıklarıdır. Dördüncü adım ise karşılaştırdığınız sayıların nereden geldiğidir.

Dört tür relay

Kategorinin kendi sözlüğü — topluluk tarafından sürdürülen relay istasyonu indeksinden — onları üst akışta ne olduğuna göre ayırır:

Bu ayrım akademik değil. Ters mühendislik yapılmış bir relay size API kılığında bir tüketici oturumu sunuyordur — bu kadar ucuz olabilmesinin ve haber vermeden kaybolabilmesinin sebebi budur. Resmî bir relay ise gerçekten parasını ödediği kapasiteyi yeniden satar; fiyat tabanı sağlayıcının toptan fiyatıdır ve başarısızlık biçimi bir ucun yok olması değil, bir işletmenin batmasıdır.

Tek model adı, birden çok rota

Relay’lerle ilk kez tanışanlar için en şaşırtıcı şey, bir model adının bir adres olmamasıdır. O bir etikettir; bir veya daha fazla üst akış kanalına eşlenir ve relay her istek için aralarından seçim yapar.

Bu istasyonun kataloğunda, 2026-08-30 tarihinde okunduğunda: 53 modelin 29’unun tek rotası, 24’ünün birden fazla rotası var — on yedisinde iki, dördünde üç, üçünde dört. Bu genel veridir; rota sayısı katalog API’sinde model başına yayınlanır.

Birden fazla rota olduğunda bir şeyin seçim yapması gerekir. Bu istasyonun yönlendirme politikası sırayla kararlılık, ilk token’a kadar geçen süre, doğruluk ve fiyattır. Bunları farklı sıralayan bir relay — mesela önce fiyat — savunulabilir ama çok farklı bir söz veriyor olurdu ve farkı hangi modelin gerçekten cevapladığında hissederdiniz.

Bunun önemi ölçülebilir olmasında ve başka yerlerde ölçülerek yanlış çıkmasında. 28 relay üzerinde yapılan bir çalışmada uçların %45,83’ü istenen modelden farklısını sundu. Bu bir yuvarlama hatası değil; neredeyse yarısı. Yönlendirme nasıl çalışır ve rota sayısı ne anlatır mekanizmayı adım adım anlatıyor.

Fiyat karşılaştırması nasıl kuruluyor

Her relay bir indirim ilan eder ve indirim iki sayı arasındaki orandır: relay’in aldığı ve sağlayıcının aldığı. İlkini relay tam olarak bilir. İkincisini bir yerden kopyalar.

O ikinci sayı, bizimki dahil okuyacağınız her karşılaştırmanın yumuşak kısmıdır. Sağlayıcılar onu kendileri yayınlar — OpenAI, Anthropic, Google ve xAI birer sayfa tutar — yani kontrol edilebilirdir, ve onu kontrol etmek şüpheci bir okuyucunun yapabileceği en faydalı iştir.

Kendi kataloğumuzun liste fiyatı sütununu 2026-08-27’de o sayfalara karşı denetledik ve iki yönde de yanlış bulduk: bir satır indirimimizi abartıyor, bir satır olduğundan az gösteriyordu. Tam olarak neyin yanlış olduğunu ve nasıl bulduğumuzu yazdık, çünkü paydası kimsenin kontrol etmediği bir karşılaştırma karşılaştırma değildir.

Katalogdaki model

53 (2026-08-30 okundu)

Liste fiyatı sütunu taşıyan

53’ün 44’ü

Elle doğrulanmış

10

Karşılaştırılabilir modellerde medyan indirim

%87

44 ile 10 arasındaki fark bu işin dürüst şeklidir. Kırk dört satır üst akış yazılımının verdiği bir sayı taşıyor; onunu bir insan sağlayıcının kendi sayfasına karşı okumuş ve okunduğu tarihi yanına yazmış. Kamuya açık bir iddiada bulunduğumuz yerde yalnızca o on tanesini kullanıyoruz ve her biri okunduktan altmış gün sonra düşüyor, böylece hiçbir rakam yeniden okunmadan sayfada kalmıyor.

Bütün bunların altında bir de birim tuzağı var ve herhangi bir karşılaştırma yapmadan önce bilmeye değer: bazı kaynaklar bin token, bazıları milyon token başına fiyat veriyor. Karıştırmak sessizce bine böler veya çarpar ve sonuç bir hataya değil muhteşem bir fırsata benzer. O hata ve nasıl fark edilir.

Liste fiyatlarının kendisi de koşul taşır — bağlam eşikleri, önbellekli girdi oranları, toplu iş katmanları, yoğun ve sakin saat pencereleri. Örneğin xAI, 200.000 token’a ulaşan bir istemi isteğin tamamı için daha yüksek oranla faturalandırır. Bir sağlayıcının liste fiyatını doğru okumak tek bir başlık rakamın gizlediği koşulları anlatıyor.

Nasıl bu kadar ucuz olabiliyor?

Şüphelenmeye değer soru budur ve bunu cevaplamayan bir relay, hak etmediği bir güven istiyordur. Dürüst cevaplar sınırlı sayıdadır ve hepsi eşit ölçüde iç açıcı değildir.

İlk ikisi iyi huylu açıklamalardır, üçüncü ve dördüncü için canary testi ile rota incelemesi vardır, beşincisi ise fiyat ne kadar iyi olursa olsun büyük bir ön ödemeli bakiyenin neden kötü fikir olduğudur. Başlık indirimi veren her relay, hangi satırın üstünde durduğunu söyleyebilmelidir.

Bizim cevabımız ilk satır ve kontrol edeceğiniz sayı kendi kataloğumuz: 2026-08-30’da okunduğunda, karşılaştırılabilir liste fiyatı olan 40 modelde medyan indirim %87, en sığı %31 idi ve farkın en açık olduğu modeller aynı zamanda üst akışta en çok rekabetin olduğu modeller. Bir katalogdaki her modelin aynı indirimi göstermesi şüpheli desen olurdu — bu, sayının türetilmediğini, karar verildiğini gösterirdi.

Token muhasebesi: kim sayıyor, neye karşı

Faturanız token sayısı çarpı fiyattır. Fiyat yayınlanmıştır; sayı ise sayan kişiden gelir. Bir relay’de bu relay’in kendisidir — sağlayıcının cevabındaki kullanım bloğunu okur ve fiyatlandırır.

Bu gerçek bir güven yüzeyidir ve nadiren konuşulur. İki şey onu kontrol edilebilir kılar. Sağlayıcı akışsız her cevapta bir usage nesnesi döndürür, yani faturalandırıldığınız şeyi sağlayıcının kullanıldı dediğiyle karşılaştırabilirsiniz. Ve istek başına kayıt yayınlayan bir relay, bir isteği değil bir dönemi mutabakat etmenize izin verir. İkisi de yoksa muhasebe doğrulanamaz demektir; üretim trafiğini oradan geçirmeden önce bilmeye değer.

Akış, zaman aşımı ve relay’in eklediği

Relay yolun üstünde durur, yani gecikme ekler — bir ağ sıçraması artı yönlendirme kararının maliyeti. Pratikte bu sıçrama model çıkarım süresinin yanında küçüktür ama sıfır değildir; ilk token’a kadar geçen sürenin yönlendirme politikalarında yer almasının sebebi budur.

Uygulamaların en çok ayrıştığı yer akıştır. Sadık bir relay sunucu olaylarını geldikçe iletir ve parça biçimini korur; tembel olanı tüm cevabı tamponlar ve tekrar oynatır. Yalnızca son metni okuyan bir istemci için ikisi aynıdır; token’ları belirdikçe çizen biri için tamamen farklıdır. Ürününüz akış yapıyorsa bunu özellikle test edin — sessizce eksik kalması en muhtemel uyumluluk ayrıntısıdır ve OpenAI uyumluluğunun ne demek zorunda olduğu içinde ele alınan birkaç maddeden biridir.

Gerçekten ne ters gidebilir

Kategorinin belgelenmiş bir başarısızlık sicili var ve bunu görmezden gelmek buradaki her şeyi daha az inandırıcı yapardı. 428 relay istasyonluk bir denetimde dokuzunun cevaplara kötücül kod enjekte ettiği, birinin doğrudan para çaldığı bulundu. Bunlar büyük bir sayı içinde küçük yüzdeler ve aynı zamanda topluluk indeksinin sadece fiyat değil risk etiketleri de taşımasının sebebi — no-entity, cheap-trap, ran-away, reverse.

Gerçekçi başarısızlık biçimleri, kabaca sıklık sırasıyla:

• Sessiz ikame. Öncü bir model istersiniz, daha ucuzunu alırsınız. Kaliteye mal olur, görünmez şekilde, siz test edene kadar.
• Ön ödemeli bakiye kaybı. İşletmeci, krediniz defterindeyken ticareti bırakır. Gerçekten paraya mal olan budur ve seçtiğiniz faturalama modelinin muhasebe değil risk kararı olmasının sebebidir.
• Sessiz bozulma. Geçen ay orada olmayan hız sınırları, kuyruklar ve zaman aşımları.
• Veri işleme. İstemleriniz üçüncü bir taraftan geçiyor. Düzenlemeye tabi veya gizli iş yükleri için bu bir tercih değil, uyum sorusudur.

Biri nasıl denetlenir

Bir relay’in yönlendirme tablosunu okuyamazsınız ve pazarlama sayfası kanıt değildir. Yapabileceğiniz şey istek göndermek ve gelene dikkatle bakmaktır. Artan zorluk sırasıyla dört kontrol:

1. 01Neye hizmet ettiğini sorun. OpenAI uyumlu bir relay’de GET /v1/models anahtarınızın erişebildiği modelleri listeler. Bunu pazarlama sayfasıyla karşılaştırın; aradaki fark bilgi vericidir.
2. 02Bir canary çalıştırın. Cevabı modele göre değişen bir istem gönderin ve hangi cevabın geldiğine bakın. Gerçekten önemli olan iddiayı test eden tek kontrol budur. Yöntem ve betik.
3. 03Paydayı kontrol edin. Üç model alın, sağlayıcının kendi yayınladığı fiyata bakın ve ilan edilen indirimi kendiniz yeniden hesaplayın. Tutmuyorsa karşılaştırma kontrol edilmemiş bir sütunun üstüne kurulmuş demektir.
4. 04Şartları okuyun ve bir tüzel kişilik arayın. Gerçekte kime kredi açıyorsunuz? Arkasında tanımlanabilir bir şirket olmayan bir relay, başarısızlığının adresi olmayan bir relay’dir.

Son kontrol bizim yayınlamamız için rahatsız edici olanı ve yine de yayınlıyoruz: bu sitenin şartlarında şu anda kayıtlı bir tüzel kişilik adı geçmiyor. Bunu tartmanız gerektiğini düşünüyoruz ve bunu bizden duymanızı, kendiniz bulup başka ne söylenmedi diye düşünmenize tercih ediyoruz. Güven kontrol listesine ayrılmış bir rehber, bu çözüldüğünde gelecek.

Relay ne zaman doğru cevap

Relay, birkaç sağlayıcı için tek bir entegrasyon istediğinizde, liste fiyatının altında harcamak istediğinizde ve iş yükü üçüncü bir sıçramayı sorun edecek kadar hassas olmadığında mantıklıdır. Model sağlayıcısıyla sözleşmeli bir ilişkiye ihtiyacınız varsa, veri düzenlemeye tabiyse veya hacminiz sağlayıcının sizinle doğrudan pazarlık edeceği kadar büyükse daha az mantıklıdır.

Pratikte entegrasyon maliyeti her iki durumda da sıfıra yakındır, çünkü yüzey standartlaşmıştır — gittiği yere kadar. Bir temel URL değiştirmek tek satırlık bir düzenlemedir. Bu iki yönlü çalışır: ayrılmak da tek satırlık bir düzenlemedir ve sahip olduğunuz en iyi koruma budur.

Serinin geri kalanı

Aşağıdakilerin her biri yukarıdakinin bir parçasına derinlemesine giriyor ve her biri buraya geri bağlanıyor. İçlerindeki sayılar bizim, tarihli ve sağlayıcıların kendi sayfalarına karşı kontrol edilebilir.