Inference Ekonomisi

Zekânın Birim Maliyeti Düşerken Toplam Fatura Neden Büyüyebilir?

Bir önceki yazıda AI ürünlerinin nasıl fiyatlanması gerektiğini tartışırken temel bir ayrım yapmıştık: müşteri yalnızca intelligence satın almıyor. Platformu, kullanılan zekâyı ve onu yönetilebilir kılan kontrol katmanını birlikte satın alabiliyor. Fakat bu tartışmanın altında daha temel bir ekonomi var. O zekâ gerçekte nasıl üretiliyor ve birim fiyatı neden sürekli düşerken toplam AI harcaması aynı anda büyüyebiliyor?

Bu sorunun cevabı inference ekonomisinde yatıyor.

Inference, eğitilmiş bir yapay zekâ modelinin yeni bir girdiyi işleyip çıktı üretmesi sürecidir. Bir modele soru sorduğumuzda, bir kod ajanı dosyaları taradığında veya bir müşteri hizmetleri ajanı arka planda birkaç aracı çalıştırdığında gerçekleşen hesaplama budur. Eğitim modeli yaratır. Inference ise o modeli her gün çalışan ekonomik bir sisteme dönüştürür.

Daha önce “Bir Yapay Zekâ Cevabının Gerçek Maliyeti Nedir?” yazısında tek bir cevabın arkasındaki fiziksel ve ekonomik zinciri açmıştık. Bu kez aynı zincirin üretim tarafına daha yakından bakacağız. Çünkü GPU satın almak veya bir API’nin milyon token fiyatını bilmek, inference maliyetini anlamaya yetmiyor.

Asıl hat şuna benziyor:

Physical Capacity → Utilization → Inference → Unit Cost → Economic Value

Başka bir ifadeyle mesele yalnızca ne kadar hesaplama gücüne sahip olduğumuz değil, o kapasitenin ne kadarını işe dönüştürebildiğimizdir.

1. GPU SAHİBİ OLMAKLA ZEKÂ ÜRETMEK AYNI ŞEY DEĞİL

Bir inference sisteminin ilk ekonomik problemi kapasitedir. GPU, HBM, ağ, enerji ve soğutma için para ödersiniz. Ancak satın aldığınız kapasitenin bir bölümü boş bekliyorsa maliyet üretmeye devam ederken çıktı üretmez.

Burada utilization, yani kullanım oranı devreye girer. Basit biçimde utilization, satın alınmış hesaplama kapasitesinin ne kadarının gerçekten işe koşulduğunu anlatır. Aynı donanım filosu daha yüksek kullanım oranıyla daha fazla faydalı çıktı üretirse sabit altyapı maliyeti daha fazla inference üzerine yayılır.

Bu nedenle inference ekonomisinde yalnızca “GPU saatinin fiyatı ne?” diye sormak yanıltıcı olabilir. Daha doğru soru “bu GPU saatinden ne kadar kullanılabilir zekâ üretebiliyorum?” sorusudur.

NVIDIA’nın güncel inference materyalleri bu değişimi açık biçimde gösteriyor. Şirket yalnızca FLOPS veya GPU performansını değil, saniyede megawatt başına üretilen token ve milyon token başına maliyet gibi üretim metriklerini öne çıkarıyor. NVIDIA’nın SemiAnalysis InferenceX sonuçlarına dayandırdığı karşılaştırmada GB300 NVL72 için Hopper’a kıyasla 50 kata kadar daha fazla token çıktısı/megawatt ve yaklaşık 35 kata kadar daha düşük milyon token maliyeti raporlanıyor. Bunlar NVIDIA’nın seçtiği belirli model, donanım ve serving koşullarına dayanan vendor sonuçlarıdır; evrensel benchmark gibi okunmamalıdır. Fakat ölçüm mantığı önemli: AI altyapısının ekonomik değeri yalnızca sahip olduğu teorik hesaplama gücüyle değil, bu gücü ne kadar verimli inference çıktısına çevirebildiğiyle ilgilidir.

GPU almak ≠ GPU’yu verimli kullanmak ≠ ucuz inference üretmek ≠ ekonomik değer yaratmak.

2. AYNI GPU, FARKLI EKONOMİ

Donanım aynı kaldığı halde inference maliyeti ciddi biçimde değişebilir. Bunun nedeni serving yazılımıdır. Serving, modeli üretim ortamında kullanıcı isteklerine cevap verecek biçimde çalıştıran yazılım katmanıdır.

Bu katmanda birkaç kavram özellikle önemli.

Batching, birden fazla isteğin tek tek işlenmesi yerine birlikte GPU’ya verilmesidir. GPU’nun paralel hesaplama kapasitesinden daha fazla yararlanmayı sağlayabilir. Continuous batching ise istekleri sabit gruplar halinde bekletmek yerine çalışma devam ederken dinamik biçimde gruplandırır. Amaç GPU’nun boş kalmasını azaltırken kabul edilebilir gecikmeyi korumaktır.

Caching, daha önce hesaplanmış bir girdinin veya ara durumun yeniden kullanılmasını sağlar. Özellikle uzun sistem prompt’ları, tekrar eden dokümanlar ve uzun konuşma geçmişlerinde aynı girdiyi tekrar tekrar hesaplamamak ciddi fark yaratabilir. OpenAI’nin GPT-5.4 API fiyatlamasında normal input 1 milyon token başına 2,50 dolar iken cached input 0,25 dolar. Buradaki asıl mesaj rakamdan çok oran. Aynı modelde tekrar kullanılabilen bağlam ekonomik olarak farklı bir maliyet profiline sahip.

KV cache, modelin daha önce işlediği token’lara ait attention hesaplarının ara sonuçlarını bellekte tutan mekanizmadır. Uzun bağlamlarda her yeni token için geçmişi baştan hesaplamak yerine bu sonuçların yeniden kullanılmasını sağlar. Fakat cache’in kendisi de GPU belleği tüketir. Dolayısıyla cache yönetimi yalnızca hız problemi değil, bellek ekonomisi problemidir.

Böylece önemli bir sonuç ortaya çıkıyor: inference engine, yani modeli üretimde servis eden yazılım motoru, fiziksel GPU sayısı değişmeden fabrikanın ekonomik çıktısını değiştirebilir. Modern serving katmanları KV cache yönetimi, batching, quantization, speculative decoding ve routing gibi tekniklerle aynı fiziksel kapasiteden daha fazla faydalı iş çıkarmaya çalışıyor.

3. PREFILL VE DECODE: TEK INFERENCE, İKİ FARKLI İŞ

Bir dil modeli cevap üretirken bütün işlem aynı karakterde değildir.

İlk aşama prefill’dir. Model kullanıcının prompt’unu ve mevcut context’i işler. Bu aşama yoğun paralel hesaplamadan yararlanabilir. İkinci aşama decode’dur. Model cevabı token token üretir ve geçmiş token’ların KV cache’ine sürekli erişir. Bu nedenle prefill daha çok hesaplama yoğun, decode ise birçok iş yükünde bellek ve concurrency tarafından sınırlanan farklı bir profile dönüşebilir.

Bu ayrım ekonomik açıdan önemlidir. NVIDIA Dynamo dokümantasyonu prefill ve decode işlerinin ayrı worker havuzlarına bölünebildiğini, uzun prompt veya retrieval ağırlıklı trafikte prefill’in; uzun üretim veya yüksek eşzamanlılıkta decode’un ayrı darboğazlara dönüşebildiğini anlatıyor. Böyle bir mimari her durumda daha iyi değil. Düşük concurrency, kısa prompt veya yavaş KV transferi olan ortamlarda tek havuz daha basit ve hızlı olabilir. Yani optimizasyonun kendisi de workload’a bağlıdır.

Bu yüzden “bir milyon token kaç dolar?” sorusunun altında farklı hesaplama profilleri bulunur. Bir milyon uzun-context input token ile bir milyon output token aynı üretim işi değildir.

4. MODEL NE KADAR BÜYÜKSE O KADAR İYİ Mİ?

Inference ekonomisinin en güçlü kaldıraçlarından biri bazen donanımda değil, model seçimindedir.

Model right-sizing, bir görevi gereğinden büyük veya pahalı bir modele göndermek yerine o iş için yeterli yeteneğe sahip en uygun modeli seçmek demektir. Basit bir sınıflandırma işi ile karmaşık hukuki muhakeme aynı zekâ seviyesine ihtiyaç duymayabilir. Her isteği en güçlü frontier modele göndermek kaliteyi artırabilir, fakat ekonomik olarak gereksiz olabilir.

Burada routing, yani isteklerin görev türü, kalite ihtiyacı, gecikme hedefi veya bütçeye göre farklı modellere yönlendirilmesi devreye girer. Routing’in ekonomik değeri tam da buradadır: maliyeti yalnızca daha ucuz model kullanarak değil, pahalı zekâyı gerçekten gerektiği yere ayırarak optimize etmek.

Quantization da aynı probleme başka taraftan yaklaşır. Quantization, model ağırlıklarını ve bazı hesaplamaları daha düşük sayısal hassasiyetle temsil ederek bellek ihtiyacını ve hesaplama yükünü azaltmayı amaçlar. Bunun karşılığında kalite veya doğruluk kaybı riski olabilir. Yani quantization “bedava hız” değildir. Ekonomik optimizasyon, kalite eşiğini bozmadan daha düşük kaynak tüketimine ulaşabilmektir.

Bu noktada inference ekonomisinin temel prensiplerinden biri belirginleşiyor:

En ucuz token her zaman en ekonomik token değildir.

Ucuz bir model bir görevi üç kez denemek zorunda kalıyor, daha fazla tool call yapıyor veya sonucu insanın düzeltmesini gerektiriyorsa düşük token fiyatı toplam sonuç maliyetini düşürmeyebilir. Tersine daha pahalı bir model tek seferde doğru sonucu üretiyorsa ekonomik olarak daha iyi olabilir.

5. LATENCY İLE THROUGHPUT AYNI HEDEF DEĞİL

Inference altyapısında sık karşılaşılan başka bir gerilim latency ile throughput arasındadır.

Latency, kullanıcının cevabı ne kadar hızlı aldığıdır. Throughput ise sistemin belirli sürede toplam ne kadar iş üretebildiğidir. Çok sayıda isteği batch etmek throughput’u artırabilir, fakat bir isteğin gruba girmeyi beklemesi latency’yi yükseltebilir. Her kullanıcıya mümkün olan en düşük latency’yi vermek ise GPU’ları düşük dolulukla çalıştırarak toplam ekonomiyi bozabilir.

Bu yüzden “en hızlı sistem” ile “en ekonomik sistem” her zaman aynı değildir. Gerçek optimizasyon, ürünün hizmet seviyesi hedefi ile altyapının üretim verimliliği arasında yapılır. Bir gece çalışan doküman analiz işi yüz milisaniyelik latency istemez. Canlı bir sesli asistan ise uzun süre batch bekleyemez.

Inference ekonomisi bu nedenle yalnızca teknik benchmark değil, workload tasarımı problemidir.

6. AGENTLAR DENKLEMİ YENİDEN BÜYÜTÜYOR

Klasik chatbot ekonomisinde bir kullanıcı isteği kabaca input ve output token’larına indirgenebilir. Agentic AI’da, yani modelin yalnızca cevap vermek yerine plan yaptığı, araç kullandığı ve bir işi tamamlamak için birden fazla adım attığı sistemlerde, tek kullanıcı isteği çok sayıda inference olayına dönüşebilir.

Bir agent önce isteği yorumlayabilir. Ardından plan yapabilir, arama gerçekleştirebilir, bir araç çağırabilir, sonucu okuyabilir, yeniden planlayabilir, başka bir modele danışabilir, çıktıyı kontrol edebilir ve hata varsa tekrar deneyebilir. Kullanıcı tek sonuç görür. Altyapı ise arka planda çok sayıda model çağrısı üretmiş olabilir.

Bu, inference talebinin neden yalnızca kullanıcı sayısıyla ölçülemeyeceğini açıklıyor. Agent sayısı, reasoning derinliği, context uzunluğu, tool kullanımı, retry sayısı ve sub-agent delegation toplam compute talebini büyütebilir. NVIDIA da güncel inference anlatısında agentic workflow’lar ve uzun reasoning süreçlerinin etkileşim başına token üretimini artırdığını savunuyor. Bu vendor görüşünü evrensel bir katsayıya çevirmek doğru değil; bugün “agentlar toplam harcamayı şu kadar artırır” diyebileceğimiz bağımsız ve her workload’a uygulanabilir bir oran yok.

Mekanizma ise açık: bir iş daha fazla inference adımına bölündükçe, birim inference ucuzlasa bile iş başına toplam tüketim büyüyebilir.

7. INFERENCE UCUZLARKEN TOPLAM AI FATURASI NEDEN BÜYÜYEBİLİR?

İlk bakışta çelişkili görünüyor. Donanım daha verimli hale geliyor. Quantization gelişiyor. Caching yaygınlaşıyor. Serving motorları aynı GPU’dan daha fazla token çıkarıyor. API sağlayıcıları da farklı hız, batch ve cache katmanlarıyla daha düşük birim maliyet seçenekleri sunuyor.

O halde toplam AI faturası neden büyüsün?

Çünkü birim maliyet ile toplam harcama aynı şey değildir.

Bir inference işleminin maliyeti düştüğünde daha önce ekonomik olmayan kullanım senaryoları mümkün hale gelir. Daha fazla çalışan AI kullanır. Daha fazla ürün AI özelliği kazanır. Daha uzun context kullanılır. Daha fazla reasoning adımı çalıştırılır. Tek cevap üreten bir chatbot yerine sürekli görev yapan agentlar devreye girebilir. Düşük birim fiyat, talebin ve kullanım yoğunluğunun büyümesine alan açar.

Bunu mekanik biçimde “AI’da Jevons paradoksu kesin çalışıyor” diye adlandırmak için henüz erken. Elimizdeki veriler daha sınırlı bir sonucu destekliyor. FinOps Foundation’ın 2026 verilerine göre FinOps uygulayıcılarının yüzde 98’i artık AI harcamasını yönetiyor; iki yıl önce bu oran yüzde 31’di. Bu veri toplam küresel AI harcamasının büyüme oranını kanıtlamıyor. Fakat AI maliyetinin çok kısa sürede kurumsal teknoloji harcamasının yönetilmesi gereken ana kalemlerinden birine dönüştüğünü gösteriyor.

En güvenli sonuç şu:

AI’ın birim inference maliyeti düşerken toplam AI harcaması aynı anda büyüyebilir.

Bu bir çelişki değildir. Birim verimlilik artışı kullanım alanını genişletebilir; kullanım hacmi yeterince hızlı büyürse toplam harcama da büyüyebilir. Fakat bunu bugün evrensel bir Jevons yasası olarak değil, ölçülmesi gereken bir talep mekanizması olarak görmek daha doğru.

8. TOKEN FABRİKASINDAN EKONOMİK DEĞERE

Buraya kadar anlattığımız her şey bizi önemli bir sınıra getiriyor. Inference sistemini yalnızca cost per token üzerinden optimize edersek yanlış şeyi optimize edebiliriz.

Bir sistem milyon token başına son derece ucuz olabilir ama yanlış cevaplar üretiyor, gereksiz agent loop’larına giriyor veya hiçbir iş sonucunu tamamlamıyorsa ekonomik olarak verimli değildir.

Bu nedenle ölçüm merdiveni yukarı çıkmalıdır:

Cost per token → Cost per request → Cost per task → Cost per successful outcome → Value per outcome

İlk metrik üretim verimliliğini anlatır. Son metrikler ise üretilen zekânın işe dönüşüp dönüşmediğini.

Bir müşteri hizmetleri ajanının daha fazla inference harcayıp sorunu tamamen çözmesi, daha az harcayıp vakayı insana devretmesinden daha değerli olabilir. Bir kod ajanının daha pahalı bir modelle hatayı tek seferde düzeltmesi, ucuz modelin çok sayıda başarısız döngüsünden daha ekonomik olabilir.

Bu yüzden inference ekonomisinin nihai amacı en düşük token maliyeti değildir. Amaç, kabul edilebilir kalite, latency ve risk sınırları içinde ekonomik sonucu mümkün olan en verimli kaynak bileşimiyle üretmektir.

GPU almak ≠ GPU’yu verimli kullanmak ≠ ucuz inference üretmek ≠ ekonomik değer yaratmak.

9. YENİ DARBOĞAZ: KONTROL

Inference ucuzlayıp agentlar daha fazla iş yapmaya başladıkça yeni bir soru ortaya çıkıyor: Bu zekâya kim, ne kadar bütçe ve yetki verecek?

Bir routing policy pahalı frontier modeli yalnızca gerektiğinde kullanabilir. Bir budget policy agent’ın maksimum harcamasını sınırlayabilir. Permission katmanı hangi araçların çağrılabileceğini belirleyebilir. Observability hangi ekip, agent ve workflow’un maliyet ürettiğini görünür hale getirebilir. Evaluation ise daha ucuz modelin gerçekten yeterli olup olmadığını ölçebilir.

Böyle bakıldığında governance yalnızca güvenlik konusu değildir. Aynı zamanda ekonomik bir kontrol mekanizmasıdır. Bir agent’a aksiyon yetkisi vermek, ona bir ölçüde harcama yetkisi vermektir.

Bu bizi Atlas’taki bir sonraki ana durağa götürüyor: AI Governance ve Kontrol Zinciri. Zekâ üretmenin maliyetini anlamak yetmiyor. O zekânın ne yapabileceğini, hangi sınırlar içinde hareket edeceğini ve sonuçlarından kimin sorumlu olacağını da tanımlamak gerekiyor.

Yapay zekâ Atlası'nda keşfetmeye devam edeceğiz. Bir sonraki yazıda görüşmek üzere.

How to Cite

M. Seçkin Bedük, “Yapay Zekânın Çıkarım Ekonomisi.” The Intelligence Atlas, 2026.