Inference
Çıkarım
- Türkçe karşılığı
- çıkarsama
- Okunuşu
- infırıns
Günlük kullanımda çoğunlukla İngilizcesi tercih edilir.
Kısaca
Inference, eğitilmiş bir makine öğrenmesi modelinin, öğrendiklerini değiştirmeden yeni verilerden tahmin ya da çıktı üretmek için kullanıldığı aşamadır.
Yapay zekâda inference nedir?
Makine öğrenmesinde inference, eğitilmiş bir modeli yeni bir girdi üzerinde çalıştırıp sonuç almaktır. Bir fotoğraf uygulaması resmi köpek olarak etiketlediğinde, bir spam filtresi bir e-postayı işaretlediğinde ya da bir LLM bir prompt'a yanıt yazdığında model inference yapıyordur. Modelin ağırlıkları inference sırasında sabit kalır; model yalnızca zaten öğrendiklerini uygular.
Bir modelin yaşamının iki ana aşaması vardır. Eğitim bir kez ya da ara sıra yapılır, çok pahalıdır ve modelin ağırlıklarını büyük miktarda veriyle ayarlar. Inference ise modelin kullanıldığı her seferde, çoğu zaman günde milyonlarca kez gerçekleşir; bu yüzden hızı ve maliyeti çok önemlidir. Bir LLM için inference, yanıtı token token üretmek anlamına gelir; uzun yanıtların daha uzun sürmesinin ve daha pahalı olmasının nedeni budur.
Bir benzetme aşçıdır: eğitim, yemek yapmayı öğrenmeye harcanan yıllardır; inference ise bir sipariş geldiğinde tek bir yemeği pişirmektir. Ekipler inference'ı gecikme (bir yanıtın ne kadar sürdüğü) ve verim (sistemin kaç isteği işleyebildiği) ile ölçer; istekleri toplu işleme, önbellekleme ve ağırlıkları daha az bit ile saklayarak modeli küçültüp hızlandıran quantization gibi tekniklerle iyileştirir.
Inference çoğu zaman eğitimle karıştırılır. Bir yapay zekâ asistanıyla sohbet etmek modeli eğitmez: konuşmanız o isteğin girdisinin parçasıdır, ancak daha sonra ayrı bir eğitim ya da fine-tuning çalıştırması yapılmadıkça ağırlıklar değişmez. Inference, bulutta güçlü sunucularda ya da doğrudan telefon ve dizüstü bilgisayarlarda çalışabilir; buna cihaz üzerinde (on-device) ya da uç (edge) inference denir.
Önemli noktalar
- Inference, eğitilmiş bir modeli yeni veriler üzerinde tahmin yapmak için kullanmak demektir.
- Modelin ağırlıkları inference sırasında değişmez.
- Eğitim seyrek yapılır ve pahalıdır; inference her istekte gerçekleşir.
- Gecikme ve verim, inference'ın temel metrikleridir.
- LLM'lerde inference çıktıyı token token üretir.
Örnek
import pickle
import time
# Load a spam classifier that was trained earlier (training is already done)
with open("spam_model.pkl", "rb") as f:
model = pickle.load(f)
# Inference: run the fixed model on new, unseen input
start = time.perf_counter()
prediction = model.predict(["Congratulations, you won a free prize!"])
latency_ms = (time.perf_counter() - start) * 1000
print(prediction) # e.g. ['spam']
print(f"{latency_ms:.1f} ms") # inference latency for one requestSık sorulan sorular
Eğitim ile inference arasındaki fark nedir?
Eğitim, büyük miktarda örnek veriyle modelin ağırlıklarını ayarlayarak onu öğretme sürecidir. Inference ise bitmiş modeli, ağırlıkları değiştirmeden, yeni veriler üzerinde tahmin yapmak için kullanmaktır.
Yapay zekâ inference'ı neden pahalıdır?
Büyük modeller her çıktı için milyarlarca hesap yapar ve LLM'lerde bu, üretilen her token için tekrarlanır. Inference her istekte çalıştığı için bu maliyetler ölçekte hızla birikir; yapay zekâ API'lerinin genellikle token başına ücret almasının nedeni budur.
Edge inference nedir?
Edge inference, bir modeli uzak bir sunucu yerine telefon, dizüstü bilgisayar ya da kamera gibi yerel bir cihazda doğrudan çalıştırmak demektir. Gecikmeyi azaltır, çevrimdışı çalışır ve verileri cihazda tutar, ancak daha küçük ve optimize edilmiş modeller gerektirir.
İlgili sayfalar
- Makine ÖğrenmesiYapay Zekâ ve Makine Öğrenmesi, s. 30Makine öğrenmesi, bilgisayarların elle yazılmış kurallar yerine verilerdeki örüntüleri öğrenerek tahmin yaptığı bir yapay zekâ dalıdır.
- LLMYapay Zekâ ve Makine Öğrenmesi, s. 28LLM, çok büyük metin yığınlarıyla eğitilmiş ve bir sonraki en olası metin parçasını tekrar tekrar tahmin ederek dil üreten bir makine öğrenmesi modelidir.
- TokenYapay Zekâ ve Makine Öğrenmesi, s. 43Token, bir LLM'nin okuduğu ve ürettiği temel metin birimidir; genellikle bir sözcük, sözcük parçası ya da noktalama işaretidir ve sayısal bir kimliğe eşlenir.
- Fine-tuningYapay Zekâ ve Makine Öğrenmesi, s. 21Fine-tuning, önceden eğitilmiş bir makine öğrenmesi modelini tek bir göreve uyarlamak için daha küçük ve özel bir veri kümesiyle ek olarak eğitme sürecidir.
- Derin ÖğrenmeYapay Zekâ ve Makine Öğrenmesi, s. 14Derin öğrenme, görüntü ve metin gibi ham verilerden karmaşık örüntüleri öğrenmek için çok katmanlı sinir ağları kullanan bir makine öğrenmesi alt kümesidir.
- APIBackend ve API'ler, s. 2API, bir yazılımın başka bir yazılımdan veri ya da işlem talep etmesini sağlayan, belgelenmiş ve öngörülebilir kurallar bütünüdür.
Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin