GPT
Üretken Ön Eğitimli Transformer
- Okunuşu
- ci pi ti
Kısaca
GPT (Generative Pre-trained Transformer), bir sonraki token'ı tahmin ederek metin üreten, OpenAI'a ait bir büyük dil modeli ailesidir.
GPT nedir?
Addaki her kelime tasarımın bir parçasını anlatır. Generative (üretken): model yeni metin üretir. Pre-trained (ön eğitimli): belirli kullanımlara uyarlanmadan önce çok büyük miktarda genel metinden öğrenir. Transformer: Google araştırmacılarının 2017'de tanıttığı transformer mimarisini kullanır; bu mimarinin dikkat mekanizması, bağlamdaki her token'ın diğer bütün token'lara bakmasını sağlar.
OpenAI, GPT-1'i 2018'de, GPT-2'yi 2019'da ve GPT-3'ü 2020'de yayımladı; her biri bir öncekinden çok daha büyüktü. GPT-3, yeterince büyük bir modelin prompt'taki birkaç örnekten yeni işler yapabildiğini gösterdi. Sonraki modeller talimatlar ve insan geri bildirimiyle ayrıca eğitildi; bu onları yardımcı asistanlara dönüştürdü, Kasım 2022'den itibaren ChatGPT'yi ve 2023'te GPT-4'ü güçlendirdi.
Teknik olarak bir GPT modeli yalnızca decoder'dan oluşan (decoder-only) bir transformer'dır. O ana kadarki metni token'lar olarak okur ve olası her sonraki token için bir olasılık çıkarır; birini seçip ekleyerek ve bunu tekrarlayarak bir yanıt üretir. Geliştiriciler GPT modellerini sohbet, yazma, kodlama, özetleme ve veri çıkarma için OpenAI'ın API'si üzerinden kullanır.
Sık yapılan bir yanlış, GPT'nin her yapay zekâ chatbot'unun eş anlamlısı olduğunu düşünmektir. GPT, OpenAI'ın model ailesidir; başka şirketler de Anthropic'in Claude'u, Google'ın Gemini'si ve Meta'nın Llama'sı gibi benzer büyük dil modelleri geliştirir; bunlar transformer fikrini paylaşır ama ayrı modellerdir.
Önemli noktalar
- GPT, Generative Pre-trained Transformer'ın kısaltmasıdır.
- OpenAI'ın büyük dil modeli ailesidir; 2018'de GPT-1 ile başlar.
- GPT modelleri bir sonraki token'ı tahmin eden decoder-only transformer'lardır.
- Talimat eğitimi ve insan geri bildirimi onları ChatGPT gibi asistanlara dönüştürdü.
- Claude, Gemini ve Llama benzer LLM'lerdir ama GPT modeli değildir.
Örnek
from openai import OpenAI
client = OpenAI() # reads OPENAI_API_KEY from the environment
response = client.responses.create(
model="gpt-5",
input="Explain what a REST API is in two sentences.",
)
print(response.output_text)Sık sorulan sorular
GPT ile ChatGPT arasındaki fark nedir?
GPT modeldir: metni üreten sinir ağı. ChatGPT ise OpenAI'ın GPT modelleri üzerine kurduğu, sohbet arayüzü, hafıza özellikleri ve araçları olan sohbet uygulamasıdır.
GPT ile LLM aynı şey mi?
GPT modelleri birer LLM'dir, ama her LLM bir GPT değildir. LLM, büyük dil modellerinin genel kategorisidir; GPT bunun içindeki ailelerden biridir.
Neden ön eğitimli (pre-trained) deniyor?
Çünkü model önce büyük bir metin kütlesinden genel dil kalıplarını öğrenir; ancak bundan sonra belirli işler için ince ayar yapılır ya da talimat verilir. Pahalı genel öğrenme bir kez yapılır ve tekrar tekrar kullanılır.
İlgili sayfalar
- LLMYapay Zekâ ve Makine Öğrenmesi, s. 28LLM, çok büyük metin yığınlarıyla eğitilmiş ve bir sonraki en olası metin parçasını tekrar tekrar tahmin ederek dil üreten bir makine öğrenmesi modelidir.
- TransformerYapay Zekâ ve Makine Öğrenmesi, s. 45Transformer, bir dizideki her token'ın diğerleriyle ilişkisini attention ile tartan ve çoğu modern LLM'e güç veren bir sinir ağı mimarisidir.
- ChatbotYapay Zekâ ve Makine Öğrenmesi, s. 8Chatbot, insanlarla yazılı ya da sesli sohbet edip soruları yanıtlayan veya işlere yardım eden, senaryolu kurallarla ya da dil modeliyle çalışan programdır.
- Üretken Yapay ZekâYapay Zekâ ve Makine Öğrenmesi, s. 46Üretken yapay zekâ, mevcut verilerden öğrenilen örüntülere dayanarak metin, görüntü, kod ya da ses gibi yeni içerik oluşturan yapay zekâdır.
- TokenYapay Zekâ ve Makine Öğrenmesi, s. 43Token, bir LLM'nin okuduğu ve ürettiği temel metin birimidir; genellikle bir sözcük, sözcük parçası ya da noktalama işaretidir ve sayısal bir kimliğe eşlenir.
- Fine-tuningYapay Zekâ ve Makine Öğrenmesi, s. 21Fine-tuning, önceden eğitilmiş bir makine öğrenmesi modelini tek bir göreve uyarlamak için daha küçük ve özel bir veri kümesiyle ek olarak eğitme sürecidir.
Bu sayfada bir hata ya da eksik mi gördünüz?Düzeltme önerin