Büyük Dil Modeli (LLM) Nedir? Nasıl Çalışır?

LLM'nin yapay zekâ ve doğal dil işleme içindeki yeri

Büyük Dil Modeli, yapay zekâ içinde doğal dil işleme ve metin üretimi gibi görevlerde kullanılan bir model türüdür. Yapay zekâ; bilgisayar sistemlerinin belirli görevlerde insan zekâsıyla ilişkilendirilen algılama, yorumlama veya üretme becerilerini kullanmasını amaçlayan geniş bir çerçevedir. LLM ise bu çerçevenin özellikle yazılı insan diliyle çalışan bölümünde yer alır.

Bu nedenle LLM ile Doğal Dil İşleme (NLP) aynı kavram değildir. Doğal Dil İşleme, bilgisayarların insan dilini işleme alanının genel adıdır; LLM ise bu alanda kullanılan belirli bir model türüdür. Bir metni sınıflandırma, özetleme, çevirme, soru yanıtlama veya yeni metin oluşturma gibi görevler LLM'nin kullanılabileceği görevler arasındadır.

"Büyük" ifadesi çoğunlukla modelin çok sayıda parametre içermesine işaret eder; eğitim verisi ve hesaplama maliyeti de modelden modele değişen ek ölçek göstergeleridir. Mevcut içerikte bu veri ölçeği internet sayfaları, kitaplar, akademik yayınlar ve forumlar gibi kaynaklardan gelen milyarlarca kelime; bazı anlatımlarda ise trilyonlarca kelime düzeyinde ifade edilmektedir. Ancak belirli bir LLM'nin hangi veri kümesini kullandığı, verinin güncelliği ve kapsamı modele göre değişebilir; bu yüzden tüm LLM'ler için tek bir veri sayısı vermek doğru değildir.

Bir sonraki token tahmini nasıl tutarlı metne dönüşür?

LLM, verilen bağlama göre bir sonraki token için olasılık dağılımı üretir; uygulamadaki ayarlara bağlı olarak en olası token seçilebilir veya örnekleme yapılabilir. Token, bir kelimenin tamamı, kelime parçası, noktalama işareti veya başka bir alt birim olabilir. Modele bir metin parçası verildiğinde model, eğitim sırasında öğrendiği dil kalıplarını kullanarak bağlama uygun olabilecek devamı hesaplar. Bu tahmin tek seferde bitmez: Seçilen devam, yeni bağlama eklenir ve model bir sonraki token için yeniden tahmin yapar.

Örneğin girişte "Öğrenci sınavdan önce konuyu" ifadesi bulunuyorsa model, dildeki benzer örüntülere dayanarak "tekrar" veya "çalışmak" gibi bir devamı olası görebilir. Buradaki amaç, insanın zihninden geçen düşünceyi doğrudan okumak değildir. Model, metinlerde birlikte görülme eğilimlerini ve cümle bağlamını kullanarak dilsel olarak uygun bir devam üretir.

Basitleştirilmiş biçimde karar süreci şöyle gösterilebilir: $sonraki\ token \sim P(token\mid mevcut\ bağlam)$. Burada $P$, belirli bir tokenın mevcut bağlamdan sonra seçilme olasılık dağılımını ifade eder. Uygulamadaki ayarlara göre olasılığı en yüksek token seçilebilir veya olasılık dağılımından örnekleme yapılabilir.

LLM çıktıyı olasılıksal olarak üretir; bu üretim, öğrenilmiş örüntülere dayanabileceği gibi eğitim verilerinin veya istemdeki ifadelerin kısmen hatırlanmasını ya da yeniden üretilmesini de içerebilir. LLM'nin klasik anlamda bir bilgi veritabanından yanıt çektiği söylenemez; ancak çıktı her zaman tamamen yeni ifadelerden oluşmayabilir. Gerçek sistemlerin çıktısı, kullanılan ayarlara ve uygulama tasarımına göre değişebilir.

Uzun yanıtların tutarlı görünmesinin nedeni de aynı işlemin art arda sürdürülmesidir. Model; soru, önceki cümleler ve konuşmanın bağlamı birlikte değerlendirildiğinde uygun görünen yeni metni üretir. Akıcılık bu nedenle doğrulukla aynı ölçüt değildir: Dilsel olarak uygun bir cümle, gerçek dünyadaki bilgi bakımından yanlış olabilir.

Eğitim verisi ile kullanıcıya verilen yanıt arasındaki fark

Eğitim aşamasında LLM, çok sayıda metin örneği üzerinden dilin istatistiksel kalıplarını öğrenir. Bu öğrenme; kelimelerin hangi bağlamlarda kullanıldığı, cümlelerin nasıl tamamlandığı ve farklı metin türlerinin hangi anlatım biçimlerine sahip olduğu gibi ilişkileri kapsar. Eğitim verisinde web sayfaları, kitaplar, makaleler, forumlar ve başka dijital metinler bulunabilir.

Kullanıcının sorusu ise modelin eğitim sürecinden farklı bir aşamadır. Kullanıcı bir istem, yani modele verilen soru veya görev, yazar. Model bu istemi ve varsa konuşma bağlamını değerlendirerek yeni bir çıktı oluşturur. Örneğin "Bu raporu üç maddede özetle" komutu, modelden mevcut metni kısaltmasını ister; "müşteriye nazik bir e-posta yaz" komutu ise belirli bir üslupta yeni metin üretmesini ister.

Bu ayrım önemlidir: LLM'nin bir metin üretebilmesi, o metindeki her iddianın doğrulanmış olduğu anlamına gelmez. Model, eğitim verilerindeki yanlışlıkları veya önyargıları yansıtabilir; bazen de kulağa inandırıcı gelen fakat temeli olmayan bilgiler oluşturabilir. Bu durum genellikle "halüsinasyon" olarak adlandırılır. Özellikle sağlık, hukuk, finans, sınav bilgisi veya güncel gelişmeler gibi hata maliyetinin yüksek olduğu konularda çıktı bağımsız kaynaklarla kontrol edilmelidir.

LLM hangi görevlerde işe yarar, hangi noktada insan denetimi gerekir?

Büyük Dil Modellerinin kullanım alanları, ortak paydası metin olan görevlerde yoğunlaşır:

• Sohbet ve müşteri hizmetleri: Kullanıcının sorusunu anlayıp açıklama yapabilir, sık sorulan sorulara yanıt taslağı hazırlayabilir veya randevu sürecindeki dil tabanlı iletişime destek olabilir. Bununla birlikte kesin işlem yapma yetkisi, kullanılan uygulamanın erişimlerine ve kurallarına bağlıdır.
• Özetleme: Uzun rapor, haber veya ders metnindeki ana noktaları daha kısa biçimde sunabilir. Özetin önemli bir ayrıntıyı atlayabileceği için özellikle resmî belgelerde kaynak metinle karşılaştırılması gerekir.
• Çeviri: Metinleri farklı dillere aktarabilir. Teknik terimler, yerel ifadeler ve bağlama bağlı anlamlar için insan kontrolü gerekebilir.
• İçerik üretimi: Blog taslağı, e-posta, reklam metni, senaryo fikri veya sosyal medya metni oluşturabilir. Üslup ve amaç kullanıcı tarafından açıkça belirtilmezse çıktı hedef kitleye uymayabilir.
• Kodlama desteği: Kod parçacığı önerebilir, bir fonksiyonun ne yaptığını açıklayabilir veya olası hataları işaretleyebilir. Önerilen kodun çalıştığı ve güvenli olduğu varsayılmamalı; test edilmelidir.
• Eğitim desteği: Karmaşık bir konuyu daha basit ifadelerle anlatabilir ve çalışma soruları üretebilir. Ancak öğrencinin cevabı doğrudan teslim etmek yerine açıklamayı kontrol etmesi, öğrenme açısından daha yararlıdır.

Bu görevlerin ortak sınırı şudur: LLM, çıktıyı akıcı biçimde yazabilir fakat gerçek dünyadaki sorumluluğu kendiliğinden üstlenmez. Önemli bir karar alınmadan önce kaynak, tarih, bağlam ve hesaplama sonucu ayrıca doğrulanmalıdır.

Çözümlü örnekler: istemden sonuca giden yol

Örnek 1 — Bir e-postanın taslağını oluşturma

Verilenler: Kullanıcı, öğretmenine göndereceği e-postada üç bilgiyi belirtmek istiyor: ödevin teslim tarihini soracak, kibar bir dil kullanacak ve mesajın kısa olmasını isteyecek.

Çözüm adımları:

1. Kullanıcı görevi açık bir isteme dönüştürür: "Öğretmenime, ödevin teslim tarihini soran, kısa ve kibar bir e-posta taslağı yaz."
2. Model, istemdeki görev türünü ve üslup koşullarını dikkate alır. Burada beklenen çıktı bilgi araştırması değil, verilen amaç doğrultusunda metin üretimidir.
3. Model, e-posta biçimine uygun bir selamlama, tarih sorusu ve kapanış cümlesi oluşturur.
4. Kullanıcı; öğretmenin adı, ödevin adı ve gerçek teslim tarihi gibi eksik bilgileri kontrol eder. Model bu bilgiler verilmemişse bunları kendiliğinden doğru biçimde bilemez.

Sonuç: LLM, gönderilmeye hazır olduğu varsayılmaması gereken bir taslak üretir. İnsan, kişisel bilgileri ve mesajın gerçekten ne anlatması gerektiğini son kez denetler.

Örnek 2 — Uzun bir metni iki maddede özetleme

Verilenler: Kullanıcı, bir raporun tamamını modele verir ve yalnızca iki maddelik özet ister.

Çözüm adımları:

1. Model önce metindeki ana konu ve tekrar eden bilgileri bağlam içinde değerlendirir.
2. Kullanıcının "iki madde" koşuluna uyan kısa bir çıktı üretmeye çalışır.
3. Ayrıntıları azaltırken neden-sonuç ilişkisini veya istisnaları atlayabilir.
4. Kullanıcı, iki maddelik özet ile kaynak metni karşılaştırır; özellikle sayılar, tarihler ve olumsuzluk bildiren ifadelerin korunup korunmadığına bakar.

Sonuç: LLM, metni hızlıca kısaltır; fakat özetin kaynakla aynı anlamı taşıdığı ayrıca kontrol edilmelidir. Özet kısaldıkça bağlam kaybı riski artabilir.

Sık yapılan hatalar ve karıştırılan kavramlar

LLM ile ChatGPT'yi aynı sanmak: LLM bir model türüdür; ChatGPT ise kullanıcıyla diyalog kurmak üzere tasarlanmış bir uygulama ve hizmet örneğidir. Bu nedenle her LLM ChatGPT değildir.

Akıcılığı doğrulukla karıştırmak: Güzel yazılmış, kesin bir üslupla sunulmuş bir cevap doğru olmak zorunda değildir. LLM, yanlış veya eksik bilgiyi de doğal bir dille ifade edebilir.

LLM'nin insan gibi düşündüğünü varsaymak: Model, bilinçli bir özne veya insan zihninin kopyası olarak tanımlanamaz. Mevcut açıklamaya göre öğrendiği kalıplara dayanarak kelime ve cümle devamlarını istatistiksel biçimde tahmin eder.

Her soruya güncel ve kesin yanıt beklemek: Modelin eğitim verisinin kapsamı, güncelliği ve kullandığı uygulamanın dış kaynaklara erişimi aynı değildir. Bu nedenle güncel bir bilgi isteniyorsa yanıtın hangi kaynağa dayandığı ayrıca sorulmalıdır.

Üretken yapay zekâ ile LLM'yi eş anlamlı kullanmak: Üretken yapay zekâ, yeni içerik oluşturabilen daha geniş bir kategori olarak düşünülebilir. LLM bu kategorinin özellikle metin üreten temsilcilerindendir; üretken yapay zekâ yalnızca metinle sınırlı olmak zorunda değildir.

Modelin her dilde aynı düzeyde çalıştığını sanmak: LLM'ler birden fazla dilde eğitilebilir ve birçok dilde görev yapabilir. Ancak dil, veri kapsamı ve görev türüne göre çıktı kalitesi değişebilir; bu yüzden "çok dilli" ifadesi her dilde eşit başarı anlamına gelmez.