Doğal Dil İşleme (NLP) Nedir? Nasıl Çalışır?

NLP'nin kapsamı: Metni okumak değil, dil verisini göreve dönüştürmek

Doğal Dil İşleme, bilgisayarların yazılı veya sözlü doğal dili işlemesine odaklanan yapay zekâ alanıdır. Buradaki 'işlemek' sözcüğü tek bir yeteneği anlatmaz. Bir sistem metni kelimelere ayırabilir, cümlenin yapısını inceleyebilir, metindeki kişi veya yer adlarını belirleyebilir, bir yorumun olumlu ya da olumsuz yönünü sınıflandırabilir veya bir soruyu uygun yanıtla eşleştirebilir.

NLP'nin başarısı, görevin nasıl tanımlandığına bağlıdır. Örneğin spam filtrelemede amaç bir e-postayı spam veya spam değil şeklinde sınıflandırmaktır. Duygu analizinde yaygın çıktı sınıfları olumlu, olumsuz ve nötr olabilir. Metin özetlemede amaç uzun içeriğin ana fikirlerini daha kısa biçimde sunmaktır. Dolayısıyla NLP'nin genel hedefi 'dili anlamak' şeklinde ifade edilse de uygulamada ölçülen şey, belirli bir dil görevindeki çıktının doğruluğu veya kullanışlılığıdır.

NLP'yi insanın bilinçli ve bağlama dayalı anlamasıyla eşitlememek gerekir. Bir model, çok sayıda metindeki dil kalıplarından yararlanarak uygun görünen bir sınıflandırma veya yanıt üretebilir; bu durum modelin her cümledeki niyeti, kültürel göndermeyi ya da ironiyi doğru kavradığını göstermez. Özellikle kısa, hatalı, mecazlı veya bağlamı eksik ifadelerde sonuç değişebilir.

Bir cümle bilgisayara nasıl hazırlanır? Tokenizasyondan kök bulmaya

Yazılı girdilerde metin ön işleme uygulanır; sesli girdilerde ise çoğu sistemde önce konuşma tanıma ile metin elde edilir ve sonraki dil işleme adımları bu metin üzerinde gerçekleştirilir. Metin ön işleme adı verilen bu aşamada cümleler, kelimeler ya da daha küçük parçalar ayrılabilir. Bu parçalar token olarak adlandırılır ve tokenizasyon, metni bu birimlere bölme işlemidir.

Örneğin 'Yarın hava nasıl olacak?' cümlesi kelime birimlerine ayrıldığında 'Yarın', 'hava', 'nasıl' ve 'olacak' gibi parçalar elde edilir. Noktalama işaretlerinin ayrı birer birim olarak ele alınıp alınmayacağı, kullanılan yönteme ve göreve göre değişebilir. Bir metni aramakla konuşma bağlamını analiz etmek aynı ön işleme tercihini gerektirmeyebilir.

Ön işleme sırasında büyük-küçük harflerin standardize edilmesi, yazım biçimlerinin düzenlenmesi, gereksiz veya görev açısından düşük bilgi taşıyan kelimelerin ele alınması ve kelimelerin kök ya da gövde biçimlerine indirgenmesi gibi işlemler uygulanabilir. Fakat bu işlemler her durumda otomatik olarak yapılmamalıdır. Bir kelimenin biçimi, anlam ayrımı için önemliyse onu silmek veya köke indirgemek bilgi kaybına yol açabilir. Türkçede eklerin kelime anlamını ve görevini değiştirebilmesi nedeniyle dilin yapısı dikkate alınmalıdır.

Bu aşamanın karar kuralı şudur: Ön işleme, veriyi basitleştirmek için değil, seçilen NLP görevinin ihtiyaç duyduğu bilgiyi koruyarak makineye uygun hâle getirmek için yapılır. Çok agresif bir temizleme işlemi, sonraki anlamsal analizin kullanacağı ipuçlarını yok edebilir.

Sözdizimi ve anlam arasındaki fark: Aynı kelime neden farklı sonuç verir?

Metin parçalara ayrıldıktan sonra sistem, kelimelerin cümledeki ilişkilerini ve olası anlamlarını inceleyebilir. Sözdizimsel analiz, cümlenin yapısını ele alır: özne, yüklem, nesne ve diğer ögeler arasındaki ilişkiler belirlenmeye çalışılır. Bu analiz, kelimelerin yalnızca yan yana dizilmediğini; cümle içinde belirli roller üstlendiğini gösterir.

Anlamsal analiz ise kelimelerin ve cümlelerin ne ifade ettiğini bağlamla birlikte değerlendirmeye çalışır. 'Yüz' kelimesi tek başına bir sayı, vücudun bir bölümü veya yüzme eylemiyle ilişkili bir biçim olarak yorumlanabilir. Hangi anlamın seçileceği, cümledeki diğer kelimelere bağlıdır. 'Suyun yüzeyi' ile 'yüz kişi' ifadelerinde aynı yazılış farklı anlamlara işaret eder.

Bu nedenle kelime eşleştirmesi, anlam çözümlemesiyle aynı şey değildir. Bir arama sistemi yalnızca sorgudaki kelimeleri sonuç sayfalarında bulmakla yetinmeyip sorgunun niyetini de tahmin etmeye çalışabilir. 'En yakın kahve dükkânı' ifadesinde kullanıcı yalnızca 'kahve' kelimesinin geçtiği sayfaları değil, konumla ilişkili bir yer aramaktadır.

Pragmatik analiz bir adım daha ileri giderek ifadenin kullanım amacını ve bağlamını dikkate alır. 'Pencereyi açabilir misin?' biçim olarak bir soru olsa da çoğu durumda yalnızca yetenek sorgusu değil, pencerenin açılmasını isteyen bir rica olarak kullanılır. Ancak bu tür çıkarımlar, konuşmanın bağlamına ve sistemin elindeki verilere bağlıdır; tek bir cümle her zaman yeterli olmayabilir.

NLP'de makine öğrenmesi ve derin öğrenme ne işe yarar?

NLP, dil görevlerini gerçekleştirmek için kural tabanlı yöntemlerden, makine öğrenmesinden ve derin öğrenmeden yararlanabilir. Kural tabanlı bir sistem, uzmanlar tarafından önceden yazılmış dil bilgisi veya eşleştirme kurallarına dayanır. Makine öğrenmesi yaklaşımında ise sistem, örneklerden dil kalıpları öğrenerek yeni veriler hakkında tahminde bulunur.

Örneğin daha önce spam olarak etiketlenmiş ve spam olmayan e-postalar eğitim verisi olarak kullanılabilir. Sistem bu örneklerdeki kalıpları öğrenir ve yeni bir e-postanın hangi sınıfa daha yakın olduğunu tahmin eder. Buradaki çıktı, metnin değişmez 'öz'ü değil, öğrenilmiş örüntülere dayalı bir sınıflandırmadır. Eğitim verisi dengesiz, eksik veya hatalıysa sonuçlar da bundan etkilenebilir.

Derin öğrenme, özellikle yapay sinir ağlarının çok sayıda örnek ve katmanla karmaşık ilişkileri öğrenmesine dayanır. Dil görevlerinde kelimeler arasındaki ilişkiler, cümle bağlamı ve daha uzun metin parçaları modellenmeye çalışılabilir. Üretken yapay zekâ sistemleri de metin oluşturma gibi görevlerde NLP yöntemlerinden ve derin öğrenme tabanlı modellerden yararlanır.

Bu ilişkiyi hiyerarşi şeklinde düşünmek yararlıdır: NLP, çözülecek dil problemidir; makine öğrenmesi, bu problemi örneklerden öğrenerek çözmek için kullanılan yöntemlerden biridir; derin öğrenme ise makine öğrenmesinin yapay sinir ağlarına dayanan bir yaklaşımıdır. Bu kavramlar birbirinin eş anlamlısı değildir.

NLP hangi işi yapıyor? Uygulamaları görevlerine göre ayırmak

NLP uygulamalarını yalnızca ürün adlarıyla değil, yaptıkları dil göreviyle sınıflandırmak daha açıklayıcıdır.

• Sınıflandırma: E-postaları spam veya spam değil diye ayırma, müşteri yorumlarını olumlu, olumsuz ya da nötr olarak etiketleme ve destek taleplerini ilgili kategorilere yönlendirme.

• Bilgi çıkarımı: Bir metindeki kişi adlarını, tarihleri, yerleri veya başka belirli varlıkları bulma. Bir haber metninde kişi ve yer adlarının ayrıştırılması bu göreve örnektir.

• Arama ve niyet analizi: Kullanıcının sorgusundaki amacı belirleyip yalnızca aynı kelimeleri içeren değil, sorguyla ilişkili sonuçları öne çıkarma. Bu nedenle arama motorlarında sorgunun bağlamı ve olası amacı önem taşır.

• Çeviri: Bir dildeki yazılı veya sözlü içeriği başka bir dile aktarma. Dil bilgisi, kelime anlamı ve bağlam farklılıkları nedeniyle çeviri yalnızca kelimeleri sözlük karşılıklarıyla değiştirmek değildir.

• Özetleme ve yanıt üretme: Uzun bir metindeki ana fikirleri kısaltma veya kullanıcı sorusuna uygun yanıt oluşturma. Üretilen yanıtın metindeki bilgiyle uyuşup uyuşmadığı ayrıca denetlenmelidir.

• Konuşma ve yazım desteği: Sesli asistanların komutları metne veya eyleme dönüştürmesi, yazım ve dil bilgisi denetleyicilerinin hata önerisi sunması.

Bir NLP uygulamasının uygun olup olmadığını anlamak için önce görev, girdi ve beklenen çıktı açıkça yazılmalıdır. 'Metni anlasın' belirsiz bir hedeftir; 'yorumları üç duygu sınıfından birine ayırsın' ise ölçülebilir bir görev tanımıdır.

Çözümlü örnekler: Bir kullanıcı cümlesinden göreve giden yol

Örnek 1 — Duygu analizi

Verilen: 'Bu kulaklık çok rahat, ancak mikrofonu beklediğim kadar iyi değil.'

1. Metin ön işleme: Cümle kelime ve noktalama birimlerine ayrılır. 'kulaklık', 'rahat', 'mikrofon' ve 'iyi' gibi konu ve değerlendirme taşıyan parçalar korunur.
2. Sözdizimsel ilişki: İlk bölümde rahatlık, kulaklık hakkında olumlu bir değerlendirme olarak; ikinci bölümde mikrofon, olumsuz bir değerlendirme nesnesi olarak ele alınır.
3. Anlamsal değerlendirme: 'çok rahat' olumlu, 'beklediğim kadar iyi değil' olumsuz yön taşır. 'Ancak' bağlacı iki değerlendirme arasında karşıtlık kurar.
4. Çıktı kararı: Sistem tek etiket vermek zorundaysa metni yalnızca olumlu veya yalnızca olumsuz sınıfa atamak bilgi kaybı yaratabilir. Daha uygun çıktı, ürünün rahatlığı olumlu; mikrofon performansı olumsuz şeklinde özellik temelli bir değerlendirmedir.

Sonuç: NLP'nin görevi yalnızca olumlu kelimeleri saymak değildir. Aynı metinde farklı özelliklere yönelik zıt değerlendirmeler bulunabilir.

Örnek 2 — Sorgu niyeti ve bağlam

Verilen: 'Yarın en yakın kahve dükkânını bul.'

1. Tokenizasyon: 'yarın', 'en yakın', 'kahve dükkânı' ve 'bul' gibi birimler ayrıştırılır.
2. Bilgi türlerini belirleme: 'yarın' zaman ifadesi, 'en yakın' mesafe ölçütü, 'kahve dükkânı' aranacak yer türü, 'bul' ise eylem talebi olarak yorumlanır.
3. Niyet çıkarımı: Kullanıcı bir tanım veya kahve hakkında genel bilgi istemiyor; belirli bir yeri bulmaya yönelik arama talep ediyor.
4. Eksik bağlamı kontrol etme: 'En yakın' sonucunu belirlemek için kullanıcının konumu veya arama sisteminin kullanabileceği konum bilgisi gerekir. Bu bilgi yoksa sistem doğrudan güvenilir bir yer seçemeyebilir ve konum istemesi gerekebilir.

Sonuç: Aynı 'kahve' kelimesi, bilgi arama, ürün arama veya yer bulma gibi farklı niyetlerle kullanılabilir. NLP sistemi kelimeyi değil, cümlenin amacını ve gerekli bağlamı değerlendirmelidir.

Sık yapılan hatalar ve karıştırılan kavramlar

NLP ile yapay zekâ aynı kapsamda değildir. Yapay zekâ daha geniş bir alandır; NLP onun insan diline odaklanan alt alanlarından biridir. Makine öğrenmesi ise NLP'nin yararlanabileceği bir öğrenme yöntemidir. Derin öğrenme ve yapay sinir ağları da bu yöntem ailesi içindeki yaklaşımlarla ilişkilidir.

İkinci yaygın hata, NLP'nin cümleyi insan gibi anladığını varsaymaktır. Bir model doğru görünen bir yanıt üretebilir; fakat bu, her bağlamda doğru niyeti çıkardığını veya metindeki bilgiyi doğruladığını kanıtlamaz. Özellikle ironi, deyim, yazım hatası, belirsiz zamirler ve eksik konuşma geçmişi sorun oluşturabilir.

Üçüncü hata, her NLP işlemi için aynı ön işleme adımlarının gerekli olduğunu düşünmektir. Stop-word olarak görülen bir kelime bazı görevlerde önemsiz olabilirken, başka bir görevde anlam ayrımı sağlayabilir. Benzer biçimde kök bulma işlemi, eklerin anlam taşıdığı dillerde dikkatle uygulanmalıdır.

Dördüncü hata, duygu analizini kelime sayımıyla sınırlamaktır. 'Harika bir tasarım, fakat sürekli donuyor' cümlesinde olumlu ve olumsuz ifadeler aynı anda bulunur. Bağlaçlar, olumsuzluk ekleri ve hangi özelliğin değerlendirildiği dikkate alınmadan verilen tek etiket yanıltıcı olabilir.

Son olarak, NLP'nin desteklediği dil sayısı veya başarısı için tek bir genel hüküm vermek doğru değildir. Her dilin sözcük yapısı, yazım sistemi, veri miktarı ve kullanım bağlamı farklıdır. Bir dilde iyi çalışan yöntem, başka bir dilde aynı sonucu vermeyebilir.