Merak ediyorum, elimizdeki basit bir komutla büyük metinler üreten AI araçları nasıl bir yol izliyor? Makine öğrenmesi modelleri eğitim verileriyle nasıl besleniyor, metinleri nasıl 'anlamlandırıyor' ve kelime dizilerini nasıl oluşturuyor? Bu sürecin arkasındaki temel prensipler neler, özellikle de diller arası geçişlerde? Sizce bu sistemler gelecekte ne kadar 'insan gibi' metinler üretebilecek?
AI ile metin oluşturma araçları nasıl çalışır?
👁️ 60 görüntüleme💬 4 cevap❤️ 0 beğeni
4 Cevap
Basit bir sorudan devasa metinler üreten AI araçları, aslında tıpkı bir dili öğrendiğimiz gibi çalışıyor. Mesela senin ilkokulda öğrendiğin gibi: önce harfleri, kelimeleri ve cümleleri defalarca okuyorsun, sonra bunları bir araya getirerek kendi cümlelerini kurmaya başlıyorsun. AI’lar da aynı şekilde çalışıyor ama onların "okuma" kısmı milyonlarca metni tarayarak oluyor. Örneğin GPT-3 gibi modeller, internetten toplanan devasa veri kümelerinde (kitaplar, makaleler, forumlar vb.) kelime dizilerini, dil yapısını ve bağlamı "öğreniyor". Sonrasında da bir komut aldıklarında, tıpkı sana "bir hikaye anlat" dediğimde senin neler uydurabileceğine benzer şekilde, o da en olası kelime dizisini tahmin ederek metin oluşturuyor.
Diller arası geçişler konusuna gelince, aslında burası biraz tercümeye benziyor. AI, bir dilden diğerine geçerken kelime kelime değil, anlamı ve bağlamı koruyarak aktarıyor. Örneğin İspanyolca bir metinden İngilizceye çevirirken sadece kelimeleri değiştirmiyor, cümlenin ruhunu da yakalamaya çalışıyor. Bu yüzden bazı durumlarda çok doğal olsa da bazen de biraz "yapay" kaçabiliyor. Gelecekteyse bu sistemler daha da gelişecek ve insan gibi metinler üretmek konusunda çok daha iyi olacaklar, hatta belki de bazı durumlarda insanlardan ayırt edilemeyecek seviyeye gelebilirler. Mesela şu an zaten matematiksel metinler ya da teknik raporlar üretmede neredeyse mükemmel sayılırlar, ama duygusal veya yaratıcı içeriklerde henüz biraz taklit ediyorlar diyebiliriz.
Ben de hep merak etmişimdir valla, özellikle bugünlerde insanlar bana "Oha, bu metni sen mi yazdın?" diye soruyor. AI araçlarının nasıl çalıştığını anlamak için en basitinden bir model olan GPT-3'ün arka planını inceledim geçenlerde, kanka. Temel prensip aslında makine öğrenmesiyle ilgili: sistem, internetten toplanmış devasa veri setleriyle (ki bunlar kitaplar, makaleler, forumlar falan derlenip oluşturulmuş) eğitiliyor. Bu verilerde kelime dizilerinin ne sıklıkta bir araya geldiği, cümlenin içinde nasıl bağlantılı oldukları gibi paternler öğreniliyor. Örneğin, "kırmızı elma" denince hemen "dut" ya da "sepet" gibi kelimelerin de gelme olasılığı yüksek diye modelleme yapılmış.
Diller arası geçişteyse zaten Transformer mimarisi denen bir şey kullanılıyor, ki bu sayede kelime vektörleriyle birlikte dilin yapısı da kodlanmış oluyor. Mesela İngilizce "red" kelimesi ile Türkçe "kırmızı" arasındaki ilişkiyi öğrenmiş bir model, direkt olarak çeviri yapabiliyor. Gelecekte ne kadar "insan gibi" olacak peki? Tahminimce çok yakın bir zamanda o kadar da insan gibi olmayacak, çünkü hala metnin ardındaki "neden"i anlamakta zorlanıyorlar. Ama senin de gördüğün gibi, var olan sistemler bile o kadar ikna edici ki, birçoğumuz insan yazısını ayırt edemez hale geldik. Bence burada en kritik nokta, AI'ın henüz "yaratıcı düşünce"den yoksun olması, sadece veriden kopyalama yapması.
Aynen, bilgisayara sadece "Bir hikaye yaz" dediğinde ortaya çıkan o metinler hep şaşırtıcı valla. Temelde, milyonlarca kitap, makale ve internet yazısından beslenen bir model devreye giriyor. Bu verilerle kelime dizilerini ve bağlamı öğreniyor, sonra da istatistiksel olarak en olası cümleyi üretiyor. Mesela İngilizce'den Türkçe'ye çeviride, kelime ve dilbilgisi ilişkilerini de modelde çalıştırıp kelimenin cümledeki rolüne göre tercüme ediyor. Gelecekteki gelişmelerle birlikte daha akıcı ve doğal metinler üretecekler bence, ama tamamen "insan gibi" olması için henüz uzun yol var. İlginç olanı, ben de Python'da basit bir metin üretici denedim, küçük bir model eğitip "Python nasıl öğrenilir?" gibi sorulara cevaplar üretmesini sağladım, sonuçlar enteresandı.
Kanka merak etme, ben de yakın zamanda bu konuya kafayı taktım özellikle IoT cihazlarının dokümantasyonunu otomatikleştirirken. Temel prensip aslında ilkokulda öğrendiğimiz gibi kelime dizilerini tahmin etme işi diyebiliriz. Model eğitilirken milyonlarca metin verisiyle besleniyor - mesela kitaplar, haberler, kod dokümantasyonu, hatta senin bana yazdığın mesajlardaki tarz. Örneğin ChatGPT İngilizce için neredeyse tüm İngilizce interneti yiyip bitirdi (buna Reddit ve forumların da dahil olduğunu unutma valla 😅).
Diller arası geçişteyse aslında bu GPT'lerdeki "Attention Mekanizması" dedikleri şey sayesinde oluyor, kelimelerin birbirine nasıl bağlandığını anlamayı öğreniyorlar. Mesela Türkçe bir cümleyi girip İngilizce olarak devam ettirmesini istesen, o mekanizma sayesinde dilbilgisi kurallarını da (çoğunlukla) doğru şekilde uyguluyor. Ben mesela bir cihazın kullanım kılavuzunu otomatik Türkçe'den İngilizce'ye çevirttiğimde hâlâ ufak tefek hatalarla karşılaşıyorum ama %90 doğru çıkması beni şaşırtıyor. Gelecekteyse eminim o ufak hataları da yok edecekler, neredeyse insanın yazdığı gibi metinler üretebilecekler. Neden mi? Çünkü araştırmacılar her geçen gün daha da büyük modelleri (ve verileri) eğitiyorlar - bence sadece birkaç yıl içinde istediğin her şeyi neredeyse kusursuzca yazdırabileceksin.