Yapay Zeka Evrimi
Yapay zeka nasıl bu hale geldi, hiden markow modellerle debelenirken bugün gelinen noktada, büyük bir veri YZ eğitiminde kullanıldıktan sonra eğitim sonucunda oluşan nedir, YZ bu oluşumdan nasıl yararlanır?
Yapay Zeka nasıl bu hale geldi? Hidden Markov Modellerden Büyük Dil Modellerine
1990’larda ve 2000’lerin başında yapay zeka ve özellikle doğal dil işleme sistemleri büyük ölçüde kurallara ve istatistiksel modellere dayanıyordu. Bunların en bilinenlerinden biri Hidden Markov Model (HMM) yani Gizli Markov Modeliydi.
Bu sistemlerde temel fikir şuydu:
Bir kelimeden sonra hangi kelimenin gelme ihtimali daha yüksek?
Örneğin:
“Ben eve …”
ifadesinden sonra “gittim” kelimesinin gelme ihtimali, “araba” kelimesinin gelme ihtimalinden daha yüksektir.
Model, kelimeler arasındaki geçiş olasılıklarını hesaplayarak tahmin yapmaya çalışıyordu.
Ancak bu yaklaşımın ciddi sınırları vardı:
- Uzun cümlelerde bağlamı koruyamıyordu.
- Kelimelerin gerçek anlamını anlayamıyordu.
- Dünya bilgisine sahip değildi.
- İnsan dilindeki karmaşık ilişkileri yakalamakta zorlanıyordu.
Büyük kırılma: Veriden öğrenen yapay zeka
Daha sonra yaklaşım değişti.
Araştırmacılar şunu fark etti:
“Kuralları tek tek yazmak yerine, sisteme çok büyük miktarda veri verelim ve ilişkileri kendisi öğrensin.”
Böylece makine öğrenmesi ve ardından derin öğrenme yöntemleri önem kazandı.
Milyonlarca hatta milyarlarca cümle modele gösterildi.
Örneğin:
“Ben eve gittim.”
“Ali okula gitti.”
“Bugün hava çok güzel.”
gibi milyonlarca örnek üzerinden model, dildeki kalıpları öğrenmeye başladı.
Word Embedding: Kelimelerin matematiksel hale gelmesi
Büyük gelişmelerden biri kelimelerin sayısal olarak temsil edilmeye başlanmasıydı.
Eskiden bilgisayar için “kral” sadece bir yazıydı.
Yeni sistemlerde ise her kelime bir sayı dizisine dönüştürüldü.
Örneğin:
Kral → [0.82, -0.14, 0.55, … ]
Bu sayı dizisine “vektör” denir.
İlginç olan şudur:
Model, kelimelerin anlam ilişkilerini de öğrenmeye başladı.
Örneğin:
Kral – Erkek + Kadın ≈ Kraliçe
gibi matematiksel ilişkiler ortaya çıktı.
Model hiçbir zaman “kral erkek hükümdardır” şeklinde bir kural öğrenmedi.
Sadece milyarlarca örnekten kelimeler arasındaki ilişkileri matematiksel olarak çıkardı.
Transformer devrimi
2017 yılında yayınlanan “Attention Is All You Need” isimli çalışma yapay zeka alanında büyük bir dönüm noktası oldu.
Transformer mimarisi sayesinde modeller artık sadece önceki kelimeye değil, cümlenin tamamına bakabilir hale geldi.
Örneğin:
“Ahmet kitabı Ali’ye verdi çünkü o çok meraklıydı.”
Buradaki “o” kelimesinin Ahmet’i mi yoksa Ali’yi mi ifade ettiğini anlamak için tüm cümleye bakmak gerekir.
Transformer bunu yapabilen bir yapı sundu.
Bu teknoloji günümüzde ChatGPT gibi büyük dil modellerinin temelini oluşturuyor.
Eğitim tamamlandığında ortaya ne çıkar?
En merak edilen noktalardan biri budur.
Büyük bir yapay zeka modeli eğitildiğinde ortaya çıkan şey kitapların veya internetin bir kopyası değildir.
Ortaya çıkan şey:
Milyarlarca sayıdan oluşan bir matematiksel modeldir.
Bunlara “parametre” veya “ağırlık” denir.
Örneğin bir yapay zeka modelinde yüz milyarlarca farklı sayı bulunabilir.
Bu sayılar tek başına anlam ifade etmez.
Ancak birlikte çalıştıklarında:
- Dil bilgisi
- Kelime ilişkileri
- Kavramlar arasındaki bağlantılar
- Dünya bilgisi
- Programlama bilgisi
- Mantıksal örüntüler
gibi birçok bilgiyi temsil ederler.
Bilgi modelin içinde nasıl saklanır?
Yapay zekanın hafızası klasik bir veritabanı gibi çalışmaz.
Örneğin Wikipedia’daki bir cümle modelin içinde birebir kayıtlı değildir.
Bilgi, milyonlarca parametreye dağılmış durumdadır.
Buna “dağıtılmış temsil” (distributed representation) denir.
Örneğin:
“Paris Fransa’nın başkentidir”
bilgisi tek bir yerde bulunmaz.
Modelin birçok farklı bölgesindeki ağırlıkların oluşturduğu matematiksel ilişkiler sayesinde bu bilgi ortaya çıkar.
Kullanıcı soru sorduğunda ne olur?
Bir kullanıcı:
“Türkiye’nin başkenti nedir?”
diye sorduğunda model internete gidip cevap aramaz.
(Özel olarak bir arama sistemi bağlı değilse.)
Şu işlemler gerçekleşir:
- Soru küçük parçalara ayrılır. Bunlara token denir.
- Tokenlar matematiksel değerlere dönüştürülür.
- Bu değerler modelin milyarlarca parametresi üzerinden geçirilir.
- Model sıradaki en olası kelimeyi hesaplar.
- Yeni kelime eklenir ve işlem tekrar edilir.
Böylece cevap kelime kelime oluşturulur.
Yapay zeka aslında düşünüyor mu?
Teknik olarak klasik anlamda düşünmez.
Yaptığı temel işlem:
“Bu bağlama göre sıradaki en uygun ifade nedir?”
sorusunu çok büyük bir matematiksel sistemle cevaplamaktır.
Ancak model o kadar fazla veri ve ilişki öğrendiği için ortaya çıkan davranış insan düşünmesine benzer görünür.
Çünkü dil, mantık ve bilgi arasındaki bağlantıları öğrenmiştir.
Neden bugün bu kadar güçlü?
Bunun üç temel sebebi vardır:
1. Çok büyük veri
Eskiden modeller milyonlarca kelimeyle çalışıyordu.
Bugünkü modeller trilyonlarca kelime üzerinde eğitilebiliyor.
2. Çok büyük hesaplama gücü
GPU ve özel yapay zeka işlemcileri sayesinde milyarlarca matematiksel işlem saniyeler içinde yapılabiliyor.
3. Daha gelişmiş mimariler
Transformer gibi yeni yöntemler, modellerin uzun bağlamları anlamasını sağladı.
Sonuç
Günümüzdeki büyük yapay zeka modelleri aslında devasa birer matematiksel fonksiyondur.
Eğitim sırasında internetteki metinler, kitaplar ve diğer veriler modele doğrudan yüklenmez.
Bunun yerine bu verilerden öğrenilen ilişkiler, milyarlarca sayıdan oluşan parametrelere sıkıştırılır.
Kullanıcı soru sorduğunda yapay zeka bu parametreleri kullanarak en uygun cevabı hesaplar ve kelime kelime oluşturur.
Yani modern yapay zekanın sırrı:
“Bilgiyi saklamak” değil, “Bilginin nasıl yapılandığını öğrenmek”
üzerine kuruludur.
