Hiç ChatGPT ile sohbet ederken „Bunu daha az önce söyledim ya!“ diyerek ekrana şaşkınlıkla baktığınız oldu mu? İşin garip tarafı, bu yapay zekâ haftalar önce bahsettiğiniz kedinizin ismini veya sevmediğiniz yemekleri „Bellek“ özelliği sayesinde şıp diye hatırlayabiliyorken, bazen henüz iki mesaj önce yazdığınız kritik bir detayı tamamen yok sayabiliyor.
Aslında bu durum bir sistem hatasından ziyade, yapay zekânın „uzun süreli hafıza deposu“ ile „anlık dikkat mekanizması“ arasındaki çalışma farkından kaynaklanıyor ve cevabı teknolojinin derinliklerinde değil, tamamen odaklanma mantığında yatıyor.
Bellek ile anlık sohbetin farkı
ChatGPT’nin haftalar öncesini hatırlamasının sebebi, onun sizin hakkınızda tuttuğu özel bir not defteri gibi çalışan „Memory“ (Bellek) özelliğidir. Siz ona bir bilgi verdiğinizde veya kendinizle ilgili bir detay paylaştığınızda, sistem bunu alıp aktif sohbetten bağımsız, güvenli bir alana kaydeder ancak iki mesaj öncesini unutması, o anki „çalışma masasının“ dağınıklığıyla ilgilidir. Yapay zekâ, o anki sohbet penceresinde akan metinleri anlık hafızasında tutar.
Eğer sohbetin akışı karmaşıksa veya model o an cevaba odaklanırken dikkati başka bir yöne kaydıysa, tıpkı dalgın bir insan gibi en son söylenen cümleyi işlemeyebilir. Yani haftalar öncesi „kayıtlı bilgi“ iken, iki dakika öncesi „işlenmesi gereken anlık veri“ statüsündedir ve bu iki süreç birbirinden tamamen farklı işler.
Dikkat mekanizması ve kelime seçimi
Bu anlık unutkanlığın en büyük teknik sebebi, yapay zekânın „Attention Mechanism“ yani dikkat mekanizması adı verilen çalışma prensibidir. ChatGPT, yazdığınız her kelimeye matematiksel bir önem puanı atar. Bazen siz çok önemli bir şey yazdığınızı düşünseniz de model bir önceki paragraftaki başka bir kelimeye daha fazla ağırlık verip, sizin son cümlenizi „daha az önemli“ olarak etiketleyebilir.
Özellikle uzun ve detaylı komutlar verdiğinizde, modelin dikkati dağılabilir ve en son eklediğiniz o küçük ama önemli düzeltmeyi gözden kaçırabilir. Bu, sizi dinleyen bir arkadaşınızın o sırada arka plandaki müziğe dalıp son cümlenizi duymamasına benzer bir durumdur.
Sohbet geçmişinin yarattığı yanılsama
Kullanıcılar olarak bizler, ekranda gördüğümüz sohbet akışını bir bütün olarak algılarız ancak yapay zekâ her yeni cevabında tüm sohbeti baştan sona tekrar okuyormuş gibi işlem yapar. Sohbet uzadıkça veya konu daldan dala atladıkça, modelin hangi bilginin güncel, hangisinin eski olduğunu ayırt etmesi zorlaşabilir.
Haftalar önceki bilgi „sabit bir gerçek“ olarak kodlandığı için hatırlanması kolaydır ancak iki mesaj önceki bilgi, akışkan sohbetin bir parçasıdır ve henüz „sabitlenmemiştir“. Bu yüzden ChatGPT bazen genel tercihlerinizi mükemmel bilirken, o anki bağlamı kaçırır. Bu durumu aşmak için en iyi yöntem, modelin unuttuğu detayı ona nazikçe hatırlatmak veya karmaşık istekleri parçalara bölerek sunmaktır. Yani çoğu zaman yeni sohbetten devam etmek en kararlı sonucu almanızı sağlar.