Google, OpenAI’nin GPT-4’üne rakip olan ve son dil modeli PaLM 2’yi duyurdu. Google CEO’su Sundar Pichai, I/O açılış konuşmasında yaptığı konuşmada, “PaLM 2 modelleri, mantık ve muhakeme üzerine geniş eğitim sayesinde daha güçlüdür. Ayrıca 100’den fazla dilde çok dilli metin üzerinde eğitilmiştir.” dedi.
Google kıdemli araştırma direktörü Slav Petrov, I/O açılış konuşmasında, PaLM 2’nin muhakeme, kodlama ve çeviri gibi metin temelli görevlerde çok daha iyi olduğunu belirtti. Petrov, “PaLM 1’e göre önemli ölçüde geliştirildi” dedi.
PaLM 2’nin farklı dillerdeki deyimleri anlama yeteneğini gösteren Petrov, “Ich verstehe nur Bahnhof” ifadesi gibi Almanca deyimleri örnek gösterdi. Bu ifade, kelime anlamı olarak “Sadece tren istasyonunu anlıyorum.” demek olsa da, “Ne dediğini anlamıyorum” veya İngilizce bir deyim olan “it’s all Greek to me” anlamında kullanılır.
Google mühendislerinin PaLM 2’nin özelliklerini anlatan araştırma makalesinde, sistemin dil yeterliliğinin “o dili öğretmeye yeterli” olduğu ve bu başarının eğitim verilerindeki İngilizce olmayan metinlerin artan oranından kaynaklandığı belirtiliyor.
PaLM 2, tıpkı diğer büyük dil modelleri gibi, oluşturulması büyük miktarda zaman ve kaynak gerektiren bir ürün ailesi olarak değerlendirilebilir. PaLM 2, tüketici ve işletme ortamlarında kullanılacak farklı versiyonlarla birlikte sunuluyor. Sistem, en küçükten en büyüğe sırasıyla Gecko, Otter, Bison ve Unicorn adlarıyla dört boyutta mevcuttur ve belirli görevlerde işletme müşterileri için alan odaklı verilerle hassaslaştırılmıştır.
Bu özelleştirmeler, temel bir kamyon şasisine yeni bir motor veya ön tampon ekleyerek belirli görevleri gerçekleştirmek veya belirli arazilerde daha iyi çalışmak gibi düşünülebilir. Sağlık verileri üzerinde eğitilmiş bir PaLM versiyonu (Med-PaLM 2) bulunuyor ve
Google, bu sürümün ABD Tıbbi Lisanslama Sınavı’ndaki sorulara “uzman” düzeyinde cevaplar verebildiğini belirtiyor. Bir başka sürüm ise siber güvenlik verileri üzerinde eğitilmiş (Sec-PaLM 2) ve “potansiyel zararlı betiklerin davranışlarını açıklayarak ve kodda tehditleri tespit etmeye yardımcı olarak” çalışıyor. İki model de başlangıçta seçili müşterilere sunulmak üzere Google Cloud üzerinden kullanılabilir olacak.
Google’ın kendi alanında PaLM 2, şirketin deneysel sohbet robotu Bard dahil olmak üzere 25 özellik ve ürünü güçlendirmekte kullanılıyor. Bard’a yapılan güncellemeler arasında kodlama becerilerinin geliştirilmesi ve daha fazla dil desteği bulunuyor. Ayrıca Google Workspace uygulamaları olan Docs, Slides ve Sheets’teki özellikleri de güçlendiriyor.
Özellikle Google, PaLM 2’nin en hafif sürümü olan Gecko’nun, saniyede 20 token işleyerek mobil telefonlarda çalışabilecek kadar küçük olduğunu belirtiyor. Bu, yaklaşık olarak 16 veya 17 kelimeye denk gelir. Google, bu modeli test etmek için hangi donanımın kullanıldığını belirtmemiş, sadece “en yeni telefonlar” üzerinde çalıştığını ifade etmiştir. Yine de, dil modellerinin bu ölçüde küçültülmesi önemlidir. Bu tür sistemlerin bulutta çalıştırılması maliyetli olup, yerel olarak kullanılabilmesi başka avantajlar sağlayabilir, örneğin gizlilik açısından iyileşme. Ancak daha küçük dil modelleri, büyük kardeşlerine göre kaçınılmaz olarak daha az yetenekli olacaktır.
PaLM 2 ile Google, şirketin Microsoft gibi rakipleriyle arasındaki “AI açığını” kapatmayı umuyor. Microsoft, AI dil araçlarını Office yazılım paketine agresif bir şekilde dahil etmekte ve belgeleri özetleme, e-posta yazma, sunumlar için slayt oluşturma ve daha pek çok şey için AI özellikleri sunmaktadır. Google, rakibinin hızına yetişemeyecek olursa, AI araştırmalarını uygulamada yavaş olarak algılanma riskiyle karşı karşıya kalabilir.
PaLM 2, Google’ın AI dil modelleri üzerindeki çalışmaları için kesinlikle bir adım ileri olsa da, teknoloji genelinde yaygın olan sorunlar ve zorluklarla mücadele etmektedir.
Örneğin, dil modellerini oluşturmak için kullanılan eğitim verilerinin yasallığı konusunda bazı uzmanlar şüpheye düşmektedir. Bu veriler genellikle internetten alınır ve sıklıkla telif hakkı korumalı metinler ve korsan e-kitaplar içerir. Bu modelleri oluşturan teknoloji şirketleri, eğitim verilerinin kaynağı hakkındaki soruları yanıtlamayı reddederek genellikle duruma tepki gösterir. Google, PaLM 2’nin tanıtımında bu geleneği sürdürmekte ve sistemin eğitim veri kümesinin “çeşitli kaynaklardan oluşan: web belgeleri, kitaplar, kodlar, matematik ve sohbet verileri”nden oluştuğunu belirtmekte, ancak daha fazla ayrıntı sunmamaktadır.
Dil modellerinin çıktılarında da “halüsinasyonlar” olarak adlandırılan sorunlar bulunmaktadır. Bu, bu tür sistemlerin sıklıkla bilgi uydurma eğilimi göstermesidir. Google Araştırma Başkan Yardımcısı Zoubin Ghahramani, The Verge’e yaptığı açıklamada, PaLM 2’nin bu konuda önceki modellere göre bir gelişme olduğunu, “bilgi doğrulama ve atıf metriklerini sürekli iyileştirme konusunda büyük çaba harcadıklarını” söyledi. Ancak, AI tarafından üretilen yanlış bilgilerle mücadelede sektörün “daha kat edecek yolu olduğunu” belirtti.
