Yandex, büyük dil modellerinin (Large Language Model-LLM) eğitimi için yeni ve açık kaynaklı bir yöntem olan YaFSDP’yi tanıttı. YaFSDP şu anda GPU iletişimini geliştirmek ve LLM eğitiminde bellek kullanımını azaltmak için halka açık en etkili yöntemi simgeliyor. Yöntem, mimariye ve parametre sayısına bağlı olarak FSDP’ye kıyasla yüzde 26’ya varan hızlanma sunuyor. YaFSDP kullanımıyla LLM’lerin eğitim süresinin azaltılması, GPU kaynaklarında yüzde 20’ye varan tasarruf sağlama potansiyeline sahip oluyor.
Küresel yapay zeka topluluğunun gelişimine anlamlı bir katkı sunma amacıyla Yandex, YaFSDP’yi dünya çapındaki LLM geliştiricilerinin ve yapay zeka meraklılarının kullanımına açtı.
Yandex’te kıdemli geliştirici olarak görev yapan ve YaFSDP’nin arkasındaki ekibin parçası olan Mikhail Khruschev, şunları söyledi: “Şu anda YaFSDP’nin çok yönlülüğünü genişletmek için çeşitli model mimarileri ve parametre boyutları üzerinde aktif olarak deneyler yapıyoruz. LLM eğitimindeki gelişmelerimizi küresel ML topluluğuyla paylaşmaktan, dünya genelindeki araştırmacılar ve geliştiriciler için erişilebilirliğin ve verimliliğin artmasına katkıda bulunmaktan heyecan duyuyoruz.”
Türkiye’de yer alan çeşitli teknoloji ve finans kuruluşları, Türkçe dil modelleri geliştirerek bu alanda dünya çapında önemli projelere imza atıyor. Türkiye’de geliştirilen bu büyük dil modelleri, Yandex’in sunduğu YaFSDP yöntemi ile önemli avantajlar elde edebilir. YaFSDP’nin sunduğu GPU tasarrufları ve eğitim hızlandırmaları, bu projelerin daha verimli ve maliyet etkin bir şekilde gerçekleştirilmesine katkıda bulunabilir. Özellikle, dil modeli eğitimi sırasında GPU kaynaklarında yüzde 20’ye varan tasarruf sağlanması ve %26’ya kadar hızlanma elde edilmesi, bu projelerin hem ekonomik hem de operasyonel açıdan daha sürdürülebilir olmasını sağlayabilir.
LLM’lerin eğitimi zaman alıcı ve yoğun kaynak gerektiren bir süreç oluyor. Kendi LLM’lerini geliştirmek isteyen makine öğrenimi mühendisleri ve şirketler, bu modellerin eğitimi için önemli miktarda zaman ve GPU kaynağı, dolayısıyla para harcamak zorunda kalıyor. Model ne kadar büyükse, eğitimi için gereken zaman ve masraf da o kadar artıyor.
Yandex YaFSDP, GPU iletişimindeki verimsizliği ortadan kaldırarak GPU etkileşimlerini kesintisiz hale getiriyor ve eğitimin yalnızca gerektiği kadar işlem belleği kullanmasını sağlıyor.
YaFSDP, öğrenme hızını ve performansını optimize ederek dünya çapındaki yapay zeka geliştiricilerinin modellerini eğitirken daha az bilgi işlem gücü ve GPU kaynağı kullanmalarına yardımcı oluyor. Örneğin, 70 milyar parametreli bir modeli içeren ön eğitim senaryosunda, YaFSDP kullanmak yaklaşık 150 GPU kaynağına denk tasarruf sağlama potansiyeline sahip bulunuyor. Bu da sanal GPU sağlayıcısına veya platformuna bağlı olarak ayda kabaca 500 bin ila 1,5 milyon dolar tasarruf anlamına geliyor.
FSDP’nin geliştirilmiş bir versiyonu olan YaFSDP, ön eğitim, hizalama ve ince ayar gibi LLM eğitiminin iletişim ağırlıklı aşamalarında FSDP yöntemine kıyasla daha iyi performans gösteriyor. YaFSDP’nin Llama 2 ve Llama 3 üzerinde gösterdiği nihai hızlanma, Llama 2 70B ve Llama 3 70B üzerinde sırasıyla yüzde 21 ve yüzde 26’ya ulaşarak eğitim hızında önemli gelişmeler olduğunu ortaya koyuyor.
Mikhail Khruschev, “YaFSDP, 13 ila 70 milyar parametre arasında değişen modellerde etkileyici sonuçlar gösterdi ve özellikle 30 ila 70 milyar aralığında güçlü bir performans sergiledi. YaFSDP, şu an LLaMA mimarisine dayalı yaygın olarak kullanılan açık kaynaklı modeller arasında en uygun olanıdır” diyor.
Yandex daha önce başka açık kaynaklı araçlar da sunmuştu
YaFSDP, Yandex’in sunduğu ilk açık kaynaklı araç değil. Şirket daha önce ML topluluğu arasında popüler hale gelen başka araçlar da paylaşmıştı:
- CatBoost, karar ağaçlarında gradyan artırma için yüksek performanslı kütüphane.
- YTsaurus, dağıtık depolama ve işleme için büyük veri platformu.
- AQLM, Yandex Araştırma, HSE Üniversitesi, Skoltech, IST Avusturya ve NeuralMagic tarafından ortaklaşa geliştirilen büyük dil modellerinin aşırı sıkıştırılması için en gelişmiş niceleme algoritması.
- Petals, Yandex Research, HSE University, University of Washington, Hugging Face, ENS Paris-Saclay ve Yandex School of Data Analysis işbirliğiyle geliştirilen, LLM’lerin eğitim ve ince ayar sürecini basitleştirmek için tasarlanmış kütüphane.
