Recursive Flint kodu buluta göndermeden çalışıyor, ağırlıkları açıldı

Recursive, internet bağlantısına ve uzak sunucuya ihtiyaç duymadan kodlama görevleri yürütebilen Flint modelini yayımladı. Recursive Flint, cihazda çalışabilen açık model seçeneklerine yazılım geliştirme odaklı bir alternatif ekliyor. Şirketin kısa bağlamlı testinde M4 Pro işlemcili MacBook Pro için saniyede 125’in üzerinde token üretimi açıklanıyor.

Modelin toplam büyüklüğü yaklaşık 40 milyar parametre. Bununla birlikte uzmanlar karışımı mimarisi, her token üretilirken yaklaşık 2,5 milyar parametreyi etkinleştiriyor. Bu iki sayı farklı şeyleri anlatıyor. Etkin parametre miktarının düşük olması hesaplama yükünü azaltmaya yönelikken, model dosyalarının boyutu veya bilgisayarın bellek ihtiyacı yalnızca bu sayıya bakılarak belirlenemiyor.

Flint’in yerel sürümü ile tam model dosyası farklı gereksinimler taşıyor

Hugging Face model kartında sunulan BF16 sürümü, yaklaşık 80 GB indirme gerektiriyor. Karttaki kurulum örneği B300 veya H200 ekran kartlarına yönelik. Apple Silicon ve Nvidia için daha düşük hassasiyetli sürümler ayrı hazırlanıyor. Bu nedenle modelin dizüstünde çalışabildiği ifadesi, ana depodaki her dosyanın bütün dizüstü bilgisayarlara doğrudan uygun olduğu anlamına gelmiyor.

Flint, metin giriş ve çıkışının yanında akıl yürütme ve birden fazla tur boyunca araç kullanma işlevlerini destekliyor. Kod tabanını inceleme, hata düzeltme, yeni özellik ekleme ve test yazma, hedeflenen görevler arasında bulunuyor. Model ağırlıkları Apache 2.0 lisansıyla açılıyor. Ancak ağırlıkların lisansı ile varsa barındırılan bir API hizmetinin veri ve kullanım koşulları ayrı konular.

Bunun yanında geliştirici, sonuçların çalıştırma ortamına ve modelin sayısal hassasiyetine göre değişebileceğini belirtiyor. Yayımlanan karşılaştırmalar Recursive’in kendi değerlendirmelerini de içeriyor. Kısa bağlamda verilen hız, uzun bir kod deposunda aynı hızın korunacağını tek başına göstermiyor. Üretilen kodun hatalı olabileceği ve uygulanmadan önce test edilmesi gerektiği de model kartındaki sınırlamalar arasında yer alıyor.

Şirket, Flint’i insanlarla yapay zekâ ajanlarından oluşan küçük bir ekibin dört aydan kısa sürede geliştirdiğini söylüyor. Eureka Machine adlı araştırma sistemi, veri ve eğitim yöntemlerinden çıkarım motorunun iyileştirilmesine kadar çeşitli aşamalarda kullanılmış. Recursive, karmaşık görevleri küçük parçalara bölüp açık yönergeler vermeyi öneriyor. Yerel çalışmanın temel avantajı ise kodunuzu uzak bir sunucuya göndermeden işleyebilmeniz ve kullanılan görevler için API ücreti ödememeniz.