DeepSeek, DeepInfer’in çıkarım çekirdeğini açık kaynak yaptı

DeepSeek, büyük ölçekli yapay zeka hizmetlerinde kullandığı DeepInfer çıkarım altyapısının çekirdeğini açık kaynak olarak yayımladı. DeepSeek modellerini kendi ortamında çalıştırmak isteyen geliştiricilere yönelik paket, ilk aşamada DeepSeek V4.1 Flash desteği sunuyor. Ancak şirket, bu sürümün çevrim dışı çıkarım çekirdeğini kapsadığını açıkça belirtiyor. Tam bir çevrim içi hizmet için gereken bütün parçalar pakette yer almıyor.

Çıkarım, eğitilmiş bir modelin gelen girdiye yanıt üretmesini ifade ediyor. DeepInfer bu aşamadaki hesaplamaları, işlem gruplarını ve donanımlar arası iş dağıtımını yönetiyor. Dolayısıyla duyuru yeni bir sohbet modeli tanıtmıyor. Mevcut modeli büyük ölçekte çalıştırmak için kullanılan yazılımın bir bölümünü geliştiricilere açıyor.

Şirket kodu Apache 2.0 lisansıyla paylaşıyor. Depo, optimize edilmiş hesaplama bileşenleri ile model ve örnekleme çalışma ortamını birlikte içeriyor. FlashMLA, DeepGEMM ve DeepEP gibi bileşenler de bu zincirin içinde bulunuyor. Buna ek olarak sistem, uzman karışımı modellerde işleri farklı donanımlara dağıtmak ve yükü dengelemek için araçlar sunuyor.

İlk çalıştırma örneği, DeepSeek V4.1 Flash model dosyalarını Hugging Face önbelleğine indiriyor. Modelin yerel bir kopyasına yönelme seçeneği de bulunuyor. Buradaki çevrim dışı çalışma ifadesi, model dosyaları hazır olduğunda yerel çıkarım yapmayı tarif ediyor. İlk kurulumda hiçbir dış kaynağa veya indirmeye ihtiyaç olmadığı anlamına gelmiyor.

DeepInfer donanım desteğini ve eksik bileşenleri açıklıyor

DSpark adlı yaklaşım, önce taslak belirteçler üretip ardından bunları doğrulayarak yanıt üretimini hızlandırmayı hedefliyor. Eş zamansız zamanlayıcı ise işlemci tarafındaki iş planlamasını hızlandırıcıların çalışmasıyla örtüştürüyor. Bunlar altyapının teknik yetenekleri arasında sayılıyor. Her kullanıcı için aynı oranda hızlanma veya maliyet düşüşü sağlayacaklarına ilişkin evrensel bir sonuç açıklanmıyor.

İlk sürümün destek listesinde NVIDIA SM100 grafik işlemcileri ve Huawei Ascend 950 hızlandırıcıları yer alıyor. Kurulum ortamı Linux, Python 3.12 ve güncel derleyici gerektiriyor. NVIDIA tarafında CUDA 13, Ascend tarafında CANN 9.2 koşulu bulunuyor. Bu liste, herhangi bir dizüstü bilgisayarın paketi doğrudan çalıştırabileceği anlamına gelmiyor.

Öte yandan DeepSeek, tam hizmet için gereken anahtar ve değer önbellek sistemini bu sürüme eklemediğini bildiriyor. Farklı işleme aşamalarını ayıran hizmet düzeni ve kopyalar arasındaki yük dengeleme de geliştiricinin tamamlaması gereken alanlar arasında bulunuyor. Bu nedenle depoyu indirmek, tek başına dışarıya açık ve üretime hazır bir model hizmeti kurmakla eşdeğer değil.

Tekrarlanabilirlik tarafında iki ayrı özellik bulunuyor. İşlem grubundan bağımsız çıkarım, aynı isteğin yanındaki diğer istekler değişse de model sonucunu sabit tutmayı amaçlıyor. Belirlenimci örnekleme ise aynı girdi ve örnekleme parametreleriyle aynı çıktıyı üretmeye yöneliyor. Geliştiricinin bunun için sabit bir rastgelelik başlangıç değeri kullanması ve belgede tarif edilen seçenekleri birlikte ayarlaması gerekiyor. Şirket bu iki özelliği NVIDIA ile sınırlıyor.

Paket, JSON şeması veya dil bilgisi kurallarıyla çıktı biçimini sınırlama desteği de taşıyor. Aynı girdilerde tekrarlanabilir sonuç üretmeye yönelik bazı seçenekler ise yalnızca NVIDIA tarafında çalışıyor. Şirketin yayımladığı performans ölçümleri de çoklu hızlandırıcı düzenlerine dayanıyor. Belgede ilk işleme için dört, yanıt üretimi için 64 SM100 kullanan ayrı ölçüm ortamları tarif ediliyor.