Yapay zeka tabanlı metin işleme ve doğal dil anlama görevlerinde kullanılan dil modelleri her geçen gün gelişiyor. OpenAI’nin Llama3:8B-Instruct modeli oldukça güçlü bir model olsa da, daha az kaynak tüketen, daha küçük ama daha verimli modeller arayanlar için alternatif seçenekler mevcut. Bu yazıda Hugging Face üzerinde yayınlanan, daha düşük parametreli, “instruct” formatında, akıl yürütme yeteneği güçlü ve CPU’da çalışabilecek hafif dil modellerini derledik.
Aranan Kriterler
Bu listedeki modeller şu özellikleri taşır:
- Llama3:8B’den daha küçük (örn. 3B–7B parametre arası),
- Instruct yani talimatlara yanıt verebilecek şekilde eğitilmiş,
- Hugging Face üzerinde yayınlanmış,
- Akıl yürütme (reasoning) gücü yüksek,
- Düşük sistem kaynaklarıyla çalışabilen Q-format (quantized) sürümleri mevcut.
| Model Adı | Parametre Sayısı | Hugging Face Bağlantısı | Instruct? | CPU Uyumlu (Q4/Q5/GGUF) | Akıl Yürütme Yeteneği (kısa) | Türkçe Desteği |
|---|
| Microsoft Phi-3-mini-4K-Instruct | 3.8B | HF | Evet | Evet (GGUF) | 3.8B’lik, hafif bir model. Mantık ve akıl yürütme odaklı verilerle eğitilmiş; 13B altındaki modeller arasında SOTA mantık/matematik performansı göstermektedir. | Hayır (İngilizce ağırlıklı) |
| Microsoft Phi-4-mini-Instruct | 3.8B | HF | Evet | Bilgi yok (GGUF muht.) | Yüksek kaliteli ve akıl yürütme yoğun sentetik verilerle eğitilmiş; matematiksel ve mantıksal görevlerde güçlü performans sağlayacak şekilde optimize edilmiştir. | Hayır (İngilizce ağırlıklı) |
| Microsoft Phi-4-mini-Reasoning | 3.8B | HF | Evet | Evet (GGUF var) | Çok adımlı matematiksel ve mantıksal problem çözümü için özel ince ayarlardan geçirilmiştir; derin analitik düşünme ve adım adım mantık yürütme için tasarlanmıştır. | Hayır (İngilizce ağırlıklı) |
| Qwen2-7B-Instruct | 7.0B | HF | Evet | Evet (GGUF var) | Alibaba’nın 7B’lik en güncel modeli. Açık kaynak modelleri geride bırakıp dil anlama ve üretimde yüksek başarı sağladığı, çokdilli ve mantıksal çıkarım görevlerinde etkili olduğu belirtilmiştir. | Evet (Çokdilli) |
| Deepthink-Reasoning-7B | 7.0B | HF | Evet | Bilgi yok (muht. Q4) | Qwen2.5-7B tabanlı, özel akıl yürütme modeli. Adım adım düşünme ve yapısal çıktı üretimi için ince ayarlanmıştır; mantıklı analizler, algoritmik ve yaratıcı metinler üretebilir. | Hayır (İngilizce ağırlıklı) |
| Mistral-7B-Instruct | 7.3B | HF | Evet | Evet (GGUF var) | 7.3B’lik, Apache 2.0 lisanslı model. MT-Bench performansında tüm 7B modellerini geride bıraktığı, geniş görevlerde üstünlük gösterdiği rapor edilmiştir. Yani çok adımlı düşünmede güçlüdür. | Hayır (İngilizce ağırlıklı) |
| Falcon-7B-Instruct | 7.0B | HF | Evet | Evet (Q4/Q5/GGUF) | TII Falcon’un 7B tabanlı sohbet/instr. modeli. 1500B token’lık kapsamlı eğitim sayesinde MPT-7B ve diğer benzer modelleri geride bırakır. Genel sohbet ve mantık çıkarımında güçlü, hızlı bir modeldir. | Hayır (İngilizce ağırlıklı) |
| Salamandra-7B-Instruct | ~7.7B | HF | Evet | Evet (Q4 var) | 7B talimatlı versiyonudur. Baştan eğitilmiş, 12.9 trilyon token üzerinden 35 Avrupa dilinde ön eğitim almıştır. Çokdilli sohbet ve talimat takibinde kullanılır (akıl yürütme performansı ise genel LLM seviyesindedir). | Hayır (Türkçe dahil değil) |
| OpenLLaMA-7B-Instruct (v1) | 7.0B | HF | Evet | Bilgi yok (muht. Q4) | LLaMA-7B’nin Alpaca/OA verisi ile ince ayarlanmış açık kaynak sürümü. Genel amaçlı konuşma/instr. görevlerinde kullanılabilir, ancak akıl yürütme özel bir güçlendirme içermemektedir. | Muhtemelen hayır |
En İyi 7 Akıl Yürütme Yeteneği Güçlü Küçük Dil Modeli
1. Microsoft Phi-3 Mini 4K Instruct (3.8B)
- ✅ Instruct formatında
- ✅ GGUF (Q4/Q5) ile CPU’da çalışabilir
- 🔥 Akıl yürütmede en iyi küçük model
- ❌ Türkçe desteği yok (finetune gerekebilir)
- 📌 Modeli incele →
Phi-3 Mini, mantık, matematik ve görev odaklı sentetik verilerle eğitilmiştir. 3.8B gibi düşük parametreli olmasına rağmen, birçok 7B-13B modeli geride bırakıyor.
—
2. Microsoft Phi-4 Mini Reasoning (3.8B)
- ✅ Instruct + reasoning özel eğitimi
- ✅ GGUF sürümü mevcut
- 🔥 Çok adımlı düşünme ve çıkarımda etkili
- ❌ Türkçe yok
- 📌 Modeli incele →
Adım adım problem çözümü ve mantıksal düşünme için optimize edilmiş son derece hafif bir model.
—
3. Qwen2-7B-Instruct (7.0B)
- ✅ Çok dilli destek (Türkçe dahil)
- ✅ GGUF sürümü mevcut
- ⚡ Alibaba tarafından geliştirilen SOTA model
- 📌 Modeli incele →
Qwen2, Llama3 gibi büyük modellerle yarışan bir çokdilli LLM’dir. Akıl yürütme, dil anlama ve çokdilli görevlerde öne çıkıyor.
—
4. Deepthink Reasoning 7B (Qwen2.5 tabanlı)
- ✅ Akıl yürütmeye özel finetune
- ⚠️ GGUF desteği kesin değil ama çıkarılabilir
- ❌ Türkçe destek zayıf
- 📌 Modeli incele →
Akıl yürütme odaklı bir başka güçlü küçük model. Özellikle yapısal yanıtlar, adım adım çözüm gerektiren durumlar için uygun.
—
5. Mistral 7B Instruct (7.3B)
- ✅ MT Bench puanlarında Llama’yı geçiyor
- ✅ GGUF sürümü mevcut
- ❌ Türkçe desteği sınırlı
- 📌 Modeli incele →
Hafif ama güçlü bir instruct modeli. Sadece 7.3B parametreyle çok adımlı dil görevlerinde yüksek başarı gösteriyor.
—
6. Falcon 7B Instruct (7.0B)
- ✅ TII tarafından geliştirildi
- ✅ GGUF formatı ile CPU destekli
- 🔍 Genel dil görevlerinde iyi, akıl yürütme orta seviye
- 📌 Modeli incele →
Verimli, açık kaynaklı bir model arayanlar için ideal. Akıl yürütme kapasitesi diğerleri kadar yüksek değil, ama genel kullanıma uygun.
—
7. Salamandra 7B Instruct (7.7B)
- ✅ Avrupa dilleri için çok dilli destek
- ⚠️ Türkçe resmi olarak listelenmemiş
- ✅ GGUF sürümü mevcut
- 📌 Modeli incele →
35 Avrupa dili için ince ayarlanmış, çok dilli bir sohbet modeli. Türkçe desteği kısıtlı olabilir, test edilmesi önerilir.
—
Sonuç: En Verimli ve Akıllı Seçenek Hangisi?
CPU üzerinde çalışan, düşük kaynak tüketimli ve akıl yürütme gücü yüksek bir model arıyorsanız:
- Phi-¾ Mini Reasoning modelleri en yüksek verimi verir.
- Qwen2-7B-Instruct, Türkçe destek arayanlar için en güçlü aday.
- Donanımınız çok kısıtlıysa Phi-3 Mini, en az kaynakla en yüksek performansı sunar.
—
Sıkça Sorulan Sorular
Q: Bu modeller CPU’da çalışır mı?
A: Evet, GGUF formatında quantize edilmiş sürümleri ile 8GB RAM ve 2 çekirdekli işlemcilerde bile çalışabilir.
Q: Türkçe destekli en iyi instruct modeli hangisi?
A: Qwen2-7B-Instruct, çokdilli destek sunması ve güçlü akıl yürütme yetenekleri ile öne çıkar.
Q: Hugging Face üzerinden nasıl çalıştırabilirim?
A: transformers + auto-gptq ya da llama.cpp ve text-generation-webui gibi araçlarla yükleyebilirsiniz.
