Attention ve bağlam
GQA, MQA, verimli KV cache, uzun bağlam belleği ve seçici attention yaklaşımları.
WONAI / AÇIK ARAŞTIRMALOCAL / CPU FIRST / OPEN SOURCE03 — WYN®
ZEKÂherkesinOLMALI.
$ wonai --hedef cpu
hedef: yerel çıkarım
gpu: isteğe bağlı
bulut: gerekmiyor
tokenizer: sıfırdan
dil: türkçe + çok dilli
durum: araştırma sürüyor_
hedef: yerel çıkarım
gpu: isteğe bağlı
bulut: gerekmiyor
tokenizer: sıfırdan
dil: türkçe + çok dilli
durum: araştırma sürüyor_
RYZEN 5 5500 SINIFI8 GB CHALLENGE
WonAI, güçlü yapay zekânın pahalı GPU’lara, uzak sunuculara, aboneliklere ve API kotalarına mecbur olmadığı bir gelecek için geliştirilen bağımsız, açık kaynak araştırma projesidir.
Donanımın.
Modelin.
Zekân.
KökenTürkiye
HedefCPU öncelikli
ÇalışmaTamamen yerel
Lisans yönüAçık kaynak
01 / MİSYON
Sıradan donanım.
Ciddi bir hedef.
Temel soru basit: Ryzen 5 5500 sınıfı bir tüketici işlemcisinde, ayrı GPU olmadan ne kadar yetenekli bir yapay zekâ çalıştırılabilir?
WonAI donanım sınırını sonradan değil, ilk günden tasarım girdisi kabul eder.02 / NEYİ HEDEFLİYOR?
Kontrol
kullanıcıda.
Yerel yapay zekâ yalnızca çevrimdışı çalışma değildir. Maliyet, erişim, gizlilik ve karar yetkisinin çalıştıran kişide kalmasıdır.
Tamamen yerel 01CPU öncelikli 02GPU isteğe bağlı 03İnternetsiz kullanılabilir 04Ücretli inference API’sinden bağımsız 05Bellek verimli 06Türkçede güçlü, çok dilli 07Kullanıcı tarafından yönetilebilir 08Ölçülebilir ve yeniden üretilebilir 09Açık kaynak 10
Prompt.
Senin CPU’n.
Senin zekân.
03 / NEDEN?
Ölçeği donanım değil,
verim belirlesin.
Bugün gelişmiş yerel modeller çoğu zaman yüksek VRAM, pahalı GPU ve büyük bellek ister. WonAI soruyu tersine çevirir: sınırlı hesap ve bellek bütçesine ne kadar zekâ sığdırabiliriz?
REFERANS SİSTEM
Normal bir bilgisayar.
| İşlemci | AMD Ryzen 5 5500 sınıfı |
|---|---|
| Çekirdek / İş parçacığı | 6 / 12 |
| Komut seti | AVX2 / FMA |
| GPU | Gerekmemesi hedefleniyor |
| Bellek | Tüketici sınıfı DDR4 |
| Sistem | Windows / Linux |
BAŞARI TANIMI
Parametre değil, verim.
WonAI için tek başına model büyüklüğü bir başarı ölçüsü değildir. Değer; yetenek, bellek ve işlem maliyeti arasındaki ilişkide aranır.
OPTİMİZASYON HEDEFİ
Yetenek ÷ (bellek × hesaplama)
Daha küçük ama bayt ve CPU döngüsü başına daha yetenekli bir model, erişilemeyen büyük bir modelden daha değerlidir.
Yetenek ÷ (bellek × hesaplama)
Daha küçük ama bayt ve CPU döngüsü başına daha yetenekli bir model, erişilemeyen büyük bir modelden daha değerlidir.
04 / SIFIRDAN
Başka bir modeli
yeniden paketlemek değil.
Uzun vadeli amaç; tokenizer, mimari, eğitim hattı, sıkıştırma yöntemleri ve CPU çalışma zamanını WonAI kapsamında geliştirmektir.
Veri setiTokenizerMimariEğitimDeğerlendirme
SıkıştırmaQuantizationCPU optimizasyonuWonAI formatıWonAI Runtime
05 / CPU BİRİNCİ SINIF HEDEF
Her kararın
bir döngü maliyeti var.
GPU için tasarlayıp sonradan CPU’ya uyarlamak yerine; bant genişliği, önbellek, aktif parametre ve ilk token gecikmesi mimari kararın başında ölçülür.
| Ölçüm | Neden önemli? | Raporlama |
|---|---|---|
| Üretim hızı | Gerçek zamanlı kullanım hissi | token / saniye |
| Gecikme | Her token’ın maliyeti | ms / token |
| İlk token | Etkileşim başlangıcı | milisaniye |
| Tepe RAM | Erişilebilir donanım sınırı | GB |
| Bellek bant genişliği | CPU inference darboğazı | GB / saniye |
| Aktif parametre | Her token’daki gerçek iş | parametre / token |
| Enerji | Uzun süreli çalışma maliyeti | joule / token |
06 / BELLEK MESELESİ
Daha az veri hareketi.
Daha çok fayda.
CPU inference çoğu zaman yalnızca işlem gücüyle değil, ağırlıkların bellekten taşınma maliyetiyle sınırlanır. Her teknik üretime girmeden önce ayrı ayrı benchmark edilecektir.
Seyrek hesaplama
Mixture of Experts, expert routing, expert caching, structured sparsity, layer skipping ve dinamik hesaplama.
Düşük bit ve faktörizasyon
INT8, INT4, deneysel 2/3-bit ağırlıklar, mixed precision, low-rank faktörizasyon ve tensör önem analizi.
Runtime ve çekirdekler
Memory-mapped model formatı, ön getirme, thread affinity, fused RMSNorm, fused activation ve AVX2/FMA odaklı SIMD çekirdekleri.
07 / UZUN VADELİ ARAŞTIRMA
8 GBMEYDANOKUMASI.
Yaklaşık 8 GB model bütçesinde, GPU olmadan ne kadar kullanışlı zekâ üretilebilir?
Model boyutu≤ 8 GB hedef
GPUYok
InferenceTamamen yerel
İnternetGerekmiyor
APIGerekmiyor
Bu bir araştırma hedefidir, mevcut performans iddiası değildir. Sonuçlar yalnızca yeniden üretilebilir benchmarklarla paylaşılacaktır.
08 / DİL
Türkçe ilk sırada.
Türkçe ile sınırlı değil.
Türkçe, modele sonradan eklenen ikincil bir dil olmayacak. Eklemeli yapı, teknik anlatım ve uzun form üretim tokenizer’dan değerlendirmeye kadar ayrı bir araştırma alanıdır.
TOKENIZER ÖLÇÜMLERİ
Dilin maliyetini ölç.
Karakter / token, kelime başına token, fertility, encode/decode hızı, sayı ve Unicode davranışı; Türkçe, İngilizce, kaynak kod ve matematik üzerinde ayrı ayrı izlenecek.
YETENEK ALANLARI
Tek bir prompt değil.
Türkçe, akıl yürütme, matematik, programlama, bilgi, talimat izleme, uzun bağlam ve araç kullanımı ayrı test kümeleriyle değerlendirilecek. Test verisi mümkün olduğunca eğitim verisinden ayrılacak.
09 / MİMARİ & RUNTIME
Python’dan ürüne.
Araştırmadan çekirdeğe.
İlk deneylerin temiz bir decoder-only Transformer tabanıyla başlaması; sonrasında ölçüm sonuçlarına göre yeni yapılara ilerlemesi planlanıyor.
Başlangıç bileşenleri
RMSNorm, RoPE, Causal Attention, GQA/MQA, SwiGLU, KV Cache ve Weight Tying.
Seyrek gelecek
Toplam parametresi yüksek fakat token başına aktif parametresi düşük yapılarda uzmanlaşma, yönlendirme ve cache davranışı.
Yerel çalışma zamanı
WonAI formatı → C/C++ runtime → SIMD çekirdekleri → AVX2/FMA → CPU. Üretim inference’ının uzun vadede Python ve PyTorch’a bağlı kalmaması hedefleniyor.
10 / YOL HARİTASI
Küçük deneyler.
Büyük bir yön.
30 milyon parametreli bir model, mimari hatayı 7 milyarlık bir modelden daha hızlı ve ucuz gösterir. Ölçek her aşamada kanıtla büyütülecek.
Temel
Depo yapısı, araştırma belgeleri, eğitim ortamı, benchmark ve CPU profilleme altyapısı.
WonAI Experimental
Sıfırdan tokenizer, ilk mimari, eğitim döngüsü, küçük checkpoint, loss convergence, üretim ve KV cache.
WonAI-30M
Türkçe öncelikli veri, değerlendirme paketi, yeniden üretilebilir checkpoint, quantization ve bellek profili.
100M → 3B+
Daha güçlü veri, ölçek deneyleri, mimari karşılaştırma, uzun bağlam ve talimat izleme çalışmaları.
Efficient WonAI
INT8/INT4, mixed precision, tensör hassasiyeti ve CPU’ya özel düşük bit optimizasyonları.
Sparse WonAI
Sparse FFN, MoE, router eğitimi, uzman önbellekleme ve daha az aktif parametre.
WonAI Runtime
Native C/C++ runtime, AVX2 çekirdekleri, özel model formatı ve üretim CPU inference.
11 / ŞEFFAFLIK
Başarısızlık da veridir.
Her anlamlı sürüm; parametre, model boyutu, tepe RAM, prompt işleme, üretim hızı, gecikme, bağlam, CPU kullanımı, quantization ve kalite sonuçlarını birlikte raporlamalıdır. Tek bir iyi prompt kalite kanıtı değildir.
%95 HEDEFİ HAKKINDA
Hedef, iddia değildir.
Daha büyük öğretmen modellerden bilgi aktarımıyla açıkça tanımlanmış testlerde yaklaşık %95 yetenek koruma oranına yaklaşmak uzun vadeli bir araştırma yönüdür. WonAI bugün bunu başardığını söylemez.
Örnek ölçüm: öğretmen skoru 80, WonAI skoru 76 → ölçülen yetenek koruma oranı %95. Metriğin anlamlı olması için test kümesi, değerlendirme yöntemi ve hesaplama bütçesi birlikte yayınlanmalıdır.
12 / BUGÜNKÜ DURUM
Henüz bitmiş bir model değil.
Belgelenen bir yolculuk.
WonAI erken araştırma ve geliştirme aşamasındadır. İlk herkese açık model henüz yayımlanmadı. Mimari deneyleri, tokenizer, veri hazırlığı, eğitim altyapısı ve CPU inference araştırması ilerledikçe bileşenlerin aşamalı paylaşılması planlanıyor.
Tek geliştirici. Açık bir problem. Uzun vadeli kararlılık.WonAI
yakında.
Bulut yok. Zorunlu GPU yok. API bağımlılığı yok. Yerel zekâ araştırmasını ilk deneyden itibaren takip et.
GitHub’da WonAI↗Geliştirici profilini gör↗