:)) eyv.. x399 ve akabinde x299 kullanmıştım. Güzel sistemler ancak Z platformu gibi pratik olmamaları ev kullanımında can sıkabiliyor. Kolay gelsin tekrardan.
< Bu ileti Android uygulamasından atıldı >
Merak ettiğimden soruyorum hocam, ekran kartı olarak neleri kullandınız? Ayrıca işlemci performansı bu kadar önemli mi, tüm olayın ekran kartı vraminde olduğunu duymuştum
< Bu ileti Android uygulamasından atıldı >
umutdarici
kullanıcısına yanıt
Dediğiniz gibi işlemciler çok önemli değil. AVX ve AVX2 desteği olan en az 4 çekirdekli herhangi bir işlemci olur. Önerilen 8 çekirdekli işlemci...
5x 3090 ve 1x 4090...Ama 40pci lane yetmediğinden çok yavaş çalıştı. Tabii bu benim yorumum. Belki de ollama için 80 GB'lık 2-3 tane kart kullanmak gerekiyordur ekran kartı sayısı arttığı için de model saçmalıyor olabilir.
Dediğim gibi benim yorumum 40 pci lane yeteri kadar bant genişliği Sağlamadığı için kullanamadım. 3 4 5 ve 6 tane 24 GB bellekli kartla denedim hala çok yavaştı.
3 kartla 70b Q8 modeline baktım. 72 GB vram yeterli olması lazım ama Aşırı yavaş. 24 GB ekran kartı belleklerinin 20 gb'ını kullanıyor toplam 60 GB ekran kartı belleği elde ediyor ve 12 GB sistem belleği kullanıyor ve çok yavaşlıyor. Bant genişliğinden dolayı ekran kartı vramlerini verimli kullanamıyor olarak yorumladım bunu.
Yine 70b Q8 modeli için 4 ekran kartı ile denemeler yaptım. 80 GB ekran kartı belleği elde ediyorum. Garip bir şekilde 4x 24gb = 96 GB kullandırtmıyor. sistem belleği kullanmıyor ama yine çok yavaş.
Aslında beklentim şuydu 5 ekran kartını pci Express 8x hızında çalıştırabilseydim 40 hat pci exp bant genişliği yeterli olacaktı. Aslında hesap Düz mantık doğru 40 Pci Ekspres yolu varsa mantıken 5 kart bağlarsam hepsinin 8x çalışmasını bekledim. Araştırmalar yaptım. Kimisi sisteme takılan belleklerin de Pci exp hattını kullandığından bahsetmiş. bana çok mantıksız geldi. doğru mu emin değilim.
Yukarıda yazdığım BIOS ayarlarını yapmazsam 3 ekran kartından daha fazlasını kesinlikle bağlamama izin vermiyor görüntü alamıyorum. Sistemdeki sata portlarına kadar iptal ettim sadece kullandığım bir tane portu aktif Belki biraz daha bant genişliği sağlar umuduyla ama Fark etmedi.
5 ekran kartı ile de 70b Q8 modeli çok 405 B q2 modelini kullanmaktı
Asıl hedefim 6 ekran kartıyla 405 q2 modelini kullanmaktı ama inanılmaz kötü sonuçlar aldım.
< Bu mesaj bu kişi tarafından değiştirildi AC Kiriklar -- 13 Eylül 2024; 12:42:19 >
< Bu ileti Android uygulamasından atıldı >