Komprimované ploty (zmenšené)

olasek

Já už něco málo přes GPU naplotoval. Na kompresi C7. Oproti klasickému plotování je rychlost vytvoření plotu na mém systému 13 minut oproti 42 minutám při běžném MadMaxu. Což už je celkem značný důvod pro přeplotování. 30% úspora je celkem pádný argument proč přeplotovat a za reálně nízkou dobu.

Tom_F-M

Gigahirse ploty od Maxe ofiko nebere ( třeba použít tohle: https://github.com/madMAx43v3r/chia-gigahorse/tree/master/chiapos ), za cca měsíc bude verze od Chia. Bladebit CUDA bude asi na 256GB RAM, Max to ma od 64GB (64GB verze zapisuje na SSD jen cca 400GB při jednom plotu! Bude sice Bladebit disk, ale to je moc pomale, když už člověk slyšel o GPU Farmingu. :-)

Můj test: Gigahorse na MSI GTX 1060 6GB, 64GB DDR4 Dual 3333 MHz, Transcend 220S 1TB, Win 10 - 25 min (lepší než původních 55 min)- NVMe je pomalé, udrží zápis kolem 550 MB/s, občas je tam 2500, ale pak to klesne. Zkusím to ještě na Linuxu a na Raid 0 , 128GB RAM se mi kupovat nechce. Chtělo by to alespoň na těch 13 minut co se plot kopíruje na disk.

Na kopmresi C7 je to dle Maxe 35%, C8 42% více nafarmařeno. C9 je asi extrém ? Zajímavé bude kolik se zvedne spotřeba ?

olasek

Tom_F-M
Já mám 128GB DDR4 3200 MHz a 2x RTX 3060 Ti. Nějak se mi nedaří rozjet plotování na dvou kartách najednou. Navíc mám starší desku jen s PCI-E 3.0. Ona i ta rychlost sběrnice udělá dost. Ta PCI-E 4.0 je 2x rychlejší, takže to je první brzda. Každopádně na partialu to chce 2 disky SSD. Ten druhej je obyčejnej s maximálkou 550 Mb/s, takže to je druhá brzda. Až to odladím, tak budu mít plot za 5 minut, ale vzhledem k tomu, že to ofiko GUI nebere, tak mi tu leží ladem přes 200 TB a čekám, než to zprovozněj. Doufám, že to pojede co nejdřív.

Tom_F-M

olasek Na jednu RTX použiješ 128GB RAM a co na tu druhou, na dvě karty by to chtělo asi více paměti, 512GB na dvě grafiky by bylo ideální. Ofiko Gigahorse ploty asi podporovat nebude, jak jsem četl na fórech. A nezkoušel jsi ten postup na úpravu ofiko od Maxe?
S Raid 0 2xNVMe jsem na 18 min!

chia-mann

Tom_F-M
Kde jsi viděl postup na úpravu ofika od Maxe? Nějak to nemůžu najít... Díky

olasek

Tom_F-M
Já to teda dle Readme pochopil tak, že pod Win se musí nastavit parametr -M, kterým musíš vymezit maximální alokovanou paměť, kterou má grafika dle Win.
[upl-image-preview url=https://forum.czech.farm/assets/files/2023-02-21/1677020026-36206-grafika.jpg]

Ono by to i odpovídalo, protože jakmile tam nastavím víc než 64GB RAM, tak mi to začne házet error "Out of memory". Reálně si to ale pak při plotování bere Ramek klidně 120GB, takže to chápu tak, že to je fakt jen pro omezení paměti z grafiky.

Předpokládal jsem, že při nastavení -r 2 to jen zvýším na -M 120 a nějak si to ten ploter přechroustá a pojede to, ale nedaří se mi to rozjet.

Tom_F-M

chia-mann Jak jsem dal ten první odkaz a tohle je přímo na stažení: https://github.com/madMAx43v3r/chia-gigahorse/releases
Tohle je hlavní stránka, také jsem v tom tápal: https://github.com/madMAx43v3r/chia-gigahorse

chiamann

Tom_F-M
Dík, asi jsem to rozeběhl, ale běží to v dosu a to pro mě není moc přehledné. V podstatě nikde nevidím žádný pohyb. A také to vidí jen ploty bez komprese. Ale možná bude chyba, že jsem nastavil kompresi na C9 😀 V těch grafech končí na C7. Ale v Gigahorse psali C1 - C9, tak jsem dal maximum. Plot má 68,1
Edit : v dosu stačí pustit Farmer, nechat ho běžet na pozadí a nadále farmit v GUI. 😃

Tom_F-M

olasek Podařilo se ti to rozjet s dvěma GPU ?

Tom_F-M

Tak už jsem to také spustil, mám jen 9 plotu C5 i C9 a v Gui jsou vidět všechny. Zatížení zatím žádné, pořád přesně nevím co to utáhne, C8 nebo raději méně na cca 2000 plotu? (GTX 1060, 6GB) Až jich budu mít více, tak to asi poznám 😀
Se dvěma VGA jsem si to pročetl, ale nepochopil jsem jak to má fungovat, píše tam, že by měly byt stejně rychle a práci si rozdělí rovnoměrně, tak by to mělo jít?

chiamann

Tom_F-M
Já teda jedu jen CPU, grafiku nemám. Nabouchal jsem C9 ploty, GUI je vidí, ale ploty NEFARMÍ ! Udělal jsem kvůli tomu nový token a jiný pool, abych viděl nějaké výsledky. Tak jsem šel níže, C8 mně taky GUI nefarmí. Teprve C7 běží. Ale zatížení je značné, roste s množstvím plotů. Zvedl jsem RAM z 12 na 24 GB a omezil jsem její využití. Zatím to tedy jede, ale už jsem měl 2x pád GUI. Po reloadu do 5 sec restart systému...

kremilekcz

Ahoj, no já jedu Nossd [https://nossd.com/help](https://) jestli znáte, zprovoznění je jednoduchý, při C7 kompresy má plot 78,1 GB, zatížení cpu je nízké pro farming, Jinak ploty delam na AMD 5900x 128 GB ram 1x NVME a 2x 2TB raid 0 - plot děla za 15 minut pri celkové spotřebě cca 100W, komprimace je taky 15 minut to rovnou posílám na nas, kde mi bezi docker na farming. Jediny rozdíl Nossd a Gigahorse jsou poplatky Nossd má 3,5% a Gigahorse CPU je 1,5 % a Gigahorse GPU je taky 3,5%.
Zkoušel jsem par plotů Gigahorse na CPU a jeden plot pri C7 taky cca 28 min, docker pro farming si akorat bere vice ram ( farma je na flexpoolu)

Tom_F-M

kremilekcz Nossd jde použít jen u nich na poolu? Gigahorse plot C8 ( 71,3GB ) s GTX 1060 6GB, na 64GB RAM 15 min, na 128GB 8,7 min.

northfarmer

kremilekcz

kremilekcz ahoj poprosím Ta, pre mna je to nossd celkom fakt jednoduché, v gigahorse som mal problém.. treba tam eště niečo nastavovat okrem adresy? ako to potom farmí?

eSTe

Tiez som sa trochu pohral s komrimovanymi plotmi cez flexpool.
Za mna farmenie cez CPU s kompesiou MAX C5 a GPU MAX C6. Ale to moze zalezat ako ma kto hardware. Je potrebne mat dostatok RAM inak farmer spadol. V pripade ak farmer zacal dekomprimovat naraz viac plotov tak cas dekomprimacie radovo stupol. Riesenim moze byt spustit naraz dva farmery jeden na CPU a druhy na GPU aby sa rozlozila zataz ako kvoli tomu robit upgrade hardware.
Ale osobne by som pockal na oficialnu podporu kompresie aby som nemusel zase zbytocne replotovat.

Dekomprimovanie plotu na CPU Xeon X5675 16GB RAM - priemerny cas v sec.
C1 - 3.1s
C4 - 3.5s
C5 - 5.2s
C6 - 9.1s
C7 - farma padala treba min 17GB RAM

Dekomprimovanie plotu na GPU GTX750Ti 2GB
C1 - 3.3s
C4 - 4.4s
C5 - 4.8s
C6 - 5.9s
C7 - 8.8s

Tom_F-M

Já zkouším C8 (Gigahorse) na GTX 1060 6GB, mám zatím jen 128 plotu, ale zatížení žádné, časy 3 až 5 sec. Padá mi plotování na Win (Název chybujícího modulu: ucrtbase.dll, verze: 10.0.19041.789, časové razítko: 0x2bd748bf; Kód výjimky: 0xc0000409), někdy se mi povede i více plotu. Na Ubuntu 20.04 to jede. Plotujete někdo ve Win s cuda_k32.exe ?

kremilekcz

Tom_F-M ano pouze u nich, ale co porozuji tak to má menší zatížení ram i cpu oproti gigahorse,
gigahorse ploty jdou taky jen na flexpoolu a koukám ze ještě spacefarmers mají taky podporu na komprimované ploty

olasek

Tom_F-M
Bohužel ne. Navíc jsem tedka prestavoval celej komp, takže mam grafiku venku. Dokud to nepojede na ofiko poolu, tak to necham byt. Do te doby to stejne nema smysl resit.

Dalsi vec je, ze pokud na Chia zprovozni komprimovane ploty, bude jeste nutny provest aktualizace u forků, kterym to bude trvat taky delsi dobu nez to nasadi. Kdybych to nasadil a jelo mi to pouze na Chia, tak bych byl na polovicce zisku. Alespon dle aktualnich kurzu.

Tom_F-M

olasek Já jsem forky zrušil, asi jich pak už moc nespustím, (bez forku to jede potichu a žádné teplo) možná Chia a dva k tomu. Dostal jsem se s se 128GB RAM a GTX 1060 6GB na 8,6 minut, mám kapacitu 2000 plotu, alespoň otestuji jaké bude zatížení a pak to případně lehce překreslím na ofiko.

olasek

Tom_F-M
Já co se týče forků jedu vždycky to, co má aktuálně nějakou finanční hodnotu. Byla doba, kdy jich jelo i 30, ale postupně to popadalo, tak jsem skončil asi na 10. Nicméně je to, co fork, to 3GB RAM no. Taky to není pro každýho. Navíc pokud to na tom kompu potřebuješ pracovat, tak je 64GB RAM minimum. Až se to nějak ustálí a ty komprimovaný ploty budou nějak obstojně fungovat, tak to přeplotuju. Buď na C9 a pojedu to z grafiky nebo na C7 a pojedu přes CPU. Nicméně už při C7 je to narůst z nějakých 400TB na 540TB a u C9 je to 593TB. Ten narůst je dost znatelnej a je sakra rozdíl farmit s 400TB a skoro 600TB. Druhá věc ovšem je, jak si s dopočítáváním hlaviček u 6000 plotů ve výsledku poradí ta grafika a jak moc ji to bude vytěžovat. Mám RTX 3060 Ti a kolik to bude žrát, to je zatím ve hvězdách.

Tom_F-M

olasek Podle tabulky https://github.com/madMAx43v3r/chia-gigahorse , by to mělo zvládnout při K32 C8 1,78 PiB; při C9 0,35 PiB s jednou RTX 3060 Ti ?

olasek

Tom_F-M
Podle tabulky jo no. Otázka z druhý strany je, jestli ta karta nepojede furt na 100%. Samozrejme si muzes pohrat s taktama, nicmene 140W spotřeba navíc je dost.