KVM in swap

Imam server z 32GB RAMa in nekaj KVM virtualk na Centos6. Skupaj poberejo približno 18-20GB, nekaj še mysql in apache na hostu tako da je približno 25GB RAMa aktivno v uporabi. Dogaja se, da ko daš kopirat nek velik fajl (100-200GB oz. vse kar je več od prostega RAMa), začne sistem na veliko swapat qemu-kvm procese v swap, da bi naredil prostor za pagecache čeprav je to jasno pri velikosti datotek useless. Virtualke se zato bolj ali manj ustavijo, upočasni se tudi kopiranje zaradi norega swapanja mašine. Približno nekaj takega kot problem tukaj, dejansko swap dofila skoraj do konca.

Precej sem že sprobaval vm parametre ampak ne najdem kako zadevo omilit. Ne glede na to kaj nastavim (/proc/sys/vm/swappiness = 0), takoj ko napolne ram, swapa virtualke na disk. Trenutno imam nastavljeno:

echo 5 > /proc/sys/vm/dirty_background_ratio
echo 15 > /proc/sys/vm/dirty_ratio
echo 1500 > /proc/sys/vm/dirty_expire_centisecs
echo 0 > /proc/sys/vm/swappiness
echo 400 > /proc/sys/vm/vfs_cache_pressure

Ne vem kaj bi še probal...računam sicer da za spremembo ni potreben reboot (če naredim swapoff -a; swapon -a da spraznem swap in popravim npr. swappiness?). Swap ne bi rad ugasnil, saj se kakšna virtualka dalj časa ne uporablja in je v tem primeru dokaj smiselno da se jo swapa na disk....ampak zakaj sistem takoj vse vrže v swap in kako to preprečit? Dejansko če gledaš porabo swapa, je poswapal samo qemu-kvm in ne npr. mysql ima kvm kakšno nižjo prioriteto (nice je na 0)?

Ni čisto vse popatchano, je pa kernel relativno nov 2.6.32-358.18.1.el6.x86_64.

Proc je samo eden (S1200BTL plata) tako da NUMA najbrž ni nastavljen?

Hm, sploh nisem pomislil da bi sprobal starejši kernel...

Zdajle na hitro na drugih dveh serverjih, en -220, en -279 ne opazim te težave čeprav so vse nastavitve default. Bom poskusil najti en low-prio server pa ugotovit če uspem zreplicirat z -358 kernelom.

https://bugzilla.redhat.com/show_bug.cg...