Infiniband (RMDA) v Ubuntu 22.04

Zdravo,

rabil bi malo pomoči pri namestitvi IB v Ubuntu 22.04. Med node-i mini clusterja imam kartice ConnectX-3 (IB FDR 56Gbps), ki pa so podprte le v OFED driverju 4.9.x, le-ta pa ima zadnjo podporo za Ubuntu 20.x in temu primerno starejši kernel.

Uspelo mi je namestiti rdma-core gonilnike, vendar mi ne uspe usposobiti RDMA, deluje le IB v ethernet transportu (IPoIB). MPI mi zato deluje v TCP načinu namesto IB, prav tako NFS. Zaradi tega imam težave s inter-node skaliranjem. Zadeva je switchless z DAC kabli, main node ima opensm.

Aplikacija IB-ja je OpenMPI + OpenFOAM. Obstaja kak heroj, ki mi zna pomagati (lokacija Lj)?

LP,
N.

Trije nodei.
Ja, zato pa jih imam, ker so za kusur na eBayju. Desetaka za 1P, dvajset za 2P verzijo.
Ubuntu je zato, ker sem v njem najbolj domač, nobenega drugega razloga ni.

OpenMPI je 4.1.6, vendar sem bral na netu da default konfiguracija ignorira IB in MPI deluje v TCP načinu.
Če preverim ompi_info ne dobim nič:

hpc@HPC-01:~$ ompi_info | grep openib
hpc@HPC-01:~$

Perftest pljune sledeče:

hpc@HPC-01:~$ ib_write_bw HPC-02
---------------------------------------------------------------------------------------
RDMA_Write BW Test
Dual-port : OFF Device : ibp129s0
Number of qps : 1 Transport type : IB
Connection type : RC Using SRQ : OFF
PCIe relax order: ON
ibv_wr* API : OFF
TX depth : 128
CQ Moderation : 1
Mtu : 2048[B]
Link type : IB
Max inline data : 0[B]
rdma_cm QPs : OFF
Data ex. method : Ethernet
---------------------------------------------------------------------------------------
local address: LID 0x04 QPN 0x02a0 PSN 0x90d4c6 RKey 0x8010000 VAddr 0x0071e607d56000
remote address: LID 0x02 QPN 0x02a7 PSN 0x5e47e RKey 0x010000 VAddr 0x007335f4d8e000
---------------------------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec] MsgRate[Mpps]
Conflicting CPU frequency values detected: 1500.000000 != 2550.000000. CPU Frequency is not max.
65536 5000 5742.93 5742.66 0.091883
---------------------------------------------------------------------------------------

hpc@HPC-01:~$ ibstat
CA 'ibp129s0'
CA type: MT4099
Number of ports: 1
Firmware version: 2.42.5000
Hardware version: 1
Node GUID: 0x0002c90300191470
System image GUID: 0x0002c90300191473
Port 1:
State: Active
Physical state: LinkUp
Rate: 56
Base lid: 4
LMC: 0
SM lid: 4
Capability mask: 0x0251486a
Port GUID: 0x0002c90300191471
Link layer: InfiniBand

Ne, potegnil sem ga dol iz

wget https://download.open-mpi.org/release/o...

In ga prevedel tako:

./configure --prefix=/opt/openmpi-4.1.6
make -j 4 all
sudo make install

Je treba kako drugače?
https://www.open-mpi.org/faq/?category=...

Tudi ubuntu mi je nenavadna izbira

Kaj se pa ponavadi uporablja, Red hat (zaradi supporta?)?

jeremenen je 25. nov 2024 ob 14:27:22 izjavil:

Kaj se pa ponavadi uporablja, Red hat (zaradi supporta?)?

Večina gruč je na redhatu in klonih, da. Tehnično lahko uporabiš karkoli, a moraš potem računat, da boš bolj pogosto naletel na nepričakovane težave, ker se izbrane rešitve ne testirajo pogosto na non-rhel distribucijah. Pa še ubuntu ima zadnje čase neke svoje ideje, kako naj bi se python zadeve nameščale ...
Razen cray compute environment, oni imajo suse za osnovo ;)

Jah libibverbs moraš imeti nameščen ... ali iz OSa (ponavadi starejša, bolj generična verzija) ali pa iz ofed paketa (novejša, bolj bleeding edge verzija). Samo poskrbi, da boš imel isto verzijo na vseh treh piksnah.

Da, z -dev headerji :)

Zdaj lahko zadevo preizkusiš tako, da poženeš vse zanimive teste iz paketa OSU micro benchmarks. https://mvapich.cse.ohio-state.edu/benc...

In če ti je dolgčas, lahko začneš še tjunat mpi stack. Ena enostavna in zanimiva zadeva v to smer je knem: https://knem.gitlabpages.inria.fr/