<div dir="ltr">"<span style="font-family:arial,sans-serif;font-size:13px">it warms up for 10 seconds, then runs for another 10 seconds </span>"  ... this design might need some attention.  Modulo scales it sounds more like a lover than a benchmark :)</div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Aug 18, 2014 at 8:47 PM, Sam Williams <span dir="ltr"><<a href="mailto:swwilliams@lbl.gov" target="_blank">swwilliams@lbl.gov</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Sorry, but the figures on the website are a bit out of date.  The data was collected in the March-April timeframe and then posted in May.<br>
<br>
Edison, Hopper, and Peregrine used icc, Mira used mpixlc_r, and K used gcc (I think).<br>
<br>
Each machine used one process per numa node (64,12,6,12,8 threads for Mira,Edison,Hopper,Peregrine,K) and one 128^3 box per process (./run 7 1).<br>
It then runs with the number of processes equal to cubes of integers (1^3, 2^3, 3^3, 4^3, 5^3 -> 1, 8, 27, 64, 125,...).  At large scales, I strided by 4 (16^3, 20^3, 24^3, 28^3, 32^3, 36^3, 40^3, ...)<br>
<br>
Be careful as the GNU runtime seems significantly more sensitive to the potential for nested parallelism (even if it never occurs) than the Intel or IBM run times.<br>
<br>
At the time, we were experimenting with GSRB vs Chebyshev.  The data online likely use -DUSE_FCYCLES, -DUSE_BICGSTAB, and -DUSE_GSRB.  Since then we have replaced -DUSE_GSRB with -DUSE_CHEBY as the default and standard.  This should not significantly affect performance or scalability; just error, and even then only slightly.<br>

<br>
<br>
<br>
Nevertheless, since March/April (first runs at full machine scales), I maded changes to the structure of agglomeration in the v-cycle to improve scalability and eliminate most spikes.  Additionally, I changed the timing so that instead of running the solve ~10 times and reporting the average, it warms up for 10 seconds, then runs for another 10 seconds reporting the average solver performance for only the last 10 seconds.  This helps damp some performance variability when you don't have exclusive access to the machine.<br>

<br>
<br>
Thus, updated data is something like...<br>
<br>
<br><br>
<br>
<br>
<br>
<br>
For Edison, I either use...<br>
<br>
cc -Ofast -fopenmp level.c operators.7pt.c mg.c solvers.c hpgmg.c timers.c -DUSE_MPI  -DUSE_SUBCOMM -DUSE_FCYCLES -DUSE_CHEBY -DUSE_BICGSTAB -DSTENCIL_FUSE_BC -DSTENCIL_FUSE_DINV  -o run.edison<br>
<br>
with<br>
aprun ... ./run.edison 7 1<br>
to run 128^3 per process with 1 process per NUMA node.<br>
<br>
or<br>
<br>
cc -Ofast level.c operators.7pt.c mg.c solvers.c hpgmg.c timers.c -DUSE_MPI  -DUSE_SUBCOMM -DUSE_FCYCLES -DUSE_CHEBY -DUSE_BICGSTAB -DSTENCIL_FUSE_BC -DSTENCIL_FUSE_DINV  -o run.edison.flat<br>
<br>
with<br>
aprun ... ./run.edison.flat 6 1<br>
to run 64^3 per process with *8* process per NUMA node.  i.e. same working size as MPI+OpenMP, but I leave 4 cores idle.<br>
<br>
<br>
<br>
<br>
<br>
<br>
On Aug 18, 2014, at 5:14 PM, Richard Mills <<a href="mailto:richardtmills@gmail.com">richardtmills@gmail.com</a>> wrote:<br>
<br>
> Sam (or anyone else who knows),<br>
><br>
> Can you please let me know the solver options that were used to generate the FV results that on the web page at<br>
><br>
>   <a href="https://hpgmg.org/2014/05/15/fv-results/" target="_blank">https://hpgmg.org/2014/05/15/fv-results/</a><br>
><br>
> I want to experiment with your code on some of the compute resources that we have at Intel, and I'd like to use the same settings so that I can compare to the results you have posted.<br>
><br>
> Thanks,<br>
> Richard<br>
> _______________________________________________<br>
> HPGMG-Forum mailing list<br>
> <a href="mailto:HPGMG-Forum@hpgmg.org">HPGMG-Forum@hpgmg.org</a><br>
> <a href="https://hpgmg.org/lists/listinfo/hpgmg-forum" target="_blank">https://hpgmg.org/lists/listinfo/hpgmg-forum</a><br>
<br>
<br>_______________________________________________<br>
HPGMG-Forum mailing list<br>
<a href="mailto:HPGMG-Forum@hpgmg.org">HPGMG-Forum@hpgmg.org</a><br>
<a href="https://hpgmg.org/lists/listinfo/hpgmg-forum" target="_blank">https://hpgmg.org/lists/listinfo/hpgmg-forum</a><br>
<br></blockquote></div><br></div>