<html><body>
<p><font size="2" face="sans-serif">Out of curiosity, does the OpenMP runtime on the K machine employ the fast synchronization primitives of the processor used for VISIMPACT? I see no reason why not but you never know.</font><br>
<br>
<font size="2" face="sans-serif">Constantinos</font><br>
<br>
<img width="16" height="16" src="cid:1__=0ABBF7AADFD925CD8f9e8a93df938@us.ibm.com" border="0" alt="Inactive hide details for Sam Williams ---08/19/2014 09:31:51 AM---sorry, K always used mpifccpx. On Aug 18, 2014, at 9:09 PM, "><font size="2" color="#424282" face="sans-serif">Sam Williams ---08/19/2014 09:31:51 AM---sorry, K always used mpifccpx. On Aug 18, 2014, at 9:09 PM, Jeff Hammond <jeff.science@gmail.com> wr</font><br>
<br>
<font size="1" color="#5F5F5F" face="sans-serif">From:      </font><font size="1" face="sans-serif">Sam Williams <swwilliams@lbl.gov></font><br>
<font size="1" color="#5F5F5F" face="sans-serif">To:        </font><font size="1" face="sans-serif">Jeff Hammond <jeff.science@gmail.com></font><br>
<font size="1" color="#5F5F5F" face="sans-serif">Cc:        </font><font size="1" face="sans-serif">"hpgmg-forum@hpgmg.org" <hpgmg-forum@hpgmg.org></font><br>
<font size="1" color="#5F5F5F" face="sans-serif">Date:      </font><font size="1" face="sans-serif">08/19/2014 09:31 AM</font><br>
<font size="1" color="#5F5F5F" face="sans-serif">Subject:   </font><font size="1" face="sans-serif">Re: [HPGMG Forum] Solver options used for FV results?</font><br>
<font size="1" color="#5F5F5F" face="sans-serif">Sent by:   </font><font size="1" face="sans-serif">"HPGMG-Forum" <hpgmg-forum-bounces@hpgmg.org></font><br>
<hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br>
<br>
<br>
<tt><font size="2">sorry, K always used mpifccpx.<br>
<br>
On Aug 18, 2014, at 9:09 PM, Jeff Hammond <jeff.science@gmail.com> wrote:<br>
<br>
> I wasn't aware that K supported GCC but in any case, I'd imagine it's dramatically worse than the Fujitsu C compiler. Do you need C99?<br>
> <br>
> Jeff   <br>
> <br>
> Sent from my iPhone<br>
> <br>
>> On Aug 18, 2014, at 5:47 PM, Sam Williams <swwilliams@lbl.gov> wrote:<br>
>> <br>
>> Sorry, but the figures on the website are a bit out of date.  The data was collected in the March-April timeframe and then posted in May.<br>
>> <br>
>> Edison, Hopper, and Peregrine used icc, Mira used mpixlc_r, and K used gcc (I think).<br>
>> <br>
>> Each machine used one process per numa node (64,12,6,12,8 threads for Mira,Edison,Hopper,Peregrine,K) and one 128^3 box per process (./run 7 1).<br>
>> It then runs with the number of processes equal to cubes of integers (1^3, 2^3, 3^3, 4^3, 5^3 -> 1, 8, 27, 64, 125,...).  At large scales, I strided by 4 (16^3, 20^3, 24^3, 28^3, 32^3, 36^3, 40^3, ...)<br>
>> <br>
>> Be careful as the GNU runtime seems significantly more sensitive to the potential for nested parallelism (even if it never occurs) than the Intel or IBM run times.<br>
>> <br>
>> At the time, we were experimenting with GSRB vs Chebyshev.  The data online likely use -DUSE_FCYCLES, -DUSE_BICGSTAB, and -DUSE_GSRB.  Since then we have replaced -DUSE_GSRB with -DUSE_CHEBY as the default and standard.  This should not significantly affect performance or scalability; just error, and even then only slightly.<br>
>> <br>
>> <br>
>> <br>
>> Nevertheless, since March/April (first runs at full machine scales), I maded changes to the structure of agglomeration in the v-cycle to improve scalability and eliminate most spikes.  Additionally, I changed the timing so that instead of running the solve ~10 times and reporting the average, it warms up for 10 seconds, then runs for another 10 seconds reporting the average solver performance for only the last 10 seconds.  This helps damp some performance variability when you don't have exclusive access to the machine.<br>
>> <br>
>> <br>
>> Thus, updated data is something like...<br>
>> <br>
>> <hpgmg-fv.pdf><br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> For Edison, I either use...<br>
>> <br>
>> cc -Ofast -fopenmp level.c operators.7pt.c mg.c solvers.c hpgmg.c timers.c -DUSE_MPI  -DUSE_SUBCOMM -DUSE_FCYCLES -DUSE_CHEBY -DUSE_BICGSTAB -DSTENCIL_FUSE_BC -DSTENCIL_FUSE_DINV  -o run.edison<br>
>> <br>
>> with<br>
>> aprun ... ./run.edison 7 1<br>
>> to run 128^3 per process with 1 process per NUMA node.<br>
>> <br>
>> or<br>
>> <br>
>> cc -Ofast level.c operators.7pt.c mg.c solvers.c hpgmg.c timers.c -DUSE_MPI  -DUSE_SUBCOMM -DUSE_FCYCLES -DUSE_CHEBY -DUSE_BICGSTAB -DSTENCIL_FUSE_BC -DSTENCIL_FUSE_DINV  -o run.edison.flat<br>
>> <br>
>> with<br>
>> aprun ... ./run.edison.flat 6 1<br>
>> to run 64^3 per process with *8* process per NUMA node.  i.e. same working size as MPI+OpenMP, but I leave 4 cores idle.<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>>> On Aug 18, 2014, at 5:14 PM, Richard Mills <richardtmills@gmail.com> wrote:<br>
>>> <br>
>>> Sam (or anyone else who knows),<br>
>>> <br>
>>> Can you please let me know the solver options that were used to generate the FV results that on the web page at<br>
>>> <br>
>>> </font></tt><tt><font size="2"><a href="https://hpgmg.org/2014/05/15/fv-results/">https://hpgmg.org/2014/05/15/fv-results/</a></font></tt><tt><font size="2"><br>
>>> <br>
>>> I want to experiment with your code on some of the compute resources that we have at Intel, and I'd like to use the same settings so that I can compare to the results you have posted.<br>
>>> <br>
>>> Thanks,<br>
>>> Richard<br>
>>> _______________________________________________<br>
>>> HPGMG-Forum mailing list<br>
>>> HPGMG-Forum@hpgmg.org<br>
>>> </font></tt><tt><font size="2"><a href="https://hpgmg.org/lists/listinfo/hpgmg-forum">https://hpgmg.org/lists/listinfo/hpgmg-forum</a></font></tt><tt><font size="2"><br>
>> <br>
>> _______________________________________________<br>
>> HPGMG-Forum mailing list<br>
>> HPGMG-Forum@hpgmg.org<br>
>> </font></tt><tt><font size="2"><a href="https://hpgmg.org/lists/listinfo/hpgmg-forum">https://hpgmg.org/lists/listinfo/hpgmg-forum</a></font></tt><tt><font size="2"><br>
<br>
_______________________________________________<br>
HPGMG-Forum mailing list<br>
HPGMG-Forum@hpgmg.org<br>
</font></tt><tt><font size="2"><a href="https://hpgmg.org/lists/listinfo/hpgmg-forum">https://hpgmg.org/lists/listinfo/hpgmg-forum</a></font></tt><tt><font size="2"><br>
<br>
</font></tt><br>
</body></html>