<font size=2 face="sans-serif">Hi Jeff,</font>
<br>
<br><font size=2 face="sans-serif">Graph500 is mostly limited by the local
memory and network/communication layer performance at scale</font>
<br>
<br><font size=2 face="sans-serif">Every point increase in the problem
scale doubles the data set size and the degree of imbalance, roughly</font>
<br><font size=2 face="sans-serif">doubling the size of the largest vertex.
G500 implementations need to deal with potential network hot spots</font>
<br><font size=2 face="sans-serif">and also steer the type of algorithm,
based on the status of the exploration. We rely on non-blocking collectives</font>
<br><font size=2 face="sans-serif">to determine what to do at run-time.</font>
<br>
<br><font size=2 face="sans-serif">Integer performance is one of the important
parameters, but not the only one. For example, the single node</font>
<br><font size=2 face="sans-serif">performance of System K is about 3X
BGQ, but BGQ has better scaling.</font>
<br>
<br><font size=2 face="sans-serif">It would be very helpful to have a benchmark
that stresses the network performance and the scalability</font>
<br><font size=2 face="sans-serif">of the overall system in a non-trivial
way.</font>
<br>
<br><font size=2 face="sans-serif">Hope this helps.<br>
<br>
Fabrizio Petrini<br>
Manager, High Performance Analytics Department<br>
IBM TJ Watson Research Center<br>
phone: 914-945-2942<br>
e-mail: fpetrin@us.ibm.com<br>
<br>
</font>
<br>
<br>
<br>
<br><font size=1 color=#5f5f5f face="sans-serif">From:      
 </font><font size=1 face="sans-serif">Jeff Hammond <jeff.science@gmail.com></font>
<br><font size=1 color=#5f5f5f face="sans-serif">To:      
 </font><font size=1 face="sans-serif">Horst Simon <hdsimon@lbl.gov></font>
<br><font size=1 color=#5f5f5f face="sans-serif">Cc:      
 </font><font size=1 face="sans-serif">"hpgmg-forum@hpgmg.org"
<hpgmg-forum@hpgmg.org></font>
<br><font size=1 color=#5f5f5f face="sans-serif">Date:      
 </font><font size=1 face="sans-serif">11/30/2014 02:55 PM</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Subject:    
   </font><font size=1 face="sans-serif">Re: [HPGMG Forum]
what is a "good" or a "better" TOP500 ranking?</font>
<br><font size=1 color=#5f5f5f face="sans-serif">Sent by:    
   </font><font size=1 face="sans-serif">"HPGMG-Forum"
<hpgmg-forum-bounces@hpgmg.org></font>
<br>
<hr noshade>
<br>
<br>
<br><tt><font size=2><shameless self-promotion><br>
<br>
We have proposed a Quantum Chemistry 500 because none of the existing community
benchmarks come close to representing the behavior of atomic integrals,
Hartree-Fock and related DFT methods. All these PDE-oriented benchmarks
are trivial by comparison. <br>
<br>
On the other hand, HPL is actually a fantastic proxy for CCSD(T), which
is dominated by DGEMM and point-to-point bandwidth.<br>
<br>
In our case, we decided that a single code was the wrong way to benchmark,
and have instead defined the physics and numerics scientists need, without
prescribing an implementation, since there are many already (and, unlike
many domains, these many different codes can reproduce the exact same solution
if the problem is sufficiently specified).<br>
<br>
There's nothing wrong with having lots of different benchmarks, as long
as it's relatively easy to obtain and analyze the associated performance
data.<br>
<br>
And I agree that not very much critical thinking is going into some of
these benchmarks. It's rather ironic that Blue Gene/Q dominates the Graph500,
because it's not designed for this class of problems and has the worst
integer performance (relative to other capability) of any leadership class
machine, and Graph500 was supposed to be a non-numerical benchmark. <br>
<br>
The near-perfect correlation between HPCG and STREAM is another failure
in the science of benchmarking. <br>
<br>
Jeff<br>
<br>
Sent from my iPhone<br>
<br>
> On Nov 30, 2014, at 10:34 AM, Horst Simon <hdsimon@lbl.gov>
wrote:<br>
> <br>
> <br>
> <br>
> Like many of you I returned from SC14 with many questions to think
about, among others "what is a 'better' benchmark?"  Here
is a summary of at least three conversations that I had at SC14 between
"M" (that is me), and "C" a colleague (a synthesis
of several conversations.<br>
> <br>
> C: Well, I am really glad that HPCG (or HPGMG) is being developed
that will make the TOP500 more realistic.<br>
> M: What do you mean by more realistic?<br>
> C: It is well known that HPL is not a good benchmark to measure the
performance of real systems. If we replace HPL with HPCG (or HPGMG) then
we would not get such a distortion of the performance, for example all
those GPU based system would not be ranked as high.<br>
> M: But why do you think that HPCG (or HPGMG) is better?<br>
> C: ... long technical argument involving bisection bandwidth, mixture
of long and short messages, real applications that don't solve dense linear
systems, streams benchmark etc.<br>
> M: But why do think this is "better"? What do mean by "better"?
I think that "better" should imply that any new benchmark would
in some sense be a better approximation to the application workload. Can
you prove this?<br>
> ..... etc.<br>
> <br>
> What was really striking about these type of conversations was the
fact how little our community is thinking scientifically. If you want to
do something better, then  you first have to define what you are actually
measuring. So how do we really measure the applications performance of
a petascale platform? I can think of many applications where HPCG (and
HPGM) as irrelevant to the application as is HPL.<br>
> <br>
> Horst<br>
> <br>
> _______________________________________________<br>
> HPGMG-Forum mailing list<br>
> HPGMG-Forum@hpgmg.org<br>
> </font></tt><a href="https://hpgmg.org/lists/listinfo/hpgmg-forum"><tt><font size=2>https://hpgmg.org/lists/listinfo/hpgmg-forum</font></tt></a><tt><font size=2><br>
_______________________________________________<br>
HPGMG-Forum mailing list<br>
HPGMG-Forum@hpgmg.org<br>
</font></tt><a href="https://hpgmg.org/lists/listinfo/hpgmg-forum"><tt><font size=2>https://hpgmg.org/lists/listinfo/hpgmg-forum</font></tt></a><tt><font size=2><br>
<br>
</font></tt>
<br>