<div dir="ltr">cc'ing the forum.<br><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, May 27, 2014 at 12:44 AM, John Shalf <span dir="ltr"><<a href="mailto:jshalf@lbl.gov" target="_blank">jshalf@lbl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">The Kiviat diagram is not intended to be a standalone figure to assess the value of the benchmark.  All it tells you is whether the benchmark exercises different aspects of the hardware in equal measure (it does not measure algorithmic efficiency).<br>

<br>
If you are concerned about the Kiviat not being sufficient as a standalone visual reference, then add your favorite FOM to the Kiviat. </blockquote><div><br></div><div>I am not but Sam seems to be and perhaps I should reconsider using it.</div>
<div><br></div><div>Bert and Ian have application data and I was intending to integrate our data with very little work required of them.  I don't want to let the great be the enemy of the good and not do anything because we don't have the resources to do it well.  Part of what I want to convey is that a critical part of this process is fitting metrics of the benchmark to those of the solver, to be a good benchmark.  This is the only data that I can show that is an example of this.  I want data.  I love the Bloomberg line "In god we trust;  everyone else bring data".</div>
<div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"> However, I think this is counterproductive since our point is to come up with a mathematically rigorous algorithm that exercises the</blockquote>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"> "challenging" parts of the hardware architecture.  Having the most efficient DOF/s for this particular solver is orthogonal.  You want to focus on mathematical rigor (in the same way that Linpack has a mathematically rigorous definition) and exercising the hardware aspects equally.<br>

<span class=""><font color="#888888"><br></font></span></blockquote><div><br></div><div>One of my narratives (see my slides) is that we are staying faithful to the HPL model by: 1) solving a hard problem (fully connected global problem with known mathematical complexity), 2) using the best method to solve it, 3) using the best computer science to implement it.  I would avoid the term "mathematical rigor", because it has baggage (the 5% of the audience with math Ph.D.s would have a panic attack :)</div>
<div><br></div><div>I think it is very good to work out some of these ideas on the forum as we are not colocated and I would like to build consensus on these basic philosophical issues where possible.</div></div></div></div>