<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Nov 30, 2014 at 12:27 AM, Jed Brown <span dir="ltr"><<a href="mailto:jed@jedbrown.org" target="_blank">jed@jedbrown.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Brian Van Straalen <<a href="mailto:bvstraalen@lbl.gov">bvstraalen@lbl.gov</a>> writes:<br>
<br>
> I don’t think it is this groups charter </span></blockquote><div><br></div><div>Yikes, we don't have a charter do we :)</div><div><br></div><div>No really, our charter should be something like: 1) make a good top500 ranking metric, which means distinguish networks to start, and 2) collect/display data that we collect while we have control of the machine (our metric takes a few seconds and the community seems to want a metric that runs for a few hours).  (1) is obviously the priority and (2) is currently done to some degree.  Presenting data that can dovetail into a centers analysis, where costs come in, is a useful service and we should take care to collect and package the data well (eg, Jed's ideas below).</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">to weigh a machine against<br>
> it’s budget.  A benchmark is meant to highlight an objective<br>
> measurement.<br>
<br>
</span>I agree that cost or power efficiency should not be in the metric.  But<br>
I don't think anyone in this thread was proposing that.  Rather, we're<br>
talking about how to normalize scaling plots and it turns out there is<br>
no normalization that people are happy with.  That's why I like<br>
circumventing the arbitrary choices by instead plotting performance<br>
versus time-to-solution.  Not quite the same information, but the<br>
important trade-offs are easy to see and there are no hidden choices.<br>
<br>_______________________________________________<br>
HPGMG-Forum mailing list<br>
<a href="mailto:HPGMG-Forum@hpgmg.org">HPGMG-Forum@hpgmg.org</a><br>
<a href="https://hpgmg.org/lists/listinfo/hpgmg-forum" target="_blank">https://hpgmg.org/lists/listinfo/hpgmg-forum</a><br>
<br></blockquote></div><br></div></div>