Toms Benchmark Story

Vielleicht habt Ihr es ja bei Tom’s Hardware Guide gesehen. Tom hat einen großen Vergleich von ca. 1234 Grafikkarten veröffentlicht, wobei das Vergleichskriterium die kürzlich fertig gestellte Testversion von Quake3 Arena war.

Diese Veröffentlichung ist inzwischen vier Tage her, und in dieser Zeit hat Tom Pabst sehr viel Kritik einstecken müssen, sowohl von anderen Hardware-Seiten als auch von id Software selbst! Warum? Nun, zunächst hat Tom bei seinem Vergleich Beta- und Vorproduktionstreiber benutzt und – was viel wichtiger ist – seine Benchmark-Methode nicht preisgegeben!
Dieser letzte Punkt wiederum macht einen aus zwei Gründen ärgerlich: 1) gehört die Veröffentlichung der Methode einfach zu einem guten Test dazu und 2) verhält sich das im Q3Test enthaltene Timedemo – die
einzig bekannte Testmethode – etwas seltsam. Wenn Ihr das Timedemo einmal selbst ausprobiert habt, wißt Ihr es ja: da passiert erstmal eine Minute lang gar nichts und man meint, der PC sei stehen geblieben. id Software,
Herausgeber des Q3Tests, hat inzwischen bestätigt, daß das Timedemo in der veröffentlichten Testversion einfach kaputt war und somit ein legitimes Benchmarking einfach nicht möglich sei!
Kurz danach hat Tom seinen Vergleich upgedatet, in dem er u.a. Brian Hook von id angriff und ihm – gelinde gesagt – mangelnde Kompetenz unterstellte! Naja, das hat Brian natürlich nicht lang hingenommen. Schließlich
programmiert ER an Quake3 und nicht Tom! So hat er selbst in seinem .plan eine ganze Reihe von Benchmarks veröffentlicht, die intern gemacht wurden, nachdem ihm sein Chef John Carmack (genau der!) sagte, daß er das Timedemo jetzt korrigiert hat. (Ein entsprechender Patch wird noch auf sich warten lassen.) Brian ist inzwischen mit diesem Thema durch und will davon nix mehr hören. Allerdings sagte er deutlich,
daß ihm bei Toms Benchmarks nicht wohl ist, da sie höchstwahrscheinlich nicht korrekt seien.
Auf vielen anderen Websites könnte man auch noch stärkere Anschuldigen in Richtung Tom lesen. Eine gute Zusammenfassung findet Ihr bei Dimension 128: Tomzilla’s Downfall. Da gibts auch Links zu weiteren
kritischen Artikeln. Die meisten Kollegen sind inzwischen nicht mehr gut auf Tom zu sprechen und werfen ihm u.a. Voreingenommenheit (wenn nicht gar Bestechlichkeit!) vor.
Man könnte ja sagen: Gut, dann beachte ich eben Toms Seite nicht mehr. So einfach ist das aber nicht, denn schließlich hat sein Hardware Guide immer noch Millionen von Hits jeden Monat und somit einen nicht eben kleinen Einfluß auf den geneigten Hardwarekäufer und -nutzer! Und wenn er nun seine Artikel mit Blick auf die Kostenträger seiner Werbebanner verfaßt, dann ist das eben ein Mißbrauch
seines Einflusses, ganz zu schweigen von der Mißachtung seiner moralischen Verpflichtung, nur korrekte und sorgfältig recherchierte Berichte zu veröffentlichen.
Tut mir leid, daß es ein so langer Text wurde, und ich wollte hier eigentlich auch nicht moralisch und/oder belehrend werden, ist mir einfach nur so rausgerutscht! 😉 Was haltet Ihr von dieser Geschichte? Wenn Ihr eine Meinung habt, laßt Sie uns wissen!