Android-fabrikanten manipuleren wederom benchmarks

10 reacties

Wie dacht dat alleen autofabrikanten van sjoemel­software houden, heeft het mis. In 2013 kwam aan het licht dat Samsung benchmarks manipuleert om toestellen beter uit tests te laten komen. Andere fabrikanten hebben 4 jaar later niets geleerd.

Vandaag zijn OnePlus en Meizu betrapt. De Chinese fabrikanten detecteren wanneer benchmark-apps zoals GeekBench uitgevoerd worden en laten de processor dan maximaal en zonder thermische beperkingen draaien.

Processor opvoeren

Android-ontwikkelaars van XDA hebben de manipulatie samen met GeekBench-ontwikkelaar PrimateLabs onderzocht. OnePlus laat de kleine cores van zijn telefoons onafgebroken op 0,98 GHz en de grote cores op 1,29 GHz draaien wanneer een Benchmark wordt uitgevoerd. Normaal draaien deze op 0,31 GHz. Meizu haalt een vergelijkbare truc uit.

Door alle cores op volledige snelheid te laten draaien, geven benchmarks geen goed beeld van werkelijk te verwachten performance. Smartphones zijn niet gemaakt om constant op volledige kloksnelheid te werken, dit is desastreus voor de accuduur en warmteontwikkeling.

De OnePlus 3 is een van de telefoons met sjoemel­software.

OnePlus belooft beterschap

Om de impact van de sjoemel­software te meten, heeft XDA samen met de ontwikkelaar van GeekBench een nieuwe benchmark gemaakt waarbij GeekBench als golf-spelletje vermomd werd. De OnePlus 3 vertoonde ongeveer 5 procent slechtere prestaties, maar de prestaties van de Meizu Pro 6 Plus gingen in sommige gevallen door de helft.

OnePlus heeft beloofd de sjoemel­software met een volgende update te verwijderen, maar blijft wel een gaming modus houden waarbij de CPU bij een aantal games opgevoerd word. XDA noemt dit nog steeds fout gedrag omdat niet alle games hiervan profiteren, maar alleen degenen die OnePlus herkent. Meizu heeft geheel niet gereageerd.

Prestaties Meizu Pro 6 Plus met (regular build) en zonder (secret build) sjoemelsoftware. Klik/tap voor groter.

Reacties

10 reacties
  • Profielfoto
    LT Barclay

    Dit geeft maar dat specs niks zeggen

  • Profielfoto
    NielsDam

    Benchmarks zeggen niet zoveel, dagelijks gebruik is veel belangrijker en daar scoort de OnePlus 3T ook als een van de snelste toestellen. Dat komt niet voort uit benchmarks, maar uit ‘testen’ zoals die van de Phonebuff speed tests op YouTube. Nu is dat natuurlijk geen benchmark, maar die simuleert wel de belasting van het dagelijks gebruik.

  • Profielfoto
    Hydræ

    Tenzij een benchmark is gericht op maximaal haalbare prestaties uit een specifiek model of serie. Dat is iets anders dan allerdaags gebruik in de praktijk. Wanneer een test is gericht op het eerste, dan is het geen sjoemelen lijkt me.

  • Profielfoto
    serum

    Valt controlled aging ook onder benchmark manipulatie? Ik moet zeggen dat mijn iphone 6 toch echt een traag hok begint te worden, terwijl de bijna vooroorlogse oneplus one nog steeds retesnel aanvoelt.

  • Profielfoto
    KR1275

    ’t Is niet netjes, maar ik denk dat weinigen de snelheid boeit. Zolang alles vlot werkt, is het prima.
    Ik hoor om me heen vrijwel uitsluitend tevreden geluiden over de Samsung telefoons. Het kost je ook niet meer als hij minder snel is…. VW maakt geen telefoons toch?

  • Profielfoto
    vuurvreter

    En wanneer valt Apple door de mand?

  • Profielfoto
    NASI-GORENG

    Haha een appel die door de mand valt…

  • Profielfoto
    SunKeeper

    Wie krijgt de schuld als het device oververhit in de fik vliegt? De fabrikant…oh nee, de ontwikkelaar van de benchmark-app zeker.:razz:

  • Profielfoto
    WpV

    @ serum, kan me vergissen maar eerder deze week stond er toch een artikel hier dat ‘controlled aging’ zoals jij het noemt niet bestaat bij iPhones. Er werd duidelijk beschreven dat 2 identieke toestellen, een met een ouder en een met een ge-update OS dezelfde taken in vergelijkbare tijd uitvoerden. Het verschil was geloof ik <5%

  • Profielfoto
    ahenket

    @WpV dat artikel heb ik ook gelezen maar kan dat niet matchen aan mijn iPhone6 die gewoon echt bokketraag is geworden in het opstarten van programma’s. Eenmaal gestart draait het wel zoals ik hem destijds kocht. Geen artikel brengt daar verandering in: ik zie het de hele dag door en het is echt bijna ondragelijk