UL Benchmarks sparker Huawei-enheter fra sin database over juks
UL Benchmarks de-listed several popular Huawei devices from its database over proof of cheating in its benchmarks. Over the month, it was found that several of Huawei's devices, such as P20 Pro, Nova 3, and Play; overclocked their SoCs while ignoring all power and thermal limits, to achieve high benchmark scores, when it detected that a popular benchmark such as 3DMark, was being run. To bust this, UL Benchmarks tested the three devices with 'cloaked' benchmarks, or 'private benchmarks' as they call it. These apps are identical in almost every way to 3DMark, but lack the identification or branding that lets Huawei devices know when to overclock themselves to cheat the test.
Resultatene var oppsiktsvekkende. Når enhetene ikke har peiling på at et populært referanseindeks kjøres (eller hvis de ikke har noen måte å fortelle at 3DMark kjøres), tapper det med sin 'normale' hastighet, som er 35% til 36% lavere. Reglene som binder enhetsprodusenter fra å annonsere ULs 3DMark-poengsummer, sier eksplisitt at enheten ikke må oppdage appen og optimalisere maskinvaren i farten for å prøve testen. Huawei svarte på UL ved å oppgi at den vil låse opp en ny 'ytelsesmodus' for brukere som lar dem heve SoC-ene deres til de samme høye klokkene for ethvert program.
Resultatene var oppsiktsvekkende. Når enhetene ikke har peiling på at et populært referanseindeks kjøres (eller hvis de ikke har noen måte å fortelle at 3DMark kjøres), tapper det med sin 'normale' hastighet, som er 35% til 36% lavere. Reglene som binder enhetsprodusenter fra å annonsere ULs 3DMark-poengsummer, sier eksplisitt at enheten ikke må oppdage appen og optimalisere maskinvaren i farten for å prøve testen. Huawei svarte på UL ved å oppgi at den vil låse opp en ny 'ytelsesmodus' for brukere som lar dem heve SoC-ene deres til de samme høye klokkene for ethvert program.
