3dmark-table-1

É sempre bom revisar o caso, pois alguns não estão sabendo. Nos últimos meses, algumas empresas desenvolvedoras de aplicativos de benchmarks descobriram que alguns fabricantes de smartphones estavam utilizando de alguns pequenos truques em suas ROMs do Android para trapacear nos testes de análise de desempenho. O objetivo disso não era outro que não fosse impressionar os usuários com números mais inflados que a realidade. Pois bem, os fabricantes de benchmarks começaram a contra-atacar.

A primeira a tomar uma atitude mais drástica sobre o assunto foi a Futuremark, que decidiu eliminar de suas listas os dispositivos suspeitos de manipular os resultados. Na lista de excluídos da empresa estão o Galaxy Note 3 da Samsung, os modelos One e One Mini da HTC, entre outros.

Segundo informa os responsáveis pelo aplicativo 3DMark (que é desenvolvido pela Futuremark), os modelos eliminados da lista não se ajustam à sua política de igualdade de análise para diferentes dispositivos. Essa política da Futuremark determina que o dispositivo testado trate o seu aplicativo de benchmark como um outro qualquer, sem a adição de nenhum recurso que mude o gerenciamento dos recursos de hardware quando o aplicativo estiver em execução, o que faz com que o dispositivo analisado receba uma melhor pontuação durante os tetes.

Levando em conta o ponto em que a questão se encontra, o mais provável é que os desenvolvedores de aplicativos de benchmarks ou acabem tornando os seus requisitos de avaliação mais rígidos do que são hoje, ou que encontrem novos métodos para ajustar os resultados o mais próximo possível da realidade dos dispositivos analisados.

Depois que veio à tona a notícia que alguns fabricantes de dispositivos móveis estariam trapaceando nos testes de benchmarks, nós do TargetHD tomamos uma decisão mais drástica, que foi eliminar os testes de performance dos reviews feitos no blog. Além do fato de compreendermos que o que realmente importa é a experiência de uso do dia a dia, nós nunca vamos saber quando um fabricante não está tentando burlar esses números, colocando recursos que aumentam o desempenho do dispositivo quando um aplicativo de benchmark está ativo.

Ou seja, a nossa dica é: muito mais importante que números (que são frios) é a sua experiência com o dispositivo. No final das conas, o melhor e mais rápido smartphone será aquele que você determinar que será assim.

Via The Register, HotHardware, Futuremark