Por que falsificar benchmarks tornou-se tão fácil?

AndroidPIT faking a benchmark 2
© nextpit

Muitas vezes temos vazamentos de especificações técnicas, performance e desempenho em torno de smartphones aguardados pelo mercado. Para comprovar o poderio do dispositivo, esses rumores se cercam de apps de benchmark como AnTuTu, Geekbench, entre outros. Mas qual é a real confiabilidade desses testes?

Sim, esses pontos de referência até que são úteis para aprender alguma coisa. Mas manipular os resultados de benchmarking é uma operação que não requer muito tempo e permite que você exiba os dados que quiser. Nas próximas linhas, vamos mostrar a você como é fácil falsificar esses números.

Modifique o build.prop até do "Galaxy S8"

Os dados importantes do sistema são armazenados em um arquivo que inclui o build.prop de mesmo nome, modelo e versão do Android do smartphone. E com um aplicativo, é possível modificar este arquivo, sendo que a única condição é que o aparelho precisa ser rooteado. 

Um editor de texto com acesso root (ou diretamente com o editor BuildProp) permite editar números importantes. Você deve, então, acessar o arquivo build.prop para recuperar os valores atuais. Nesse processo, consegui fazer com quem um Moto G3 virasse um hipotético Samsung Galaxy S8. E, como você pode ver na imagem abaixo, estou rodando até mesmo o Android 7.1, sendo que o 7.0 sequer foi lançado.  

AndroidPIT faking a benchmark 1
Temos aqui um "Galaxy S8" rodando o "Android 7.1" ! © NextPit

Ponto importante antes de continuar lendo o nosso guia: o build.prop é um arquivo de sistema. Alterá-lo pode trazer consequências graves ao dispositivo e impedir até mesmo que ele seja reinicializado. Logo, não recomendamos que você faça isso com um smartphone que você usa todos os dias. Logo, tente usar aquele aparelho velho, que serve como "cobaia" para seus experimentos.  

E para alterar esses valores, você precisará do app BuildProp editor e realizar as seguintes modificações:

  • ro.product.manufacturer: Samsung
  • ro.product.brand: Samsung
  • ro.product.model: Galaxy S8
  • ro.product.name: heroltexx

E quer o "Android 7.1" no seu telefone? É só digitar esses comandos:

  • ro.build.version.release: 7.1

Ao alterar esses valores, você pode obter resultados satisfatórios e, se quiser que sua manipulação fique mais autêntica, é só cavar mais fundo no build.prop. No entanto, para os meus testes, estas opções são suficientes. Depois de modificar os itens acima, basta reiniciar o telefone.

Geekbench: perfeito para a criação de falsos benchmarks

O Geekbench é o app mais do que adequado para minha experiência, porque os testes são realizados de forma rápida e as informações aparecem facilmente no menu. Para isso, basta selecionar a opção View Online e inserir os resultados de referência. 

AnTuTu e Geekbench: a situação é complicada 

O AnTuTu também fornece uma página útil que reúne todos os resultados, mas não dá a possibilidade de publicar os resultados. A tela abaixo mostra que o nosso "Galaxy 8" roda o "Android 7.1". Mas, ainda que o AnTuTu tenha a função de compartilhamento integrado, não foi possível fazer com ele funcionasse em nosso teste. 

AndroidPIT faking a benchmark 3
O AnTuTu revela algumas características do "Galaxy S8"...que na verdade é um Moto G3. © NextPit

No primeiro teste com o GFXbench, o aparelho recebeu mensagens de aviso indicando que os resultados são armazenados no banco de dados. E este não é um problema para o nosso "Galaxy S8". No entanto, o GFXbench pede a confirmação de algumas informações para avaliar a veracidade das provas.  

ANDROIDPIT antutu gfxbench fake
Os resultados do AnTuTu e do GFXBench ! © Screenshots: ANDROIDPIT

Como se falsifica um benchmark perfeito?

Para tornar os resultados mais críveis, a melhor alternativa é usar um smartphone com especificações similares. Ou seja, se você quer simular um Galaxy S8, tente utilizar um Galaxy S7 e assim por diante. Com um app como o Geekbench, a diferença passa despercebida. 

Logo, se você tiver sorte, conseguirá atrair toda a atenção de alguns sites dedicados ao mundo da tecnologia, que mostrarão seu falso benchmark e darão como notícia real. Afinal, se está na internet é verdade, não? 

Não.

Conclusão: os rumores de benchmark são fáceis de falsificar

Com esse meu teste, eu queria mostrar como é fácil falsificar dados a partir de um ponto de referência para dispositivos que ainda nem chegaram ao mercado. O Geekbench, em particular, é extremamente vulnerável, mas, com um pouco de esforço, você pode também falsificar o AnTuTu e o GFXBench.  

Sim, há casos de funcionários das fabricantes que testam alguns aparelhos que serão lançados futuramente e postam as fotos na internet. Mas é algo bem raro de acontecer. 

Você ainda confia em benchmarks?

Artigo seguinte
40 Comentários
Escreva um comentário:
Todas as mudanças foram salvas. Não há rascunhos salvos no seu aparelho.
Escreva um comentário:
Todas as mudanças foram salvas. Não há rascunhos salvos no seu aparelho.

  • Emanuel Marques 5
    Emanuel Marques 10/08/2016 Link para o comentário

    Todo sistema possui falhas. Mas a maior falha é falta de carater. A pessoa que ganha fama com teste falsos é ridícula.
    Nunca confiei muito nesses benchmarks.
    Cabe agora aos desenvolvedores criarem forma de avaliar os valores do testes, tanto comparando com outros testes na sua base dados como também comparando a integridade dos dados no smartphone.

    Conta desativada


    • 24
      Mario R. 11/08/2016 Link para o comentário

      Não é que a pessoa seja ridícula. Simplesmente esse teste do AnTuTu não é a verdade superior pra avaliar desempenho única e exclusivamente. Já foi tempos...


  • Samuel Serafim 15
    Samuel Serafim 26/07/2016 Link para o comentário

    kkkk Ri das brincadeiras.


  • 24
    Mario R. 26/07/2016 Link para o comentário

    Tem uma opção nas configurações (OPÇÕES PARA DESENVOLVEDOR), tal que quando seleciona-se FORÇAR RENDERIZAÇÃO GPU e bota o AnTuTu pra rodar, a pontuação é muito maior quando comparado ao método normal (sem opções de desenvolvedor). O meu LG G2, sem forçar renderização, alcança 35000 pontos. Já com a opção de desenvolvedor marcada, chegou em 48000 pontos.. dá pra tapear o AnTuTu fácil!!!

    Emanuel Marques


    • Emanuel Marques 5
      Emanuel Marques 10/08/2016 Link para o comentário

      Acho que ae não tapear o AnTuTu. Tá mais para "tunar" o seu smartphone.

      Mario R.


      • 24
        Mario R. 10/08/2016 Link para o comentário

        cara, tem uma outra opção que chama aumentar 4x MSAA, que depois que ativei juntamente com essa da GPU fez meu asphalt 8 rodar super hiper melhor.... ta muito top! so nao sei ate que ponto isso pode forçar e estragar meu celular


  • Carlos Smith 7
    Carlos Smith 25/07/2016 Link para o comentário

    Nunca confiei em benchmarks eu prefiro ver uma análise para poder escolher um smartphone


  • 23
    Shunsui 25/07/2016 Link para o comentário

    Samsung era mestre nisso, foi pega no flagra no passado, quando ela inseria um aplicativo oculto no sistema que quando reconhecia um aplicativo de teste de desempenho, este aplicativo oculto, ativava os núcleos do processador no máximo, para mostrar uma falsa velocidade, já que não existe aplicativo hoje, que utilize todo potencial do processamento.

    Emanuel Marques


  • Gabriel 32
    Gabriel 24/07/2016 Link para o comentário

    Nunca levo em consideraçao esses testes nem pra compra de smart nem pra peças de pc .


  • Rafael Dantas 24
    Rafael Dantas 24/07/2016 Link para o comentário

    Desde as manipulações feitas por grandes empresas para "inflar" o desempenho de seus flagships ou mesmo as trollagens de usuários avançados em sites especializados, o benchmarking vai se tornando cada vez menos confiável e, porque não dizer, relevante.
    A experiência final do usuário, com todos os prós e contras disso, é muito mais importante.
    Bom saber que existem mais pessoas alinhadas com esse pensamento...

    Emanuel Marques


  • 26
    Johnnys 24/07/2016 Link para o comentário

    Nunca levei benchmarks em consideração numa compra. Normalmente, para eu saber dos desempenhos eu procuro por vídeos que demonstram o dispositivo sob tarefas pesadas e etc.

    Carlos Smith


    • Carlos Smith 7
      Carlos Smith 25/07/2016 Link para o comentário

      Concordo


  • Victor Lima 78
    Victor Lima 24/07/2016 Link para o comentário

    minha nossa ...


  • Fernando Henrique 65
    Fernando Henrique 23/07/2016 Link para o comentário

    Surreal


  • 63
    José Luís Silva Martiniano 23/07/2016 Link para o comentário

    É confiar não é a palavra de ordem, visto que se é possível fazer adulteração, falsificação. E assim, o melhor a se fazer é buscar em sites especializados, o Android Pit é a indicação, para saber do desempenho do dispositivo desejado.


  • 73
    Jairo rios 23/07/2016 Link para o comentário

    Realmente...benchmark virou marketing para as OEMs , não demonstram muita coisa , o melhor ainda é um hands on por parte do usuário antes da compra.


  • Laércio Henrique Da Silva 23
    Laércio Henrique Da Silva 23/07/2016 Link para o comentário

    Ai o consumidor fica com uma pulga atrás da orelha " este teste é real ou não " !


  • Jonnattan Silva 16
    Jonnattan Silva 23/07/2016 Link para o comentário

    Pra 95% dos usuários tanto faz o ranking de testes, para 4% vale para falar com o amigo que o dele é mais hard e para 1% esses números importam porque sabem do que se trata.
    Tá igual os mpx das câmeras, onde a maioria pensa que quanto maior melhor.


  • 45
    Conta desativada 23/07/2016 Link para o comentário

    Por isso me interesso mais pois display de qualidade, aúdio estéreo, UI leve e rápida, câmera boa e funções colocadas pelo fabricante.
    Acho inútiu benchmark assim como as empresas que só adicionam ram e chip novo. Algumas nem se preocupam com materiais de qualidade, boa experiência de uso, otimização do sistema etc....

    obs: fiz um teste estes dias, deixei 35 apps abertos. Dos 3 gb ram (2,7 livres para uso), ainda tinha 1,4 gb de sobra. Ao selecionar um app no multitarefas, nem chegava a 1s para abrir. Acho que 6 gb ram é inútil, muito pc trabalha com 4 e faz tarefa muito mais pesada.

    Conta desativada


    • Gabriel 32
      Gabriel 24/07/2016 Link para o comentário

      Tem jogos q nao rodam bem em 4 GB de ram mas e por causa da má otimização , se tudo fosse bem otimizado daria pra fazer mtt coisa pesada com 3 GB pena q nao e assim

Mostrar todos os comentários
Escreva um comentário:
Todas as mudanças foram salvas. Não há rascunhos salvos no seu aparelho.