O Porsche e o Dodge Viper
O AnandTech derrapa logo no começo, ao fazer a correlação entre as CPU´s e carros esportivos: o AMD Opteron Magny-Cours estaria para o Intel Xeon Westmere, assim como o Dodge Viper estaria para um Porsche. Ou seja, o Opteron seria um tosco e desengonçado "muscle-car" americano, e o Intel Xeon seria um refinado carro esporte alemão.
Sim, existem anos luz separando um Porsche de um Viper. Nem todos os dez cilindros, e muito menos os muitos centímetros cúbicos do motor do Viper são suficientes para nem sequer acompanhar de longe um Porsche em qualquer situação, sobretudo em pistas de corrida. Como se não bastasse, um Porsche, além de mais rápido, mais veloz, mais refinado, ainda é mais eficiente que um Viper: gasta menos combustível.
Ora, a "pista" de um processador de servidor é a performance em banco de dados, e é nessa situação que o Opteron Magny-Cours brilha. E brilha consumindo menos energia que o Intel Xeon. Então, a realidade é precisamente o contrário do que sugere o AnandTech: o Opteron Magny-Cours é o Porsche, e o Intel Xeon Westmere é que é o Dodge Viper (poderia ser o Corvette, ou o Ford GT, também).
Mas a barbeiragem continua ao logo do teste: vamos analisar o que aconteceu em cada benchmark usado.
CINEBENCH 11.5
Esse benchmarck é irrelevante para o tipo de aplicação ao qual se destinam processadores como o Opteron e o XEON. É como o SuperPI: simplesmente não diz nada sobre a performance de um processador de servidores.
Servidores são usados, prioritariamente, para rodar aplicações de banco de dados, e não para fazer tratamento de imagens, motivo pelo qual o CINEBENCH é inútil para avaliar a performance desse tipo de CPU.
Entretanto, o Cinebench 11.5 pode ser extremamente útil se você pretende sugerir que um Intel XEON 5670 é um processador com maior desempenho que AMD Opteron 6174, pois o Intel XEON 5670 dispõe de instruções específicas para tratamento de imagens (SSE4.1 e SSE4.2) não presentes no AMD Opteron 6174.
Ou seja, o resultado do Cinebench 11.5 dá a entender que o Intel XEON 5670 é uma CPU mais potente que o AMD Opteron 6174, quando a realidade é exatamente o contrário.
Blender 2.5 Alpha 2
O próprio AnandTech afirma, logo em seu primeiro parágrafo, que “não é uma aplicação para ser rodada em servidores, mas em workstations”. Entretanto, por algum outro motivo qualquer, que não, obviamente, o de mostrar qual CPU de servidor é mais rápido, eles resolveram colocar mais um outro benchmark que não diz nada sobre performance de servidores, para avaliar a performance de servidores!?.
Outro aspecto a ser considerado é que a aplicação, como mostrada pelo próprio AnandTech, não está totalmente estável na plataforma Windows Server 2008. São eles mesmos que afirmam que essa aplicação sempre apresentou problemas quando rodada em servidores (o que é óbvio, tendo em vista que ela não é para servidores).
Além disso, eles sabem que essa aplicação não funciona direito no Windows Server 2008. Está relatado no próprio review que a aplicação, quando rodada em Windows, não coloca o Opteron em 100% de carga. Pior: na maior parte do teste com Windows 2008, o índice de utilização da CPU da plataforma Opteron ficou em 30%.
Mas mesmo assim eles publicam o resultado, mostrando o Intel XEON 5670 mais rápido que o AMD Opteron 6174, resultado, este, desmentido no slide imediatamente abaixo, no teste do mesma aplicação rodando em Linux, quando o AMD Opteron 6174 foi quase 2 vezes mais rápido que o Intel XEON 5670. Neste teste o Opteron rodou em 100% de carga durante todo o teste.
Então, se eles sabem que o resultado do AMD Opteron 6174 é completamente irreal no Windows, e que não representa a realidade desse processador, por qual motivo o slide é publicado em um teste que se presta a comparar PROCESSADORES, e não aplicações?
OLTP benchmark Oracle Charbench “Calling Circle”
Aqui o AnandTech deliberadamente escolheu configurações para rodar o benchmark de forma a favorecer enormemente o processador com a maior quantidade de cache. Na explicação inicial do teste eles afirmam o seguinte:
“To reduce the pressure on our storage system, we increased the SGA size (Oracle buffer in RAM) to 10 GB and the PGA size was set at 1.6 GB.”
Ou seja, eles elevaram o buffer de memória da aplicação para 10GBytes, e reduziram o tamanho do banco dedados para 1.6Gbytes (alguém já viu uma base de dados de 1.6GB? - que caberia em um pen-drive).
O teste consiste, como eles mesmo afirmam, em 87% de “selects” em uma banco de dados Oracle. Quando se roda o benchmark nas configurações estabelecidas pelo AnandTech, 90% do teste será apenas repetição do select anterior (o que, evidentemente, não corresponde com o que acontece com o mundo real da aplicação).
O teste consiste, como eles mesmo afirmam, em 87% de “selects” em uma banco de dados Oracle. Quando se roda o benchmark nas configurações estabelecidas pelo AnandTech, 90% do teste será apenas repetição do select anterior (o que, evidentemente, não corresponde com o que acontece com o mundo real da aplicação).
Portanto, o Anandtech reduziu propositalmente o tamanho do banco de dados ( para um valor ridiculamente pequeno), sob a desculpa de “reduzir a pressão sobre o sistema de discos", conseguindo, assim, ampliar exponencialmente a influência do tamanho do cache do Intel XEON 5670 no resultado do teste.
Ou seja, as configurações do teste foram feitas especificamente para favorecer o Intel XEON 5670, mesmo que o resultado não corresponda em nada ao que se observa no mundo real.
Esse teste, corretamente aplicado, e sem configurações exóticas, seria um teste que, de fato, mostraria as diferenças entre as CPU´s sob intensa carga, mas as distorções de configuração maquiaram os resultados, o que fica evidenciado pelo fato de o próprio XEON 5570 de quatro núcleos ter obtido um resultado apenas 5% inferior quando comparado ao outro XEON 5670 de 6 núcleos.
Resumo: manipulação explícita de configurações do teste para favorecer o CPU com maior quantidade de cache: o Intel XEON.
SAP D 2-Tier
Nesse teste, eles NÃO TESTARAM o AMD Opteron 6174, mas colocaram o resultado dele, muito abaixo do obtido pelo XEON 5670. O resultado do AMD 6174 foi “estimado”, conforme o asterístico colocado ao lado do resultado, com a legenda embaixo da imagem.
Dá para levar em consideração um review que se propõe a testar dois processadores, mas que os resultados de um deles são declaradamente fictícios?
Banco de Dados : Decision Support benchmark: Nieuws.be
Esses são, de longe, os testes mais relevantes em se tratando de servidores. Neles, naturalmente, os AMD Opteron 6174 Magny-Cours foram claramente os vencedores.
Onde estão os teste com Java?
Por qual motivo o AnandTech não colocou testes com o resultado dos servidores em ambiente Java? Bom, o AnandTech não mostrou, mas o TECchannel mostrou:
Onde estão os testes de consumo de energia?
Onde estão os testes de consumo de energia?
Consumo de energia é um dos, se não for o principal, indicador a direcionar as decisões sobre servidores. Mas o teste do AnandTech nada fala sobre isso.
É interessante o método AnandTech de testar servidores: benchmarks que não servem para aferir a performance de servidores são usados, mas principais indicadores relativos a servidores, não são medidos!
Novamente, o que o AnandTech não mostrou, o TECchannel mostrou:
E o principal indicador sobre consumo de energia: Performance/Watt
O AMD Opteron 6174 com 12 núcleos e gravado em 45 nm consome MENOS energia que os Intel XEON X5680 e X5670, que são gravados em 32nm. Quando se compara o indicador de performance/watt verifica-se que Opteron 6174 é 12% melhor no indicador performance/watt, sendo que o Intel XEON X5680 é 42,7% MAIS CARO que o AMD Opteron 6174.
E o principal indicador sobre consumo de energia: Performance/Watt
O AMD Opteron 6174 com 12 núcleos e gravado em 45 nm consome MENOS energia que os Intel XEON X5680 e X5670, que são gravados em 32nm. Quando se compara o indicador de performance/watt verifica-se que Opteron 6174 é 12% melhor no indicador performance/watt, sendo que o Intel XEON X5680 é 42,7% MAIS CARO que o AMD Opteron 6174.
Testes de criptografia
Esse talvez seja o benchmark mais estúpido tirado pelo AnandTech. A Intel colocou em seus processadores Westmere as chamadas intruções AES-INI. Ocorre que não existe sequer uma aplicação de segurança no mercado apta a usá-las. Mesmo assim, o AnandTech considera relevante colocar um teste que mede a performance dos servidores nesse tipo de benchmark.
Esse tipo de instruções se presta a acelerar as operações com criptografia simétrica. Se os consumidores realmente querem ampliar a performance em aplicações de criptografia simétrica, existem toneladas de hardwares decicados no mercado para este fim, que são não apenas mais rápidos, como também mais seguros.
Outra questão é que as instruções AES-INI não prestam para nada quando se trata de acelerar aplicações de criptografia assimétrica, baseadas nos algoritmos DSA e RSA. E é exatamente esse tipo de criptografia que importa para o segmento corporativo, especialmente quando se usa servidores para hospedar páginas seguras de um website.
Então, novamente, um teste que não diz nada sobre a realidade de performance de servidores, mas que se presta a mostrar um quadro que não representa a realidade.
Testes com Virtualização
Este caso parece ser o mais esquizofrênico. O próprio Johan De Gelas, que é o cara que fez o teste do AMD Opteron 6174 x Intel XEON 5670, publicou, no próprio AnandTech ( http://it.anandtech.com/show/2763/5 ) um artigo no qual sustenta que os resultados dos testes com virtualização dos processadores Intel são irreais!
Interessante: mesmo sabendo disso, e tendo publicado um artigo, eles continuam a usar tais resultados (que eles mesmos consideram irreais) em seus reviews?
Conclusão
O teste comparativo do AnandTech entre Magny-Cours e Xeon 6 núcleos não passa de um amontoado de telas de benchmarks que não dizem nada sobre a real diferença de performance entre os Intel XEON5670 e os AMD Opteron 6174. Pior: aparentemente os benchmarks foram cuidadosamente escolhidos para favorecer a plataforma baseada nos processadores Intel XEON.
Como se não bastasse, nos casos em que o Opteron seria claramente vitorioso, foram usadas configurações exóticas de benchmark para explorar determinadas características presentes nos servidores da Intel.
De qualquer forma, não é a primeira vez e nem será a última que o AnandTech usa metodologias exóticas para distorcer o resultado de testes. Cabe a leitor, porém, identificar essas falhas metodológicas (comercialmente orientadas) para não ficar com a visão distorcida dos fatos mostrada pelo AnandTech.
O que o AnandTech parece querer esconder é o que o TECchannel explicitou com testes baseados em benchmarks amplamente usados para avaliação de servidores:
O que o AnandTech parece querer esconder é o que o TECchannel explicitou com testes baseados em benchmarks amplamente usados para avaliação de servidores:
- que os AMD Opteron de 45nm e 12 núcleos consomem MENOS energia que os Intel XEON 32nm e 6 núcleos;
- que os AMD Opteron de 45nm e 12 núcleos são mais RÁPIDOS que os Intel XEON de 32nm e 6 núcleos, e, em muitos casos, mais RÁPIDOS também que os Intel XEON Nahalem-EX, de 8 núcleos;
- que, apesar de os AMD Opteron 45nm serem mais rápidos, e consumirem menos energia que os Intel XEON 32nm 6 núcleos, os Intel XEON 32nm 6 núcleos são 42,7% MAIS CAROS que os AMD Opteron Magny-Cours 6174.
Sempre terá quem discorde: http://www.forumpcs.com.br/viewtopic.php?p=2387022#2387022 huashuashuahua
ResponderExcluirNão sei mais em quem acreditar, através do que você disse, fica claro que os testes foram manipulados, mas para sanar de vez com as dúvidas, não haveria outro site diferente com testes de performance e consumo para uma melhor avaliação, ao invés desses dois?
>>>> "O fato é o seguinte... o Opteron 6174 não consegue fazer concorrência frente a Intel... em 90% do mercado de servidores o Xeon X5650 se sai melhor, em desempenho, em custo&benefício e performance por watt."
ResponderExcluirRá..Rá...Rá...Rá...Rá...bem grande para esse comentário! Muitas risadas mesmo! Alguém precisa ensinar urgentemente esse sujeito a fazer conta, e informá-lo que o Opteron 6174 custa US$ 1165, enquanto o Intel XEON X5680 US$ 1663. Ou seja, o Intel XEON X5680 é nada menos que 42,7% mais CARO que o AMD Opteron 6174! Rá..Rá...Rá...Rá.
Mas também não precisa acreditar em mim, olha o que o próprio AnandTech escreveu:
"But it is unclear if Intel will prevail in truly multi-threaded software now that a grim and determined AMD is willing to offer two CPUs for the price of one just to win the race."
Sobre consumo e performance/watt
Rá..Rá..Rá...o XEON 5680 consome 20% a mais que o Opteron 6174 em full load! E é mais lento que o Opteron 6174 na maior parte dos testes! Precisam ensinar urgentemente ao autor desse comentário que performance/watt é um indicador relativo. Em uma relação matemática, se o numerador é maior, e o denominador é menor, o indicador "performance/watt" será maior! Mas não precisa acreditar em mim, olha o indicador calculado aqui:
http://www.tecchannel.de/_misc/galleries/detail.cfm?pk=31166&fk=393058&resize=true
Ou seja, o Opteron 6174 é 13% melhor que o XEON 5680 em performance/watt, e é 42,7% mais BARATO que o XEON 5680!
Alo EduardoSch,
ResponderExcluir"AES: Criptografia simétrica, esse é o método de criptografia simétrico mais usado pelo mundo"
O AES não é usado pelo sistema oficial de certificação digital do Brasil - ICP-Brasil. A ICP-Brasil (www.iti.gov.br) não usa o AES, usa o 3-DES (que não está obsoleto. Na realidade o DES é obsoleto, mas o 3-DES [triple-DES] não).
De qualquer forma, eu queria falar sobre DSA, e não DES. Já corrigi.
Favor consultar o manual de padrões criptográficos da ICP-Brasil, página 2. O Link segue abaixo:
http://www.iti.gov.br/twiki/pub/Certificacao/DocIcp/DOC-ICP-01.01_-_v_1.1.pdf
Sim, os métodos simétricos e assimétricos são combinados. O 3-DES é simétrico, e o RSA, assimétrico. No padrão da ICP-Brasil, usa-se o RSA (assimétrico) e o 3-DES (simétrico), entre outros, mas o AES não.
E as aplicações de segurança precisam ser recompiladas para usar as instruções AES-INI. Até agora, não sei de nenhuma que foi. De qualquer forma, tais instruções, se forem úteis algum dia, ano que vem elas estarão no Bulldozer.
[]s.