O custo de adicionar aceleradores cresce em linha reta. A performance quase nunca acompanha. O que separa as duas curvas é quanto as placas precisam conversar — e por qual caminho.
Adicionar aceleradores multiplica o custo de forma linear e a performance de forma decrescente. Três condições precisam ser verdadeiras ao mesmo tempo para a placa adicional valer: o trabalho precisa ser paralelizável, as placas precisam de um caminho de comunicação à altura do quanto elas conversam, e o resto da máquina precisa conseguir alimentar todas elas com dados. Se qualquer uma falhar, você comprou capacidade que vai ficar esperando. Antes de dobrar o número de placas, meça qual fração do seu tempo de execução é cálculo e qual é comunicação.
A pergunta chega quase sempre pronta: "quero dobrar a capacidade, então preciso de duas placas, certo?". A intuição é razoável e a aritmética é simples. O problema é que a aritmética descreve o custo, não o resultado.
O custo realmente dobra. A licença, a energia, o calor, o espaço no rack e o valor na nota fiscal escalam de forma bem previsível. O tempo de execução é que se recusa a cooperar.
Sempre que um trabalho é dividido entre várias unidades de processamento, ele passa a ter duas partes: a que pode ser feita em paralelo e a que não pode. Preparação de dados, decisões sequenciais, sincronização de resultados e escrita final costumam ficar na segunda categoria.
Essa parte não paralelizável funciona como um piso. Você pode adicionar quantos aceleradores quiser: o tempo total nunca fica menor que o tempo dela. E, pior, cada placa nova adiciona um custo de coordenação que não existia antes — porque agora há mais uma unidade que precisa receber sua fatia, devolver seu resultado e esperar as outras.
A linha tracejada é o que a aritmética promete. A barra cheia é o que costuma chegar. A distância entre as duas cresce a cada placa adicionada.
Antes de aprovar uma segunda placa, vale checar as três. Elas falham de formas diferentes e cada falha tem um sintoma próprio.
Primeira: o trabalho precisa ser divisível. Nem todo processamento acelerado escala. Servir um modelo único de inferência para um usuário por vez não fica mais rápido com mais placas — fica capaz de atender mais usuários simultâneos, que é outra coisa. Vale a distinção: aceleradores adicionais podem aumentar vazão sem reduzir latência. Se o seu problema é tempo de resposta, mais placas podem não resolver nada.
Segunda: o caminho entre as placas precisa comportar a conversa. Em treinamento distribuído, as placas precisam trocar resultados intermediários a cada passo. Se esse tráfego for grande e o caminho for estreito, as placas passam mais tempo esperando dados do que calculando.
Terceira: o resto da máquina precisa acompanhar. Aceleradores consomem dados em um ritmo que costuma surpreender. Se o armazenamento e a preparação de dados não conseguirem alimentar a fila, as placas ficam ociosas esperando — e você pagou por capacidade de cálculo para financiar tempo de espera.
Quando duas placas precisam trocar dados, existe um caminho físico para isso. Ele pode ser curto e dedicado, ou pode passar pelo mesmo barramento que atende todo o resto do sistema, disputando espaço com armazenamento, rede e memória.
À esquerda, tudo passa pelo caminho compartilhado do sistema. À direita, as placas têm um enlace direto entre si.
Existe uma consequência comercial nisso que costuma passar batida. Duas propostas podem listar exatamente o mesmo modelo e a mesma quantidade de aceleradores, e entregar resultados diferentes em treinamento distribuído, porque a topologia interna do servidor é diferente. A linha da proposta é idêntica. A máquina, não.
Há um caso em que a decisão fica bem mais simples do que parece: quando o trabalho cabe inteiro na memória de um único acelerador.
Se o modelo, o lote e os dados intermediários couberem em uma placa só, você elimina de uma vez a comunicação entre placas — que é justamente a origem da perda de eficiência. Some a isso operação mais simples, menos pontos de falha, menos energia e um suporte mais direto quando algo dá errado.
Por isso, na conversa de dimensionamento, a pergunta sobre memória do acelerador vem antes da pergunta sobre quantidade. Discutimos essa fronteira em detalhe em quanta VRAM preciso para treinar e servir um modelo: enquanto o trabalho couber, a resposta quase sempre é uma placa maior; quando não couber mais, aí a conversa passa a ser sobre topologia.
| Tipo de carga | O que melhora | Sensibilidade à interconexão | Decisão típica |
|---|---|---|---|
| Inferência de muitos pedidos simultâneos | Vazão, não latência | Baixa | Mais placas escalam bem |
| Treinamento com dados particionados | Tempo por época | Alta | Topologia pesa mais que quantidade |
| Modelo que não cabe em uma placa | Viabilidade — antes era impossível | Crítica | Enlace direto vira requisito |
| Render e lotes independentes | Tempo total do lote | Muito baixa | Escala quase linear |
Vale reparar na última linha. Cargas feitas de tarefas independentes — render de quadros, processamento de lotes que não conversam entre si — escalam quase em linha reta, porque não existe comunicação a ser paga. É o melhor cenário possível, e é também o que gera a expectativa que decepciona em treinamento distribuído.
Rode a sua carga real em uma placa e registre o tempo. Rode em duas e registre de novo. O ganho observado, dividido por dois, é a sua eficiência de escalonamento medida — não estimada. Se ficou perto de 0,9, a arquitetura responde bem e vale seguir. Se ficou perto de 0,6, a placa adicional está financiando espera, e o dinheiro rende mais em memória, em armazenamento mais rápido ou em ajuste do código.
Se você compra capacidade para atender mais usuários simultâneos, e não para acelerar uma tarefa única, a lógica se inverte: aí mais placas escalam bem e a interconexão importa pouco, porque cada uma trabalha sozinha.
Se o seu gargalo atual é memória do acelerador — o modelo simplesmente não roda — não existe conversa sobre eficiência. Ou cabe, ou não cabe.
E se o seu volume é irregular, com picos raros e ociosidade longa entre eles, a discussão correta talvez não seja quantas placas comprar, mas se comprar é o caminho certo. O ponto de equilíbrio entre nó próprio e capacidade contratada depende de horas de uso, não de preço de lista.
Uma segunda placa com 90% de eficiência é um bom investimento. A mesma placa com 55% de eficiência é um equipamento caro trabalhando pouco mais que metade do tempo — e ainda consumindo energia, gerando calor e ocupando espaço integralmente.
A diferença entre os dois cenários não está no acelerador. Está em decisões de arquitetura que são tomadas antes dele: o quanto o trabalho é divisível, por onde as placas conversam e se o resto da máquina consegue alimentá-las. É exatamente esse conjunto que o diagnóstico precisa medir antes da ordem de compra, porque depois dela a conta já está fechada.
O SmartSpec Optimizer mede o seu workload real e devolve arquitetura recomendada com estimativa de TCO — antes de qualquer aquisição.
Solicitar avaliação técnica →Ajuste as categorias abaixo. Cookies essenciais não podem ser desativados porque garantem o funcionamento do site. Sua escolha vale por 12 meses e pode ser alterada a qualquer momento pelo link "Preferências de cookies" no rodapé.
Registro do consentimento: guardamos localmente a data, a versão desta política e as categorias escolhidas, como evidência de conformidade. Nenhum dado é enviado a terceiros por este controle.