Banco · Leste Europeu
33 → 43 tok/s
+0%A MultiCortex superou a meta de desempenho definida pelo banco e o benchmark alcançado por uma Big Tech.
Contexto
O banco possuía uma frota de GPUs de diferentes fabricantes e estabeleceu como requisito uma velocidade de saída de 39 tokens/s. Especialistas de uma Big Tech trabalharam por dois meses e alcançaram 33 tokens/s.
Atuação MultiCortex
A MultiCortex desenvolveu um build especial utilizando computação heterogênea para otimizar a execução de IA sobre a infraestrutura existente.
Resultado
43 tokens/s, superando a meta de 39 tokens/s e o resultado de 33 tokens/s da Big Tech — aumento de 30% na produtividade.