Um gasto que não aparece onde se procura
O custo da inteligência artificial chega por vários caminhos ao mesmo tempo: chamadas a APIs de modelos, computação com GPU na cloud, plataformas de IA contratadas como serviço. Cada um fatura de forma diferente e muitas vezes fora da conta cloud principal. O resultado é um gasto que cresce depressa e que ninguém vê por inteiro.
A isso junta-se uma diferença de fundo: na IA, o custo depende do comportamento dos utilizadores e do desenho do produto (quantas consultas, de que extensão, que modelo se usa em cada caso) muito mais do que da infraestrutura.
As mesmas regras, aplicadas a algo novo
Tudo o que se viu nesta série se aplica, com alguns matizes:
- Normalizar: levar o gasto de cada fornecedor de IA ao mesmo formato que o resto da cloud. Assim soma-se, compara-se e atribui-se com as mesmas consultas.
- Atribuir por funcionalidade: o responsável natural do custo não é um servidor, é uma função do produto (um assistente, uma pesquisa, um resumo automático). Para isso, cada chamada deve levar identificada a funcionalidade que a originou.
- Medir por unidade: custo por conversa, por documento processado, por utilizador ativo. É a única forma de saber se uma funcionalidade de IA é rentável.
- Prever com a utilização: o consumo de IA pode multiplicar-se com uma alteração de produto ou um pico de adoção. A previsão tem de olhar para a utilização, não apenas para o gasto passado.
Alavancas próprias da IA
Além das alavancas habituais, a IA tem as suas:
- Escolher o modelo adequado para cada tarefa. Nem tudo precisa do modelo mais capaz e mais caro.
- Reduzir o que se envia e o que se pede: contexto mais curto, respostas mais delimitadas.
- Reutilizar resultados quando a mesma pergunta se repete.
- Fixar limites por utilizador ou por funcionalidade, para que uma utilização anómala não se transforme numa fatura surpresa.
Porquê agora
Muitas organizações estão a incorporar IA sem terem ainda arrumado o seu custo cloud. Começar com o gasto de IA normalizado e atribuído desde o primeiro dia é muito mais barato do que reconstruí-lo quando já é uma das maiores rubricas.
Com este artigo fecha-se a série: de perceber que o custo não é uma fatura a construir, atribuir, medir, prever, otimizar e operar, também para o que aí vem.
Como o aplicamos: Engenharia FinOps.