Gestão de custos (e como eles funcionam) ganham força na jornada da IA Generativa

Um grande cliente do setor de meio de pagamentos recentemente me confidenciou a necessidade de melhorar o perfil de custos da IA Generativa. É uma plataforma de LLM (Grande Modelo de Linguagem, na sigla em inglês) das mais conhecidas, cujo custo tem se mostrado alto. Isso nos faz parar e pontuar algumas dúvidas que a utilização da IA em larga escala nos coloca:
 

• Vai caber no nosso orçamento?
• Qual é o perfil da aplicação em que faz sentido usar?
• Como combinar modelos novos e antigos?
• Há outros modelos com bons retornos e custos menores?
   

Diante do hype que vivemos em torno da IA, sobretudo a Generativa, e as suas infinitas possibilidades de produção de soluções, ofertas e oportunidades, pouco se discutem os resultados experimentados por alguns setores que, por questões diversas, adotam determinadas plataformas, sem considerar a fundo questões como custo, equilíbrio, latência e necessidade.
 

Por tudo isso, creio que estamos no fim dessa corrida incessante de trilhões de parâmetros, “neurônios” e tudo o que vem a reboque disso. Como um consultor experiente no mercado de tecnologia, procuro sempre me colocar sob o ponto de vista do cliente, pensando naquilo que possa de fato trazer ganho a ele. Há plataformas de IA Generativa que trabalham, por exemplo, de maneira combinada as suas arquiteturas de LLMs. E, dependendo de cada caso, podem funcionar tão bem quanto um ChatGPT, para ficar na ferramenta mais conhecida.
 

Um debate que precisa ser melhor considerado dentro e fora do ambiente corporativo diz respeito ao quão caro é treinar essas plataformas de IA Generativa. Existe a demanda por mais e mais informações para isso, com uma criação interminável de parâmetros por esses sistemas. Entretanto, não é possível fazer isso com qualquer informação: é preciso dos chamados dados curados, confiáveis e que, uma vez enriquecidos, possam entregar as melhores respostas.
 

Quanto mais parâmetros, mais dados são necessários. Estudos acadêmicos já indicam, inclusive, que existe uma escassez ou quase inexistência de dados confiáveis para isso – discussões sobre o uso de conteúdo protegido por direitos autorais, por exemplo, passam justamente por tal demanda. Ao mesmo tempo, para quem controla essas plataformas de IA Generativa, é preciso que pessoas e empresas as usem, em larga escala, uma vez que o custo para desenvolver todo esse infinito arcabouço (chips, computadores, energia elétrica, etc.) é muito alto. Assim, o que parece se colocar é: vale a pena? Para onde iremos desta forma?
 

Algumas big techs já realizam experimentos que adicionem publicidade ao uso das suas plataformas de IA Generativa. Talvez seja possível, mas não sei como isso seria feito de maneira efetiva. É algo a se observar. Na mesma medida, acredito que os lançamentos de novos modelos de LLMs não devam ser esperados, ao contrário de outras iniciativas, como aquelas envolvendo SLMs (Pequeno Modelo de Linguagem, na sigla em inglês).
 

Os SLMs podem ser explicados, resumidamente, como um modelo de linguagem treinado por meio de uma base de dados menor, com comparação com os LLMs. Tratam-se de modelos que, por serem menores, são mais leves e mais fáceis de implantar em dispositivos com recursos limitados. Desta maneira, podemos usar a IA Generativa para construir arquiteturas mais especializadas, segundo a nossa conveniência, orçamento e demanda. Se as plataformas como o ChatGPT visam “responder a tudo”, as de SLMs podem atender um determinado setor com o devido arcabouço de dados que lhe for essencial.
 

Vejo uma tendência no mercado em buscar possibilidade com a IA Generativa que sejam mais baratas, mais focadas, com níveis de cobertura muito altos, nos domínios a serem atendidos. Ouso dizer que, em alguns casos, possamos ter resultados até melhores do que plataformas demasiadamente generalistas.
 

É evidente que essa leitura do mercado atual de IA Generativa pode mudar. A tecnologia está aí para nos desmentir ou criar novos caminhos ainda inexistentes o tempo todo. Acredito que seja sintomático que se mantenha a demanda por serviços de altíssima qualidade, super eficientes, mas talvez não precise ser uma big tech a oferecer a plataforma que eu ou você precisamos. Há oportunidades em nichos menores e, não menos importante, a chance de uma democratização dessas ferramentas, abrindo a competitividade para outros países (como o Brasil) entrem neste mercado com as suas próprias soluções, de LLMs, SLMs ou ambos.
 

Se baixarmos a barreira de entrada de novas empresas e negócios neste setor da IA Generativa, poderemos ter muitas boas novidades. Para os profissionais de TI, já imaginaram poder trabalhar em modelos multi LLMs, nos mesmos moldes do que vemos no multi cloud? E tudo muito bem calibrado com bons algoritmos e machine learning. Eis uma leitura um tanto preditiva, cujo futuro próximo se revelará generativo ou não.