Eficiência nos modelos, expansão nas infraestruturas: o paradoxo que está redesenhando a lógica da inteligência artificial
Imagem: Shutterstock
Nos últimos dez anos, testemunhamos uma revolução no desenvolvimento de Grandes Modelos de Linguagem (LLMs). Enquanto pesquisadores e usuários ficam cada vez mais impressionados com o surgimento de modelos cada vez maiores formados por centenas de bilhões de parâmetros, uma outra faceta dessa realidade aponta para uma direção um tanto quando oposta. Abordagens centradas em eficiência vêm gerando resultados tão ou mais relevantes do que o aumento do tamanho dos modelos. Esse fenômeno em que menos nem sempre significa uma menor capacidade de geração de resultados vem indicando uma potencial transformação em como os pilares dos atuais sistemas da área de Inteligência Artificial (IA) estão sendo concebidos e desenvolvidos.
O primeiro pilar que sustenta as reduções no tamanho dos LLMs é a quantização, uma abordagem que transforma a representação dos parâmetros da rede neural que compõe um LLM. Tradicionalmente, em redes neurais os pesos são definidos utilizando números de ponto flutuante de 16 bits ou de 32 bits. A quantização reduz a quantidade de bits desses números sem causar perda significativa da precisão obtida pelas redes neurais. Desse modo, o tamanho da representação da rede neural pode ser diminuído sem que haja uma redução perceptível da qualidade dos resultados gerados pelos LLMs, como mostram pesquisas recentes sobre o tema123. Consequentemente, há uma redução na quantidade de recursos computacionais necessários e, também, ocorre um aumento do desempenho dos modelos, permitindo que LLMs possam ser utilizados em dispositivos móveis e em dispositivos de baixo consumo de energia como os de Internet das Coisas (IoT).
O segundo pilar é a destilação de conhecimento, processo onde ocorre a transferência do conhecimento de um modelo maior (também chamado de “professor”) para um modelo menor (também chamado de “estudante”). A destilação tem como fundamento uma espécie de encurtamento de caminho em termos de aquisição de conhecimento por parte do modelo menor. Isso é obtido ao se utilizar um modelo maior para a geração de, por exemplo, conjuntos sintéticos de treinamento para o modelo menor via categorização prévia de dados ou geração de respostas por parte do modelo maior. Um exemplo foi o experimento realizado pela empresa Google, em que um modelo com 770 milhões de parâmetros obteve desempenho similar ao de um modelo com mais de 500 bilhões de parâmetros45.
A adoção da quantização e da destilação de conhecimento, bem como de outras técnicas, pode reduzir o tamanho dos LLMs sem que a consequente redução da qualidade dos resultados afete os resultados gerados. Essa tendência vem sendo estudada e pesquisadores já propuseram uma espécie de lei sobre esse tema chamada de “lei da densificação”6, em uma linha similar ao que propôs Gordon Moore7 sobre o aumento da densidade de componentes em circuitos eletrônicos ao longo do tempo. No caso dos LLMs, os pesquisadores mostraram que em aproximadamente 100 dias a relação entre a melhoria de desempenho e o tamanho dos modelos dobra, apontando para um caminho de aumento exponencial de eficiência que, ao ser mantido, pode criar uma via alternativa de desenvolvimento de tecnologias da área de IA baseadas em modelos.
No entanto, se há um aumento da eficiência dos modelos mesmo com reduções de tamanho, por que estamos testemunhando uma corrida para a construção de data centers cada vez maiores?
O Brasil, por exemplo, projeta a atração de R$ 2 trilhões em investimentos até 2035 para fomentar o setor de tecnologia8. Estima-se que as cinco maiores empresas norte-americanas que lideram as áreas de IA e de computação em nuvem planejam investir mais de 350 bilhões de Dólares em 2025 para a construção de data centers9. Esse cenário paradoxal em que modelos da área de IA diminuem de tamanho, mas são acompanhados por investimentos multibilionários em infraestruturas cada vez maiores vem se mostrando como uma das grandes contradições do desenvolvimento tecnológico contemporâneo.
Tal cenário possui diversas explicações e algumas delas se interrelacionam. Como ponto de partida, o aumento da eficiência de modelos individuais pode não causar uma redução nas demandas agregadas, mas sim amplificá-las. Esse fenômeno tem raízes na econômica e foi lembrado recentemente pelo atual CEO da Microsoft10. O Paradoxo de Jevons foi descrito no século XIX por William Stanley Jevons e diz, de forma sucinta, que melhorias em tecnologias sensíveis aos ajustes de preços tendem a fazer com que ocorram aumentos na demanda à medida que os preços diminuem.
No caso das tecnologias da área de IA, quanto mais eficientes e baratas elas se tornam, mais seu uso se democratiza e maior se torna a demanda. Modelos menores podem ser usados em mais dispositivos, em mais lugares e com mais frequência. Tecnologias que antes eram restritas às grandes corporações agora podem ser acessadas por pesquisadores independentes, por pequenas empresas e por usuários finais. Esta democratização aumenta o número de aplicações, de usuários e de instâncias de modelos funcionando simultaneamente, demandando mais infraestruturas computacionais centralizadas e distribuídas.
Um segundo fator diz respeito aos processos de criação dos modelos. Enquanto os modelos prontos para uso diminuem de tamanho, o treinamento de novos modelos na fronteira do conhecimento continua demandando alto poder computacional. A pesquisa em IA não cessa pelo fato de ter se tornado possível utilizar modelos menores, mas sim, ocorre o contrário. Essa constante evolução gera demandas por investimentos em pesquisas de modelos ainda mais avançados e capazes de realizar tarefas mais complexas.
Um terceiro e talvez mais importante fator é a proliferação de modelos especializados. Ao invés de um modelo único com centenas de bilhões ou até trilhões de parâmetros para realizar tarefas em múltiplos domínios do conhecimento, a especialização em determinadas tarefas acaba por demandar diversos modelos menores e otimizados para domínios específicos como medicina, direito, programação, finanças, processamento de linguagem natural, visão computacional, robótica, entre outros. Cada setor, cada indústria, cada organização e cada usuário individual deseja possuir o seu próprio modelo treinado com os seus respectivos conjuntos de dados.
Por conta desses fatores, a infraestrutura precisa suportar não apenas os grandes modelos de referência e na fronteira do conhecimento, mas, também, uma quantidade exponencialmente crescente de modelos de menor porte que são utilizados simultaneamente em diferentes contextos geográficos, temporais e funcionais.
Essa configuração da demanda por infraestruturas computacionais faz com que a previsão para 2030 seja a de que praticamente metade da capacidade global dos data centers seja ocupada por demandas da área de IA11. Nesse contexto, o Brasil, com uma matriz energética predominantemente baseada em recursos renováveis, atrai cada vez mais investimentos bilionários relacionados com data centers focados de IA, como os previstos para o Rio de Janeiro e para o Rio Grande do Sul12.
Tudo indica que esse paradoxo irá perdurar. O futuro das tecnologias da área de IA ainda será baseado em grandes modelos de referência que farão avançar as fronteiras do conhecimento, ao mesmo tempo em que o dia a dia dependerá de modelos menores para a resolução de problemas específicos enfrentados pelas organizações e por usuários individuais.
O ponto de inflexão para a potencial superação desse paradoxo parece residir na capacidade de combinação, da melhor maneira possível, dos elementos sociotécnicos que garantam eficiência e escalabilidade das tecnologias da área de IA para atender as demandas humanas em termos econômicos, sociais, ambientais e de governança, mesmo que isso, em alguma medida, implique uma desaceleração dos avanços tecnológicos.
Alexandre Silveira Pupo é pesquisador do Think Tank da ABES, Doutor e Mestre em Ciências na área de Administração, com especialização e aperfeiçoamento profissional em Gestão Empresarial, especialização em Segurança da Informação e graduação em Informática. As opiniões expressas neste artigo não refletem, necessariamente, os posicionamentos da Associação.
*Artigo originalmente publicado no IT Forum em 17 de dezembro de 2025
