IA em português finalmente comparada
A Ciências ULisboa acaba de dar um passo que pode parecer técnico à primeira vista, mas que tem implicações bastante concretas para quem usa tecnologia no dia-a-dia, ao lançar o primeiro comparador de modelos de inteligência artificial generativa especificamente desenhado para português europeu, algo que até agora simplesmente não existia de forma estruturada.
Este novo sistema, designado como “Leaderboard de LLM para português”, surge para responder a uma lacuna evidente no universo da inteligência artificial, onde praticamente tudo tem sido desenvolvido, testado e optimizado para inglês, deixando outras línguas, incluindo o português europeu, numa espécie de zona cinzenta onde os resultados são, muitas vezes, inconsistentes ou pouco fiáveis.
Um ranking que fala a nossa língua
O que esta ferramenta permite fazer é relativamente simples de explicar, mas bastante poderoso na prática, já que reúne diferentes modelos de inteligência artificial generativa e coloca-os lado a lado, avaliando o seu desempenho com base em critérios claros e comparáveis, criando assim um ranking público que pode ser consultado por investigadores, empresas ou qualquer pessoa interessada.
Ao contrário de outras plataformas semelhantes, que tendem a privilegiar benchmarks globais e contextos linguísticos mais universais, este comparador foi pensado de raiz para o português europeu, o que significa que os testes incluem não só a qualidade da linguagem, mas também aspectos mais subtis como a adequação cultural, a naturalidade das respostas e até o nível de civilidade, um detalhe que pode parecer menor, mas que faz toda a diferença na forma como interagimos com sistemas de IA.
Como funciona o comparador da Ciências ULisboa
O funcionamento do sistema assenta num modelo aberto e colaborativo, onde os próprios criadores de modelos de IA podem submeter as suas soluções para avaliação, sendo depois sujeitos a um conjunto de testes automáticos desenvolvidos especificamente para medir o desempenho em português europeu.
Esses testes analisam diferentes dimensões, desde a capacidade de compreender e gerar texto correcto até à forma como o modelo lida com nuances culturais e contextuais, algo particularmente importante numa língua que varia tanto entre países e regiões.
Os resultados são posteriormente publicados online, permitindo uma comparação directa e transparente entre modelos, o que não só ajuda a identificar quais são as soluções mais eficazes, como também cria pressão positiva para que os desenvolvedores melhorem continuamente os seus sistemas.
Um projecto com base científica sólida
Este comparador não surge isolado, mas sim integrado na infraestrutura PORTULAN CLARIN, uma iniciativa nacional dedicada à ciência e tecnologia da linguagem, coordenada pela Ciências ULisboa e inserida no roteiro estratégico da Fundação para a Ciência e a Tecnologia.
Ao mesmo tempo, faz parte de uma rede europeia mais ampla, a CLARIN ERIC, o que lhe dá uma base de credibilidade e colaboração internacional que vai além do contexto português, reforçando a ideia de que o desenvolvimento de inteligência artificial não pode continuar centrado apenas em algumas línguas dominantes.
Porque é que isto interessa a todos
Pode parecer um tema reservado a académicos ou programadores, mas a verdade é que esta ferramenta tem impacto directo em áreas muito concretas, desde assistentes virtuais e chatbots até sistemas de apoio ao cliente, educação ou produção de conteúdos.
Para empresas, significa poder escolher soluções de IA com base em dados reais e comparáveis, em vez de depender apenas de promessas comerciais; para investigadores, abre caminho a um desenvolvimento mais rigoroso e alinhado com a realidade linguística portuguesa; e para os utilizadores, traduz-se em experiências mais naturais, mais correctas e menos “estrangeiradas”.
Além disso, ao permitir avaliar modelos abertos, ou seja, aqueles cujo funcionamento é transparente e acessível, o comparador incentiva práticas mais responsáveis e colaborativas no desenvolvimento de inteligência artificial.
Mais informações: https://huggingface.co/spaces/PORTULAN/portuguese-llm-leaderboard
