Pruning Dinâmico Baseado em Ativacao para Especialização
Resumo
Este trabalho investiga o pruning dinâmico via ativação como
estratégia de especialização de modelos de linguagem de larga escala em
domínios específicos. A abordagem estima a relevância dos componentes a partir
da magnitude e da recorrência das ativações, permitindo a remoção adaptativa
de unidades menos úteis durante a inferência. Resultados parciais com um
modelo de 1.1B parâmetros apontam taxas de poda de 30% em Direito, 25% em
Medicina e 20% em Literatura, motivando uma avaliação mais ampla sobre
qualidade das respostas, latência e eficiência computacional.
Palavras-chave: Modelos de linguagem, Pruning dinâmico, Especialização por domínio, Compressão de modelos, Ativação.
Ler trabalho completo (PDF)