Tecnologia

ANONIMIZADO: Uma Biblioteca Python para Ingestão, Limpeza e Normalização de Textos

Jefferson Rodrigo Speck; Luiz Henrique Zavatini Feltrin

Faculdade Donaduzzi

Resumo

Este estudo apresenta a ANONIMIZADO, uma biblioteca Python para pré-processamento de Processamento de Linguagem Natural. O trabalho aborda o problema da fragmentação e do ruído na ingestão de textos de fontes heterogêneas. Através de uma arquitetura modular a biblioteca oferece um pipeline unificado para limpeza, identificação de idioma por parágrafo e normalização. A principal contribuição reside na ampliação da rastreabilidade e auditabilidade em fluxos de processamento através de relatórios de evidências e gerenciamento dinâmico de modelos linguísticos.

Palavras-chave: Biblioteca, Python, Normalização, Processamento Linguagem Natural