Manter a documentação de tabelas e campos no Databricks atualizada é uma atividade manual e repetitiva. Sua falta dificulta a descoberta de dados para trabalhos analíticos, aumenta o tempo gasto pelos analistas para entender as informações e reduz a eficiência da governança de dados.

Foi desenvolvido o AI_Docs, um agente que documenta automaticamente tabelas e colunas do Databricks no Unity Catalog. A solução utiliza uma amostra de descrições existentes armazenadas numa tabela de referência e aplica IA para gerar descrições de alta qualidade para campos sem documentação válida em massa, atualizando automaticamente os metadados no Databricks.

Eliminou o esforço manual de documentação de cerca de 1.000 tabelas legadas e novas, poupando meses de trabalho manual do time. A iniciativa acelerou a catalogação de ativos de dados, aumentou a cobertura e a qualidade da documentação do Unity Catalog e fortaleceu a governança, facilitando a descoberta e o entendimento dos dados por toda a empresa que usa o Databricks.

Databricks SLM (Meta Llama 8B)