Migrar as tabelas de “look up" (map[int]string) para o Badger (armazenamento de chave e valor)

[cuducos]

No ETL (comando transform) utilizamos alguns map[int]string para mapear coisas como código do município para nome do muncicípio, por exemplo.

Depois da implementação do Badger como cache durante o ETL (#173), o mesmo Badger pode ser utilizado para essas tabelas de código e nome de município, CNAE, países etc. Em termos de performance não deve ter um impacto grande (as consultas podem ser feitas em paralelo, pois são read-only, as escritas são poucas), e o código pode ser muito implificado.

Possível estratégia de implementação:

• Extender newKVItem para suporte de novos sourceTypes
• Extender o enrichCompany para suporte dos novos campos
• utilizar o newKVitem para criar e, depois, salvar os dados das tabelas de look up no Badger no início do ETL
• limpar código (que não é mais utilizado) relacionado às antigas tabelas de look up

Repetir o processo para:

• motives
  Move tabela de look-up motives para o Badger #217
• cities
  Move tabela de look-up cities para o Badger #218
• countries
• cnaes
• qualifications
• natures
• ibge