Erro ao acessar o Badger no inicio da segunda etapa do transform #253
Comments
silvioes
changed the title
|
Finalizou durante a madrugada sem erros. Aparentemente está faltando apenas as informações do quadro societário, porte, razão social, capital social, natureza jurídica e alguns nem nome fantasia trás, exatamente como estava com os dados de sample. Exemples: Como inicialmente não são dados que eu preciso vou seguir com esse banco por hora, mas gostaria de uma ajuda para identificar o pq desses dados não terem sido preenchidos. Também precisei criar o index pra procurar por id na tabela cnpj, não sei se é um comportamento esperado ele não criar esse index por padrão já que sem ele cada select era uns 13 minutos. |
|
Obrigada por reportar. Realmente parece quebrada, vou investigar. Apenas algumas dicas:
Você pode baixar o repositório um commit anterior e não terá essa função que está dando problema 2ae1f78
Não precisa. Provavelmente teu processo teve outro erro, pois os índices são criados automaticamente.
Provavelmente você causou esse erro localmente assim:
Digo isso pois o fim do segundo passo exclui os dados do Badger no |
|
Você tem como testar com a branch do #256 para ver se resolve? |
|
Tentei aqui mas ao buildar com Docker Compose tive esse erro: |
|
Opa, falha minha. Esqueci de comitar e subir uma parte 🤦 Feito agora. |
|
Rodei com o sample e não tive nenhum erro, mas os dados que mencionei anteriormente seguem vazios. |
|
Isso pode ser efeito do
|
|
Entendi, vou refazer o download aqui pra garantir e rodar o transform com o banco completo. Assim que finalizar eu atualizo o status aqui, mas já te agradeço pelo projeto e sua disposição para nos ajudar. |
|
Bom dia, finalizou ontem por volta de 19h mas só parei pra ver agora. Finalizou sem erro mas os dados que mencionei interiormente seguem vazios e a tabela ficou com 102gb, única coisa que notei é que os logs da função Confirmei que a tabela de O que eu to criando é esse, pq sem esse ele não retorna nenhuma query ou requisição em menos de 10 minutos: Amostras: Banco completo: Então se a |
|
Duas coisas:
|
|
1: 19h quando sai do pc ele estava assim: Depois de ter terminar o 2: |
É referente à queda de conexão, mas não é “depois de finalizar o processo”, é antes — dado que faltam saídas no log/terminal como essa, por exemplo.
Vejo algumas diferenças mínimas nos tamanhos dos arquivos — de qual mês/ano são? O comando |
|
Acabei de configurar meu ssh pra nunca desconectar por inatividade, vou usar dessa forma para o próximo teste. updated_at.txt: Comando check: Edit: Sempre baixo direto do servidor oficial, se quiser posso testar também especificando o mirror. |
|
De fato (ainda) tem um bug. Consegui reproduzir aqui. Vou trabalhar nisso… te aviso aqui quando tiver novidade. Monitorando o diretório do Badger, ele vai ganhando tamanho: $ du -hd1 /var/folders/zb/0n9ntv254vq9zfhsvyq2g7680000gn/T/minha-receita-badger--20241029132503830925799
803M /var/folders/zb/0n9ntv254vq9zfhsvyq2g7680000gn/T/minha-receita-badger--20241029132503830925799Assim que passa do passo um para o dois, o tamanho é quase zerado: $ du -hd1 /var/folders/zb/0n9ntv254vq9zfhsvyq2g7680000gn/T/minha-receita-badger--20241029132503830925799
12K /var/folders/zb/0n9ntv254vq9zfhsvyq2g7680000gn/T/minha-receita-badger--20241029132503830925799Tentei comitar manualmente as escritas, mas não mudou nada. Então ainda não sei o que é… |
|
Acabei de refatorar uma parte e aqui funcionou com QSA e os outros dados. Podes testar mais uma vez para ver se aei vai também? Só confira se estais com o commit mais recente da branch do PR: 6628490 |
This comment was marked as off-topic.
This comment was marked as off-topic.
This comment was marked as off-topic.
This comment was marked as off-topic.
|
Update Ainda não tinha conseguido testar com esse novo commit e acabei colocando a transformação de dados pra rodar só agora pq pra fazer o teste limpo eu limpei a pasta de data pra fazer um novo download e passei a ter esse erro toda vez que tentava: Aparentemente o site da receita só está em manutenção faz 3 dias mesmo mas fiquei esperando com esperança que ia voltar, tentando baixar pelo mirror com o -m ficava bem lento então acabei precisando baixar manualmente no mirror e transferir os arquivos pro servidor via Mas basicamente é isso, só consegui testar a transformação de dados agora então quando finalizar eu te atualizo e por fim acho bom avisar que quando você baixa manualmente do mirror o arquivo |
This comment was marked as off-topic.
This comment was marked as off-topic.
Não tem nada que eu possa fazer com o orçamento atual, como documentado. No mais, peço para manter essa issue no assunto — “Erro ao acessar o Badger no inicio da segunda etapa do transform” como diz o título — mas se quiserem falar sobre o download, mais do que feliz em tratar em outra issue, só abrir ; ) |
|
Terminou de rodar ontem por volta de 15h mas acabei não tendo tempo de vir aqui trazer uma atualização.. Mas aparentemente tudo certo dessa vez, trouxe os campos que não estava trazendo antes e já consigo fazer as queries no banco sem precisar adicionar o index como estava fazendo anteriormente, único problema que tive foi a questão do arquivo Vou baixar o do mirror anterior, esperar o site da receita voltar ou se tiver ele ae e puder me mandar me ajudaria, mas referente ao tema do badger o issue pode ser fechado que o problema que eu estava tendo foi solucionado. Agora só pra finalizar eu to estudando bastante Go recentemente e me interessei demais por esse projeto aqui, provavelmente em breve eu tente fazer algumas contribuições, principalmente quanto ao tema de inscrições estaduais discutido em outro issue que me interessa e venho pesquisando bastante alternativas de consulta unificada. |
|
Perfeito : ) Querendo conversar sobre o projeto, só dar um alô, posso te ajudar a entender a base etc… |
Estou com o seguinte erro durante o transform :
Depois de 2 dias pesquisando e entendendo um pouco melhor de como o transform funciona mesmo sabendo quase nada de GO identifiquei que o erro acontecia ao iniciar a etapa 2 conforme descrito no arquivo CONTRIBUTING.
Pelo que identifiquei quando o StepTwo ao tentar abrir a conexão com o badger ele não consegue pois o StepOne não fecha a conexão ao finalizar.
db, err := badger.Open(opt.WithLogger(&badgerLogger{}))Então fechando a conexão ao final do StepOne (apenas copiando o comportamento do StepTwo) eu consegui rodar com os arquivos de sample sem o erro acontecer novamente e olhando o banco a única coisa que percebi de estranho foi que em todos o campo de "qsa" estava vazio, mas acredito que isso possa ser uma questão do arquivo de sample, acabei de colocar pra executar com os arquivos reais e assim que terminar também trago um feedback se necessário. Também queria saber qual o comportamento esperado do StepOne pra ele não fechar a conexão anteriormente e se eu ter adicionado esse comportamento pode ter algum impacto nos dados transformados.
Dados da máquina:
VM com ubuntu-server 24.04
Ram 16gb
Armazenamento 250gb
Executei o projeto apenas usando Docker, mas também tinha testado usando GO 1.23 antes de testar a questão de fechar a conexão mas tive o mesmo erro e voltei a usar o Docker.
The text was updated successfully, but these errors were encountered: