Entender como está os valores de alugueis de imoveis residênciais em algumas cidades de Santa Catarina, utilizando o site Zap Imoveis como fonte de dados.
Obs.: A arquitetura foi criada nos serviços do google cloud platform
-
Task 1: executa um operator que faz o scraping no site Zap Imoveis, faz um pequeno tratamento, formatando os valores e salva localmente os dados em formato CSV, o scraping são das primeiras 50 paginas de cada cidade.
-
Task 2: O operator envia o CSV salvo localmente e persiste em um bucket no google data storage.
-
Task 3: O operator salva os dados que estão salvo no storage e salva em uma tabela do BigQuery, a tabela é limpa a cada execução da DAG e persiste os novos dados.
O link para o google data studio: Mercado de aluguel de imovel em Santa Catarina: Google Data Studio