Kleinteiligere Queue nach Download

[the-infinity]

Aktuell ist ein Queue-Eintag "Synce eine Stadt" oder "Generiere ElasticSearch einer Stadt". Das macht beim Downloaden selbst schon Sinn, weil die Anzahl Requests gegen einen Server eh limitiert werden muss, danach macht es aber weniger Sinn und ist oft unpraktisch, weil dann im Folge-Queue-Eintrag oft Infos fehlen. Es wäre also eine Überlegung wert, den großen Download in einer Queue zu belassen und dann im Anschluss eine rabbitmq Celery Queue zu machen, die dann kleinteilig Aufträge übernimmt (wie zum Beispiel: "mache Thumbnail für dieses eine File" oder "ES-Indexiere dieses eine Dokument").