Import - MAJIC: détection automatique des fichiers dans le répertoire

[mdouchin]

Modification de la logique d'import des fichiers MAJIC:

• La configuration dans la boîte à outil permet maintenant de configurer des mots clés ou des expressions régulières pour trouver les fichiers MAJIC en fonction de leur type. Ce n'est plus un nom de fichier exact qui est attendu, mais une partie du nom (ou une liste de mots séparés par | par exemple.)
  
• Par défaut, ces expressions régulières permettent de trouver les fichiers MAJIC avec les nommages standard : <code_insee>_{BATI,FANR,LLOC,NBAT,PROP,PDLL}.txt ou ART.DC21.W<anneeYY><dept>0.<typefichier>.A<anneeYYYY>.N<numero_commande>
• Lors de l'import, le plugin trouve automatiquement les fichiers qui correspondent. L'utilisateur n'a donc plus besoin de renommer ses fichiers ni de modifier la configuration du plugin.

Ticket : #463
Financé par le CRAIG https://www.craig.fr/

[mdouchin]

@landryb Je veux bien que tu testes cette branche. Voir la description ci-dessus pour les changements.

[Gustry]

From the Python side, without tests, LGTM

[landryb]

j'ai testé rapidement et j'ai pu importer sans rien configurer avec les fichiers suivants:

• 38063_BATI.txt
• 38063_LLOC.txt
• 38063_NBAT.txt
• 38063_PDLL.txt
• 38063_PROP.txt
• 38_FANR.txt

puis un second essai sans fantoir, avec les fichiers suivants (nommages originaux de livraison)

• ART.DC21.W24150.BATI.A2024.N000648
• ART.DC21.W24150.LLOC.A2024.N000648
• ART.DC21.W24150.NBAT.A2024.N000648
• ART.DC21.W24150.PDLL.A2024.N000648
• ART.DC21.W24150.PROP.A2024.N000648

j'ai bien eu le message d'erreur attendu:

Des fichiers MAJIC importants sont manquants : fanr
Vérifier le chemin des fichiers MAJIC :
/home/landry/datas/cadastreqgis/majic/15
ainsi que les mots recherchés pour chaque type de fichier configurés dans les options du plugin Cadastre :
BATI, FANTOIR|FANR, LLOC|D166, NBAT, PDL, PROP

une fois téléchargé/décompressé FANR_15.txt, les fichiers ont bien été trouvés/importés. j'ai eu une memoryError sur le dept complet par contre..

File "/home/landry/.local/share/QGIS/QGIS3/profiles/default/python/plugins/cadastre/cadastre_import.py", line 595, in import_majic_file_into_database
for a in self.chunk(fin, self.maxInsertRows):
MemoryError

a mieux gérer ? il me semble que jusqu'ici je n'avais pas eu de souci pour importer un dept complet dans spatialite, et dans mon test c'était majic seul, sans edigeo.. e tj'ai les réglages par défaut pour le nb de lignes et le stockage temporaire en mémoire..d'ailleurs, estce que le n=100000 hardcodé ne devrait pas reprendre la valeur de cadastre/maxInsertRows dans la fonction chunk ?

on peut peut-etre juste améliorer la clarté du message d'erreur, si il manque juste 'fanr' n'afficher que le motif pour ce dernier, plutôt que tous les motifs ?

je vois que la regex est utilisée dans get_available_majic_files et ca a bien fonctionné dans les 2 cas testés.

la capture d'écran à jour a aussi un nouveau champ 'TOPO' j'imagine pour une autre PR.. :D

[mdouchin]

Merci pour le retour détaillé. Je corrige et repousse