Google Map API에서 찾지 못하는 가게들에 대한 log 파일 생성 (#49)

[sungjindev]

⭐️ Issue Number

• Google Map API에서 찾지 못하는 가게들에 대한 log 파일 생성 #49

🚩 Summary

각 정부 지자체 Excel dataset마다 가게 이름 및 주소의 format이 다르고 잘못 기입된 데이터 등의 오류가 존재하여 Google Map API에서 해당 가게의 이름과 주소로 검색시 끝내 올바르게 검색이 되지 않는 경우가 있습니다.

이는 크게 2가지의 문제로 나타나게 되는데 그 문제들은 다음과 같습니다.

1. 정확도를 높이기 위해 여러번 주소를 후처리하여 검색했음에도 불구하고, Google Map API에서 끝내 해당 가게를 찾지 못하는 경우
2. Google Map API에서 가게를 찾았는데 해당 가게가 아니고 근방의 비슷한 이름 혹은 종류의 가게를 찾는 경우

여기서 두 번째 문제의 경우 가게를 찾은 것으로 간주되어 Database 상에도 실제로 잘못된 가게가 들어가게 됩니다. 이게 잘못된 가게인지를 판단하기 위한 자동화된 검증 로직을 갖추기에는 문제가 있습니다. 왜냐하면, 제가 검색한 가게가 맞는지 아닌지를 "정확하게" 확인하려면 단순히 텍스트 대치를 통한 비교 정도의 수준으로 검증이 가능한 것이 아니라 실제 Google Map에 여러 차례 검색을 해보고 해당 가게 맞는지 인간 정도의 사고를 통한 검증이 필요합니다.

그나마 다행인건, 가게 검색이 올바르게 되었는지 판단하는 로직을 다소 엄격하게 구현해 놓아서 Google Map 검색 결과 매핑되는 가게가 딱 1개일 때만 올바른 가게라고 판단하고 있습니다. 그래서, 실제로 여러 차례 검증 이후 끝내 잘못된 가게가 딱 1개 특정되서 매핑될 일은 드뭅니다. 하지만, 이런 상황이 전혀 안일어나는 것은 아니기 때문에 이 부분에 대한 검증을 사용자의 잘못된 정보 수정 요청이나 다른 로직을 통해 점차 개선해나가야 될 것 같습니다.

그래서 당장 이번 이슈에서 진행할 것은 첫 번째 문제와 관련하여 끝내 1개의 결과로 매핑되는 가게를 찾지 못해서 Database에 저장되지 못하고 그냥 지나친 가게들을 logging하여 나중에 데이터 무결성(정확성)을 검증할 때 해당 logging 파일을 활용할 수 있도록 하고자합니다.

• 각 인증제별 GoogleMapService에서 끝내 Google Map 상 특정 가게 1개로 매핑되지 못할 경우 해당 가게 이름과 검색된 가게 이름을 함께 logging
• log 파일 이름은 "현재시각_사용한 데이터셋 파일 이름(_보유 dollars_탐색 시작 위치)"로 저장
• log 파일 이름의 "(_보유 dollars_탐색 시작 위치)" 는 특정 메서드에서만 사용되는 optional 값

📋 To Do

• GCS 관련 api 구현
• Swagger Docs에 descriptions 작성

[github-actions]

Test Results

11 tests  ±0   11 ✅ ±0   13s ⏱️ -5s
 8 suites ±0    0 💤 ±0 
 8 files   ±0    0 ❌ ±0 

Results for commit 77bd3ad. ± Comparison against base commit 4ba9c6b.

♻️ This comment has been updated with latest results.

[jinhoon227]

승인합니다!

로깅된 가게들은 나중에 사람이 직접 확인할 계획인가요?

[sungjindev]

승인합니다!

로깅된 가게들은 나중에 사람이 직접 확인할 계획인가요?

넵넵 맞습니다! 위에 언급된 이유와 같은 이유로 현재는 사람의 판단이 있어야 정확한 검증이 가능해서 그렇게 진행할 것 같아요~