Refactor/#34 주차장 데이터 삽입 성능개선 및 외부 api 장애 발생시 처리 로직 추가 #86

This2sho · 2024-06-09T10:46:33Z

👍관련 이슈

close: refactor: 주차장 저장 쿼리 변경 #34

🤔세부 내용

주차장 batch insert 쿼리로 변경
- 기존 저장 시간 16초에서 4초로 개선
주차장 데이터 읽어올 때 api 비동기 처리로 변경
- 전국 주차장 데이터 기준 약 2분 30초에서 23초로 개선
외부 api 장애 발생시 처리
- 커낵션 타임 아웃, 리드 타임 아웃 설정
- 재시도 처리 추가
- 본 요청 시작 전, 헬스 체크 요청
- 요청의 특정 %가 예외로 처리되면 해당 api 요청 중지, 이후 특정 시간이 지나면 다시 요청 보낼 수 있도록 설정

🫵리뷰 중점사항

…삽입_성능개선 # Conflicts: # app-scheduler/src/main/java/com/parkingcomestrue/external/scheduler/ParkingUpdateScheduler.java # app-scheduler/src/test/java/com/parkingcomestrue/external/scheduler/ParkingUpdateSchedulerTest.java

github-actions · 2024-06-09T11:33:11Z

Test Results

135 tests 135 ✅ 14s ⏱️
32 suites 0 💤
32 files 0 ❌

Results for commit 879a941.

♻️ This comment has been updated with latest results.

jobisDonghyuk

건호형 고생하셨습니당!_!

jobisDonghyuk · 2024-06-09T13:30:24Z

app-scheduler/src/main/java/com/parkingcomestrue/external/api/ApiCounter.java

+    private final double MIN_TOTAL_COUNT;
+
+    private double totalCount;
+    private double errorCount;
+    private boolean isClosed;


double 인 이유가 있을까요? 정수형 같아보여서용!

그렇네여.. 수정했습니다!

jobisDonghyuk · 2024-06-09T13:31:14Z

app-scheduler/src/main/java/com/parkingcomestrue/external/api/ApiCounter.java

+    public synchronized void countUp() {
+        totalCount++;
+    }
+
+    public synchronized void errorCountUp() {
+        totalCount++;
+        errorCount++;
+    }


synchronized keyword vs AtomicInteger 어떤 차이가 있고 성능적으로 차이가 날까요?

서버 한대 상황에서 synchronized를 사용하면 간단할거 같아서 이렇게 적용했는데
찾아보니 AtomicInteger를 사용하면 락 없이도 여러 스레드에서 사용할 수 있네요!
AtomicInteger로 수정했습니다~!

jobisDonghyuk · 2024-06-09T13:32:03Z

app-scheduler/src/main/java/com/parkingcomestrue/external/api/AsyncApiExecutor.java

+public class AsyncApiExecutor {
+
+    private static final ExecutorService executorService = Executors.newFixedThreadPool(100, (Runnable r) -> {
+                Thread thread = new Thread(r);
+                thread.setDaemon(true);
+                return thread;
+            }
+    );
+
+    public static <U> CompletableFuture<U> executeAsync(Supplier<U> supplier) {
+        return CompletableFuture.supplyAsync(supplier::get, executorService);
+    }
+}


해당 부분 configuration으로 정의하고 bean으로 써도 되지 않을까요?

좋습니다~!

jobisDonghyuk · 2024-06-09T13:36:07Z

...scheduler/src/main/java/com/parkingcomestrue/external/respository/ParkingBulkRepository.java

+    public void saveAllWithBulk(List<Parking> parkingLots) {
+        String sql = "INSERT INTO parking "
+                + "(base_fee, base_time_unit, extra_fee, extra_time_unit, day_maximum_fee, "
+                + "capacity, current_parking, "
+                + "holiday_begin_time, holiday_end_time, holiday_free_begin_time, holiday_free_end_time, "
+                + "saturday_begin_time, saturday_end_time, saturday_free_begin_time, saturday_free_end_time, "
+                + "weekday_begin_time, weekday_end_time, weekday_free_begin_time, weekday_free_end_time, "
+                + "created_at, updated_at, "
+                + "address, name, tel, operation_type, parking_type, pay_types, location) "
+                + "VALUES "
+                + "(?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ST_GeomFromText(?))";
+
+        jdbcTemplate.batchUpdate(
+                sql,
+                parkingLots,
+                parkingLots.size(),
+                PARKING_PARAMETERIZED_PREPARED_STATEMENT_SETTER
+        );


굿 이네요 이런식으로 많이 배치인서트 하는 것 같아요

근데 이렇게 하면 문자열이 문자열 풀에 넣어서 쓸때 마다 가져다 쓰나요? 아니면 항상 힙에 새로 할당하나요 ?

연산이 들어가 있어서 궁금하네요.

이어지는것들이 새로운 String 변수로 만들어진다고 해도 처음 생성된 다음에는 다 풀에서 가져올거같은 느낌적인 느낌이 드는데요

전체 다 합쳐진 sql은 풀에 들어가서 새로 생성하진 않네유

youngh0

고생하셨슴다~

youngh0 · 2024-06-09T16:25:23Z

app-scheduler/src/main/java/com/parkingcomestrue/external/api/ApiCounter.java

+        this.totalCount = 0;
+        this.errorCount = 0;
+        this.isClosed = false;
+    }


얘네는 private double totalCount = 0; 이렇게 선언해도 무방할듯하네요. 이렇게 가도 좋습니다~

youngh0 · 2024-06-09T16:28:45Z

app-scheduler/src/main/java/com/parkingcomestrue/external/api/ApiCounter.java

+    public boolean isErrorRateOverThan(double errorRate) {
+        if (totalCount < MIN_TOTAL_COUNT) {
+            return false;
+        }
+        double currentErrorRate = errorCount / totalCount;
+        return currentErrorRate >= errorRate;
+    }


요 부분에서 사용하는 totalCount 를 다른 메서드에서 조작하기 때문에 syncronized 하게 실행해도 괜찮을거같네요.

예를 들어, if 문을 통과하고 return false; 를 하기 전에 다른 스레드에서 countUp 을 호출하는 경우??

해당 케이스를 생각 못했네유..
synchronized 키워드 대신 AtomicInteger 이점이 많은 거 같아서 요걸로 수정했습니다.

youngh0 · 2024-06-09T16:30:21Z

app-scheduler/src/main/java/com/parkingcomestrue/external/api/ApiCounter.java

+        errorCount++;
+    }
+
+    public void reset() {


요게 서킷 open 하는 역할인가요??

넴 초기(정상) 상태로 돌리는 용도입니다

youngh0 · 2024-06-09T16:34:15Z

app-scheduler/src/main/java/com/parkingcomestrue/external/api/CircuitBreakerAspect.java

+    @Around("@annotation(annotation)")
+    public Object around(ProceedingJoinPoint proceedingJoinPoint, CircuitBreaker annotation) {
+        ApiCounter apiCounter = getApiCounter(proceedingJoinPoint, annotation.minTotalCount());
+        if (apiCounter.isClosed()) {


제가 알기론 close 가 정상상태로 알고 있습니다. 그래서 isOpen() 이 일반적인 서킷브레이커 패턴에서 사용하는 네이밍일거같슴다

오홍 그렇네요! 수정했습니다~

- close 대신 open 이라는 네이밍으로 변경

This2sho added 10 commits May 17, 2024 17:52

fix: 회원가입 및 비밀번호 조회시에 로그인 필요 없도록 인증코드도 추가

06f795f

feat: 주차장 batch로 insert 구현

e906096

feat: 주차장 데이터 비동기로 읽어오도록 변경

fde58fa

feat: 커낵션 타임 아웃, 리드 타임 아웃 및 실패시 재시도 로직 추가

2c41564

feat: 헬스 체크 추가

9d06db0

feat: 서킷 브레이커 패턴 구현

472db69

feat: 헬스 체크 구현 및 api 패키지로 이동

d3391e6

feat: 서킷 브레이커 어노테이션 적용

7e783ef

refactor: 테스트용 log 삭제

59b7bfd

This2sho added 🪓refactor 기능 수정 🎅🏼deploy 해당 PR 머지시 배포 labels Jun 9, 2024

This2sho requested review from youngh0 and jundonghyuk June 9, 2024 10:46

This2sho self-assigned this Jun 9, 2024

This2sho added 2 commits June 9, 2024 20:15

test: thread sleep 대신 future get 사용

90d5d67

fix: 테스트시 flyway 안돌도록 수정

78ababc

jobisDonghyuk approved these changes Jun 9, 2024

View reviewed changes

youngh0 approved these changes Jun 9, 2024

View reviewed changes

This2sho added 7 commits June 11, 2024 04:46

refactor: ExecutorService Bean으로 사용하도록 변경

81e989e

refactor: synchronized 키워드 대신 AtomicInteger 사용하도록 변경

dc4ae8e

- close 대신 open 이라는 네이밍으로 변경

refactor: HealthCheckResponse 패키지 이동

017a847

refactor: HealthCheckResponse 패키지 이동

7ba4298

fix: 좌표계 지정

270e6a2

refactor: 생성, 수정일 직접 넣도록 수정

4b85021

refactor: 운영 시간 표현 방식 변경

879a941

This2sho added the 🪲bugfix 버그 수정 label Jun 13, 2024

This2sho merged commit a138079 into main Jun 13, 2024
3 checks passed

This2sho deleted the Refactor/#34_주차장_데이터_삽입_성능개선 branch June 13, 2024 18:14

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Refactor/#34 주차장 데이터 삽입 성능개선 및 외부 api 장애 발생시 처리 로직 추가 #86

Refactor/#34 주차장 데이터 삽입 성능개선 및 외부 api 장애 발생시 처리 로직 추가 #86

This2sho commented Jun 9, 2024

github-actions bot commented Jun 9, 2024 •

edited

Loading

jobisDonghyuk left a comment

jobisDonghyuk Jun 9, 2024

This2sho Jun 10, 2024

jobisDonghyuk Jun 9, 2024

This2sho Jun 10, 2024

jobisDonghyuk Jun 9, 2024

This2sho Jun 10, 2024

jobisDonghyuk Jun 9, 2024

jobisDonghyuk Jun 9, 2024

youngh0 Jun 9, 2024

This2sho Jun 10, 2024

youngh0 left a comment

youngh0 Jun 9, 2024

youngh0 Jun 9, 2024

This2sho Jun 10, 2024

youngh0 Jun 9, 2024

This2sho Jun 10, 2024 •

edited

Loading

youngh0 Jun 9, 2024

This2sho Jun 10, 2024

Refactor/#34 주차장 데이터 삽입 성능개선 및 외부 api 장애 발생시 처리 로직 추가 #86

Refactor/#34 주차장 데이터 삽입 성능개선 및 외부 api 장애 발생시 처리 로직 추가 #86

Conversation

This2sho commented Jun 9, 2024

👍관련 이슈

🤔세부 내용

🫵리뷰 중점사항

github-actions bot commented Jun 9, 2024 • edited Loading

Test Results

jobisDonghyuk left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

youngh0 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

This2sho Jun 10, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

github-actions bot commented Jun 9, 2024 •

edited

Loading

This2sho Jun 10, 2024 •

edited

Loading