[FEAT] 버스위치정보 수집 스케줄러 및 버스 통계 서비스 구현 #114

Gyaak · 2024-08-23T14:49:31Z

버스위치정보 수집 스케줄러 기능 추가

api call 리트라이 로직 추가
api call 병렬로 처리

버스 통계 서비스 구현

버스 위치정보 가공 로직 구현 (BusLocationProcessor)
버스 노선-정거장 통계 조회 구현 (BusViewService)

Todo

bus 패키지 구조 리팩토링 : 정적 데이터(정거장 노선 정보), 버스 위치 정보, 버스 통계 등 분리 필요

close #89
close #113

server/build.gradle

server/src/main/java/com/talkka/server/bus/service/BusLocationService.java

JuneParkCode · 2024-08-23T16:04:32Z

server/src/main/java/com/talkka/server/bus/enums/EndBus.java

@@ -7,7 +7,7 @@
 @Getter
 public enum EndBus implements EnumCodeInterface {
 	// "0 = RUNNING" or "1 = END"
-	RUNNING("0"), END("1"), LENT_BUS_END("4");
+	RUNNING("0"), END("1"), END_BUS_CODE2("2"), LENT_BUS_END("4");


눈물나는데 답이 따로 없네요. 나중에 찾아보고 변경해봅시다

월요일에 전화한번 해보죠...
대체 이게 뭐냐고...

server/src/main/java/com/talkka/server/bus/dao/BusStatEntity.java

server/src/main/java/com/talkka/server/bus/service/BusLocationCollectService.java

server/src/main/java/com/talkka/server/bus/service/LocationCollectingScheduler.java

ss0ngcode · 2024-08-24T02:15:57Z

server/src/main/java/com/talkka/server/api/datagg/service/SimpleBusApiService.java

@@ -58,14 +57,10 @@ public List<BusRouteInfoBodyDto> getRouteInfo(String apiRouteId) throws ApiClien
 		params.add("routeId", apiRouteId);
 		try {
 			URI uri = this.getOpenApiUri(path, params);


아래 로직으로 변경됨에 따라 삭제 필요

ss0ngcode · 2024-08-24T02:24:41Z

server/src/main/java/com/talkka/server/bus/dao/BusLocationRepository.java

+	@Query(value = "select count(*) from bus_location  l")
+	Integer getRowNum();
+


해당 쿼리에서 l 별칭이 필요 없어 보입니다!

수정하겠습니다.

ss0ngcode · 2024-08-24T02:32:39Z

server/src/main/java/com/talkka/server/bus/service/BusStatService.java

+import com.talkka.server.bus.dao.BusStatEntity;
+import com.talkka.server.bus.dao.BusStatRepository;
+
+import jakarta.transaction.Transactional;


해당 어노테이션도 jakarta로 되어있어서 수정 필요

수정하겠습니다.

JuneParkCode · 2024-08-24T05:53:18Z

server/src/main/java/com/talkka/server/api/datagg/service/SimpleBusApiService.java

@@ -121,4 +100,31 @@ private URI getOpenApiUri(String path, MultiValueMap<String, String> params) {
 			.queryParams(params)
 			.build();
 	}
+
+	// 리트라이 로직을 포함한 api call
+	private <T> ResponseEntity<T> apiCallWithRetry(String path, MultiValueMap<String, String> params,


이 친구 Abstract class도 빼도 좋을 것 같아요.

리팩토링 진행 하면서 별도 클래스로 분리해 빈으로 등록하는것 고려중입니다.

JuneParkCode · 2024-08-24T05:54:00Z

server/src/main/java/com/talkka/server/api/datagg/service/SimpleBusApiService.java

+		final int MAX_ATTEMPTS = 10;
+		final int RETRY_INTERVAL = 200;


MAX_ATTEMPS 3회정도면 충분해보입니다! 다른 파트에서 주입할 수 있으면 더 좋을듯...?

이건 이번주말에 분리하도록 리팩토링할 예정이라 그때 수정하도록 하겠습니다.

JuneParkCode · 2024-08-24T05:54:55Z

server/src/main/java/com/talkka/server/bus/service/BusStatService.java

+	// old logic
+	// @Deprecated
+	// @Transactional
+	// public void process() {
+	// 	List<Integer> apiCallNoList = busLocationRepository.getDistinctApiCallNoList();
+	// 	apiCallNoList.sort(Comparator.naturalOrder());
+	// 	Map<String, BusLocationEntity> prev = new HashMap<>();
+	// 	System.out.println(apiCallNoList);
+	// 	for (Integer apiCallNo : apiCallNoList) {
+	// 		Map<String, BusLocationEntity> cur = new HashMap<>();
+	// 		List<BusLocationEntity> locationList = busLocationRepository.findByApiCallNo(apiCallNo);
+	// 		for (BusLocationEntity location : locationList) {
+	// 			BusLocationEntity beforeLocation;
+	// 			if ((beforeLocation = prev.get(location.getPlateNo())) != null
+	// 				// 두정거장 이상 넘어가면 체크하지 않음
+	// 				&& location.getStationSeq() - beforeLocation.getStationSeq() <= 1 && (
+	// 				location.getRemainSeatCount() != -1 && beforeLocation.getRemainSeatCount() != -1)) {
+	// 				BusStatEntity statEntity = toBusStatEntity(beforeLocation, location);
+	// 				busStatRepository.save(statEntity);
+	// 			}
+	// 			cur.put(location.getPlateNo(), location);
+	// 		}
+	// 		prev = cur;
+	// 	}
+	// }


보존 안해도되면 삭제해도 될 듯 싶습니다.

혹시 몰라서 냅두겠습니다.

JuneParkCode · 2024-08-24T15:09:46Z

server/src/main/java/com/talkka/server/bus/dto/BusStatRespDto.java

+	Integer dayOfWeek,
+	Integer hour,
+	Integer minute,


이 부분들은 나중에 Refactoring 할 때 조금 더 엄밀하게 VO 로 체크되면 좋을 것 같아요.

JuneParkCode · 2024-08-24T15:13:07Z

server/src/main/java/com/talkka/server/bus/dto/BusStatRespDto.java

+	Long statId,
+	Long routeId,
+	Long stationId,
+	String apiRouteId,
+	String apiStationId,
+	Integer beforeSeat,
+	Integer afterSeat,
+	Integer seatDiff,
+	LocalDateTime beforeTime,
+	LocalDateTime afterTime,
+	String plateNo,
+	PlateType plateType,
+	Integer dayOfWeek,
+	Integer hour,
+	Integer minute,


너무 다 던지는 느낌이 있어서 (일단은 이것도 쓸수도...?) 나중에 필요한 부분만 빼다가 보여주는게 필요합니다

예를 들어,
7800 - 성균관대 - 현재시각(07:00) 의 "들어오는 좌석수"를 요청하면
06:30 ~ 07:30 의 "들어오는 좌석수" - "시간" 의 배열 반환이면 충분합니다.

이런 식으로 해당 정류장에서 몇 명이 타는지... 이런 데이터들을 표현해야합니다.

JuneParkCode · 2024-08-28T05:18:03Z

server/src/main/java/com/talkka/server/bus/controller/BusLocationProcessController.java

+	private final BusLocationProcessor busLocationProcessor;
+	private final BusLocationRepository busLocationRepository;
+
+	@PostMapping("/process/all")


admin 권한 필요 (bus쪽은 공개되어있습니다.)

관리자페이지 완성 후 adminController로 옮길 예정입니다.

JuneParkCode · 2024-08-28T05:18:38Z

server/src/main/java/com/talkka/server/bus/controller/BusViewController.java

+public class BusViewController {
+	private final BusViewService busViewService;
+
+	@GetMapping("/now")


View 라는 이름이 모호하다고 생각합니다.

해당 부분은 다른 controller 를 통하게 될 것임. 테스트용 임시 컨트롤러로 유지하고 이후 작업에서 변경하도록 할 것임.

JuneParkCode · 2024-08-28T05:19:12Z

server/src/main/java/com/talkka/server/bus/controller/BusViewController.java

+	public ResponseEntity<BusViewDto> getNow(
+		@RequestParam(name = "routeStationId", required = false, defaultValue = "17499") Long routeStationId,
+		@RequestParam(name = "stationNum", required = false, defaultValue = "5") Integer stationNum,
+		@RequestParam(name = "timeRange", required = false, defaultValue = "45") Integer timeRange,
+		@RequestParam(name = "week", required = false, defaultValue = "2") Long week
+	) {


해당 controller 임시로 둔 것으로 이해해도 될까요? (추후에 제가 수정하게 되는 컨트롤러)

네 맞습니다. 프론트에 맞춰서 수정하시면 됩니다.

JuneParkCode · 2024-08-28T05:19:54Z

server/src/main/java/com/talkka/server/bus/dao/BusLocationEntity.java

@@ -60,7 +60,7 @@ public class BusLocationEntity {
 	private PlateType plateType;

 	@Column(name = "remain_seat_count", nullable = false)
-	private Short remainSeatCount;
+	private Integer remainSeatCount;


변경되면서 다른 쪽에서 터질 수 있을 것 같은데 염두에 두겠습니다!

추후 리팩토링 예정

JuneParkCode · 2024-08-28T05:20:53Z

server/src/main/java/com/talkka/server/bus/dao/BusRemainSeatEntity.java

+	@ManyToOne(fetch = FetchType.LAZY)
+	@JoinColumn(name = "route_id", nullable = false)
+	private BusRouteEntity route;
+
+	@ManyToOne(fetch = FetchType.LAZY)
+	@JoinColumn(name = "station_id", nullable = false)
+	private BusStationEntity station;
+
+	@Column(name = "station_seq", nullable = false)
+	private Integer stationSeq;
+
+	@Column(name = "empty_seat", nullable = false)
+	private Integer emptySeat;
+
+	@Column(name = "plate_no", nullable = false, length = 32)
+	private String plateNo;
+
+	@Column(name = "plate_type", nullable = false, length = 1)
+	@Convert(converter = PlateTypeConverter.class)
+	private PlateType plateType;
+
+	@Column(name = "created_at", nullable = false)
+	private LocalDateTime createdAt;
+
+	@Column(name = "epoch_day", nullable = false)
+	private Long epochDay;
+
+	@Column(name = "time", nullable = false)
+	private Integer time;
+
+	@ManyToOne(fetch = FetchType.LAZY)
+	@JoinColumn(name = "route_info_id")
+	private BusPlateStatisticEntity routeInfo;


실제로 많이 가져올 일이 없어 LAZY 뒀다고 생각해도 될까요

네 맞습니다. 보통 BusRemainSeatEntity에서 BusPlateStatisticEntity를 조회하는 경우가 별로 없어 LAZY로 설정했습니다.

JuneParkCode · 2024-08-28T05:22:37Z

server/src/main/java/com/talkka/server/bus/dto/BusRemainSeatDto.java

+	@Getter
+	@AllArgsConstructor
+	private static class SeatInfo implements Serializable {
+		LocalDateTime arrivedTime;
+		Integer remainSeat;
+	}


따로 이렇게 두신 이유가 궁금합니다..!

Serializable은 삭제했습니다.
arrivedTime과 remainSeat을 한쌍으로 묶어 json으로 내보내기 위해 inner class를 추가했습니다.

이후에 open api docs로 잘 빠지는지 확인 필요...

JuneParkCode · 2024-08-28T05:23:28Z

server/src/main/java/com/talkka/server/bus/dto/BusRemainSeatDto.java

+			remainSeatList.add(new SeatInfo(seat.getCreatedAt(), seat.getEmptySeat()));
+		}
+		if (!seats.isEmpty()) {
+			standardTime = seats.get(seats.size() >> 1).getCreatedAt();


요기는 어떤 의미를 가지고 있는지 궁금합니다.

요청한 정거장 기준으로 앞뒤로 빈좌석과 도착시간 등을 조회하게 되는데,
이때 기준이 된 정거장에 도착한 시간을 얻는 코드입니다.
총 정거장의 개수가 항상 홀수이고, 기준이 된 정거장이 중앙에 위치하기 때문에 size/2 중앙 정거장의 인덱스를 가져올 수 있습니다.

seats -> 변수명으로부터 list 임이 잘 와닿지 않아, 37번 라인의 의미 해석이 어렵습니다.

비슷한 문제로 seats.size() 부분이 해당 배열의 크기를 구한다는 의미임을 처음에 인지하지 못하는 문제가 있었습니다.

shift 연산자로 표현하는 것이 가독성이 굉장히 좋지 않았습니다.

결과적으로 seats.get(seats.size() >> 1) 부분은 배열의 중간 요소를 구한다 라는 의미의 method로 분리하는 것이 조금 더 잘 읽힐 것 같습니다.

seats.size() >> 1 또한 왜 해당 행위를 해야하는 지에 대해서 의미적으로 잘 전달되지 않아, private method 화 하는 것이 어떨까 제안드립니다.

JuneParkCode · 2024-08-28T05:25:10Z

server/src/main/java/com/talkka/server/bus/service/BusLocationProcessor.java

+			if (location.getRemainSeatCount() == -1) {
+				continue;
+			}
+			try {
+				if (locationMap.containsKey(location.getPlateNo())) {
+					var dq = locationMap.get(location.getPlateNo());
+					if (!dq.isEmpty() && location.getStationSeq() < dq.peekLast().getStationSeq()) {
+						process(dq);
+						dq = new ArrayDeque<>();
+						locationMap.put(location.getPlateNo(), dq);
+					}
+					dq.add(location);
+				} else {
+					Deque<BusLocationEntity> dq = new ArrayDeque<>();
+					dq.add(location);
+					locationMap.put(location.getPlateNo(), dq);
+				}
+			} catch (InvalidLocationNotFoundException e) {
+				log.warn("버스 위치정보 가공 실패 locationId : {}, apiRouteId : {}, apiStationId : {}, plateNo : {} ",
+					location.getBusLocationId(),
+					location.getApiRouteId(),
+					location.getApiStationId(),
+					location.getPlateNo());
+			}
+		}


나중에 리팩토링 꼭 필요합니다. depth가 너무 깊네요.

JuneParkCode · 2024-08-28T05:25:28Z

server/src/main/java/com/talkka/server/bus/service/BusLocationProcessor.java

+	 *                  이 정보는 특정 버스에 대한 다양한 정거장에서의 위치 데이터를 포함합니다.
+	 */
+	private void process(Deque<BusLocationEntity> locations) {
+		assert locations.peek() != null;


이 부분 확실한 부분인가요?

네 process 호출 전 locations가 empty인지 확인합니다.

JuneParkCode · 2024-08-28T05:29:10Z

server/src/main/java/com/talkka/server/common/util/TimeSlotTypeConverter.java

+@Converter(autoApply = true)
+public class TimeSlotTypeConverter extends EnumCodeConverter<TimeSlot> {
+	public TimeSlotTypeConverter() {
+		super(TimeSlot.class);
+	}
+}


사용하는 Entity에서 왜 이렇게 저장하는지를 명시해주시면 좋을 것 같습니다.

TimeSlot 별로 집계 할 때 사용했었는데 집계 방식이 변경되어 사용하지 않게 되었습니다.
Converter삭제 및 TimeSlot enum 롤백 했습니다.

JuneParkCode · 2024-08-28T06:15:33Z

server/src/main/java/com/talkka/server/bus/dto/BusRemainSeatDto.java

+			remainSeatList.add(new SeatInfo(seat.getCreatedAt(), seat.getEmptySeat()));
+		}
+		if (!seats.isEmpty()) {
+			standardTime = seats.get(seats.size() >> 1).getCreatedAt();


seats -> 변수명으로부터 list 임이 잘 와닿지 않아, 37번 라인의 의미 해석이 어렵습니다.

비슷한 문제로 seats.size() 부분이 해당 배열의 크기를 구한다는 의미임을 처음에 인지하지 못하는 문제가 있었습니다.

shift 연산자로 표현하는 것이 가독성이 굉장히 좋지 않았습니다.

결과적으로 seats.get(seats.size() >> 1) 부분은 배열의 중간 요소를 구한다 라는 의미의 method로 분리하는 것이 조금 더 잘 읽힐 것 같습니다.

seats.size() >> 1 또한 왜 해당 행위를 해야하는 지에 대해서 의미적으로 잘 전달되지 않아, private method 화 하는 것이 어떨까 제안드립니다.

JuneParkCode

LGTM

Gyaak added 7 commits August 23, 2024 22:28

feat : EndBus enum 수정 - 코드2 추가

b8f697b

feat : BusRouteEntity 연관관계 수정

68d1ce4

feat : BusLocation 스케줄러 기능 추가 - 병렬처리, 재시도 로직

9df9f2d

feat : BusLocation 스케줄러 기능 추가 - 병렬처리, 재시도 로직

bc69ecd

feat : 버스 위치 데이터 가공을 위한 메소드 추가

3f6907f

feat : Spring retry 의존성 추가

f9b4e32

feat : 버스 통계 서비스 구현

5325d66

Gyaak added ⌨️ BE Backend 작업 ✨ feat 기능 개발과 관련된 라벨입니다. labels Aug 23, 2024

Gyaak requested review from JuneParkCode and ss0ngcode August 23, 2024 14:49

Gyaak self-assigned this Aug 23, 2024

Gyaak closed this Aug 23, 2024

Gyaak reopened this Aug 23, 2024

Gyaak closed this Aug 23, 2024

Gyaak reopened this Aug 23, 2024

Gyaak changed the title ~~[FEAT] 버스 통계 서비스 구현~~ [FEAT] 버스위치정보 수집 스케줄러 및 버스 통계 서비스 구현 Aug 23, 2024

JuneParkCode reviewed Aug 23, 2024

View reviewed changes

ss0ngcode reviewed Aug 24, 2024

View reviewed changes

Gyaak added 3 commits August 24, 2024 13:11

feat : @transactional 의존성 수정

a1b6ccd

feat : query - table alias 수정

f5b8467

feat : 중복 로직 제거

f2abdea

JuneParkCode reviewed Aug 24, 2024

View reviewed changes

Gyaak added 5 commits August 24, 2024 19:28

BusStatEntity 식별을 위한 별도 메소드 생성 및 PK 기준으로 equals&hashcode 오버라이드

d5ec6de

BusStat 조회 서비스 구현

e3a9e78

BusStat 조회 서비스 구현

74bf4aa

3003번 율정중학교 정거장 추가

108ad1d

BusStat 조회 구현

a2d0031

BusStat 조회 구현

64370f1

JuneParkCode reviewed Aug 24, 2024

View reviewed changes

Gyaak added 9 commits August 25, 2024 01:17

현재 시간 기준으로 버스 통계 조회 로직 구현

ad071bc

현재 시간 기준으로 버스 통계 조회 로직 구현

0077439

3시 기준으로 요일 변경되도록 수정

46e3c10

주석 및 로직 수정

7e60395

날짜가 바뀌는 시점의 통계 조회 로직 수정

2f3cadd

refactor : TimeSlot 리팩토링

be61855

feat : 버스 위치 정보 가공 기능 구현

675d2a9

feat : 버스 통계 조회 기능 구현

5dc73ce

feat : 버스 통계 조회 기능 구현

b2a3724

JuneParkCode reviewed Aug 28, 2024

View reviewed changes

Gyaak added 4 commits August 28, 2024 15:03

refactor : TimeSlot 롤백

2cc5b95

refactor : TimeSlot 롤백

d7fead6

refactor : 불필요한 Serializable 삭제

8d7fa40

refactor : 테스트용 컨트롤러 명시 주석 추가

0eaf961

JuneParkCode suggested changes Aug 28, 2024

View reviewed changes

Gyaak added 3 commits August 28, 2024 15:19

refactor : standardTime 계산 코드 명확하게 변경

3513910

refactor : 변수명 수정

5dd52e1

Merge branch 'develop' into feature/#113

857adc1

JuneParkCode approved these changes Aug 28, 2024

View reviewed changes

ss0ngcode approved these changes Aug 28, 2024

View reviewed changes

Gyaak merged commit 39c6b44 into develop Aug 28, 2024
1 check passed

JuneParkCode deleted the feature/#113 branch August 29, 2024 09:54

		@Query(value = "select count(*) from bus_location l")
		Integer getRowNum();

[FEAT] 버스위치정보 수집 스케줄러 및 버스 통계 서비스 구현 #114

[FEAT] 버스위치정보 수집 스케줄러 및 버스 통계 서비스 구현 #114

Conversation

Gyaak commented Aug 23, 2024 • edited Loading

버스위치정보 수집 스케줄러 기능 추가

버스 통계 서비스 구현

Todo

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Gyaak Aug 28, 2024 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

JuneParkCode left a comment

Choose a reason for hiding this comment

Gyaak commented Aug 23, 2024 •

edited

Loading

Gyaak Aug 28, 2024 •

edited

Loading