sps 관련 데이터를 연구실 내부적으로 사용하는 서비스 개발

[red0sena]

연구실 스팟 인스턴스 사용을 위해 SPS, IF, SpotPrice등 스팟 인스턴스에 관한 데이터를 사용할 수 있는 서비스를 개발하고자 합니다.
방향은 AWS Rawdata를 Athena에서 테이블을 만들고 람다 API를 만들어 최신 3일치의 데이터를 쿼리하여 사용자에게 전달하고자 합니다.

• 먼저 Athena를 테이블을 만들기 위해
  • 모든 rawdata 데이터가 일관된 포맷이어야 하고
  • 한 path안에 있어야 합니다.

현재 https://github.com/ddps-lab/spotlake/issues/432에서 AWS일관화 작업은 완료하였고 업로드만 진행하면 됩니다.

그러나 rawdata는 rawdata/aws path안에 workload등 다양한 포맷이 있어 rawdata만 폴더를 새로 만들어 한 path안에 위치하도록 해야 합니다.

@chris0765 해당 작업을 위해 생각나는 폴더명이 있을까요?

[red0sena]

검토하여보니 SpotLake Rawdata에서 Athena Table을 만드는 것이 아닌 https://github.com/ddps-lab/research-issues/issues/462 이슈에서 진행하는 다양한 TargetCapacity SPS쿼리를 이용하면 더 좋을 것이라고 판단되어 해당 방향으로 진행하도록 하겠습니다.