2021 11 25

피어세션

• 영진님이 pytorch-dalle 예시 실습코드를 에러가 나는부분을 고쳐서 학습시키고 inference 까지 완성시켰다!! (링크:https://github.com/boostcampaitech2/final-project-level3-nlp-15/blob/main/rainbow_dalle_example.ipynb)

• 재영님이 optuna 실습코드를 돌려봤는데 시간이 엄청 오래걸린다고 했음 → 1epochs에 2~3분 인데 100에포크가 필요하다.

  • model 학습 자체 시간을 줄이는게 필요한다.
  • network quantization이나 network compiling이 필요할듯

• 프루닝과 dropout 이 비슷해보이는데 이걸 이용할 수 없을까?

→ dropout이랑 조금 다른거 같아서 어려울 것 같다.

• pruning이 일반화해서 적용시키기 어렵다고 했는데 optuna 실습 코드를 보면 이미 있는것 같다.

pruned_trials = [t for t in study.trials if t.state == optuna.trial.TrialState.PRUNED]

• 이 경량화를 우리 final project에 적용시키면 dalle 걱정을 좀 해결할 수 있지 않을까??

• 대회 기간을 언제까지로 잡아야할까? → 대회랑 final project를 어떤 비율로 해야할까 앞으로

→ 각자 얘기를 해보자

• 이번 대회도 충분히 중요한 대회긴 한듯. → 각자 맡고싶은 분야를 얘기하고 그 부분을 하자.

→ 다음주 목요일까지는 마지막 대회니까 집중해서 해보자