2021 10 13

mrc 테스크 이해하기!

• Retrieval 모델과 read 모델을 잘 설계하는 것이 중요할 듯 하다!
• korquard 탐방,아직까지 우리나라는 공유문화가 부족한 듯.. 높은 랭킹에 있는 모델 중에 공개된 모델이 많지 않다.

big bird

• 현재 sota모델인 빅버드 (https://arxiv.org/pdf/2007.14062.pdf)
• 전체 토큰이 아니라 일부의 토큰들과 self attention을 해서 긴 문맥이 와도 병렬처리가 가능한 듯 하다.