[Feat] CSV 데이터 포맷 업데이트 및 관련 코드 개선

[jagaldol]

📝 Summary

CSV 데이터 포맷을 기존 JSON 형태에서 개별 컬럼으로 분리하고, 이를 사용하도록 main.py를 개선하였습니다. 또한, 관련된 환경 설정 및 코드 정리를 진행하였습니다.

✅ Checklist

• 관련 이슈가 명시되어 있습니다.
• 테스트가 완료되었습니다.
• 문서 업데이트가 포함되었습니다.
• 코드 리뷰를 위한 사전 검토를 완료했습니다.

📄 Description

1. CSV 데이터 포맷 업데이트

• JSON 형태의 데이터를 개별 컬럼으로 분리하여 새로운 train.csv와 test.csv를 생성하고 적용하였습니다.

2. 메인 코드 개선

• 학습 후 체크포인트를 다시 로드하지 않도록 main.py의 로직을 변경하였습니다.

3. 환경 변수 및 패키지 추가

• HF_TOKEN을 추가하고 dotenv를 설치하여 환경 변수 관리 기능을 개선하였습니다.
• 양자화를 위해 필요한 bitsandbytes 패키지를 추가하였습니다.

4. 코드 정리
   -잘못된 주석 및 의미 없는 코드를 제거하여 가독성을 개선하였습니다.

💡 Notice (Optional)

새로운 CSV 파일 포맷에 맞게 데이터 로직이 수정되었으므로, 기존 csv를 사용하면 안되고 업데이트 된 csv 파일을 사용하셔야합니다.

이는 notion 페이지를 통해 다운받아주시길 바랍니다.

🔗 Related Issue(s)

close #10

[canolayoo78]

import도 모델별로 구분하려고 따로 뺸 건가요??

[jagaldol]

추론 하기 직전 불필요하게 checkpoint 로드 하는 부분을 주석 처리하면서 AutoPeftModelForCausalLM을 사용하는 부분이 사라지게 되었습니다. 그러다보니 현재 사용되지 않는 import문이 flake8 경고로 표시되어서 함께 주석처리를 했고, 나중에 train 및 inference를 분리(모듈화)할 때 보기 편하라고 import 주석문도 그냥 해당 위치에 뭉쳐서 주석 처리해놨습니다!

[gsgh3016]

수고하셨습니다 :)

[eyeol]

내용 전부 확인했습니다! 고생하셨습니다