Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Feat] LLM 활용 문제 유형 분류 완료 #28

Merged
merged 7 commits into from
Nov 20, 2024

Conversation

gsgh3016
Copy link
Contributor

@gsgh3016 gsgh3016 commented Nov 19, 2024

📝 Summary

기본 train.csv 파일을 활용해서 문제 유형 및 풀이 전략을 분류했습니다.

최종 실험 결과, 유형 분포를 eda/category_distribution.png에 저장했습니다.

✅ Checklist

  • 관련 이슈가 명시되어 있습니다.
  • [ ] 테스트가 완료되었습니다.
  • 문서 업데이트가 포함되었습니다.
  • 코드 리뷰를 위한 사전 검토를 완료했습니다.

📄 Description

  • requirements.txtlangchain, langchain-openai 모듈을 추가했습니다.
  • GPT 4o mini 모델과 1-shot 및 ToT 기법을 사용하여 문제 유형 분류를 실시했습니다. 분류 기준은 다음과 같습니다.
    image
  • 실험 결과, 문제 유형 분포도를 eda/category_distribution.png에 저장하도록 코드를 작성했습니다.

💡 Notice (Optional)

  • 위 실험을 재현하기 위해서는 다음과 같은 절차에 따라주세요.

    1. OpenAI Platform 페이지에서 토큰 발급 및 크레딧 충전 후 진행. (약 0.8$ 크레딧이 소모됩니다.)
    2. pip install -r requirements.txt CLI 명령어로 의존성 업데이트(langchain, langchain-openai 모듈 설치 위함)
    3. eda/problem_type_analysis.ipynb 파일에서 .venv 커널 선택 후 실행

🔗 Related Issue(s)

close #17

- GPT 4o mini 모델 활용
- 랜덤 100개 데이터 추출
- 결과로 "연결형 추론 유형" 카테고리로만 분류됨
- 전체(2029개) 데이터에 대한 문제 유형 분류 실험 진행
`classify_problems` 함수 수정
@gsgh3016 gsgh3016 linked an issue Nov 19, 2024 that may be closed by this pull request
5 tasks
@gsgh3016
Copy link
Contributor Author

우선 실험의 일관성을 위해 train.csv 파일에서 진행했습니다. 데이터 필터링 과정에서 문제 유형, 유형이 도출된 이유는 크게 달라지지 않을 것이라 판단하여 실험을 계속 진행했습니다. 추후 데이터 필터링 과정이 정리되면 추가 작업 진행하겠습니다.

@eyeol
Copy link
Contributor

eyeol commented Nov 19, 2024

스크린샷 2024-11-20 오전 1 24 10

징벌적 프롬프트 확인했습니다.

실험1과 실험2 결과에 대한 분석도 노션에 올려주시면 좋을것 같습니다.

@gsgh3016 gsgh3016 added Priority: Medium 적절한 시기에 처리해야 할 작업 Type: Experiment 실험 결과 및 아이디어 공유 Status: Completed 완료 labels Nov 20, 2024
@gsgh3016 gsgh3016 merged commit f53ab07 into main Nov 20, 2024
3 checks passed
@gsgh3016 gsgh3016 deleted the feature/17-problem-type-analysis branch November 20, 2024 08:01
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
Priority: Medium 적절한 시기에 처리해야 할 작업 Type: Experiment 실험 결과 및 아이디어 공유
Projects
None yet
Development

Successfully merging this pull request may close these issues.

[FEAT] LLM을 활용한 문제 유형 분석
3 participants