ํ๋ก๊ทธ๋จ ์คํ ์
ํ๋ก๊ทธ๋จ ์คํ ํ
YouTube ์ฌ์ฉ์๋ค์ ์ถ์ฒ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ์ธํด ์์ ์ ์๋ ๋ชฉ์ ๊ณผ ๊ด๋ จ์ด ์๋ ์ปจํ ์ธ ๋ฅผ ์๋นํ๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค. ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ์ฌ์ฉ์๋ค์ ์์ ์ด ๊ด์ฌ ์๋ ์ฑ๋์ ๊ตฌ๋ ํ๊ณ ํด๋น ์ฑ๋์ ์์์ ์์ฒญํ์ง๋ง, ๊ตฌ๋ ํ ์ฑ๋์ด ๋ง๊ณ ๋ค์ํ ๊ฒฝ์ฐ์๋ ์์ ์ด ์ํ๋ ์ปจํ ์ธ ๋ฅผ ์ฐพ๊ธฐ ์ด๋ ต๋ค.
์ด ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด, ๊ตฌ๋ ํ ์ฑ๋์ ์ปจํ ์ธ ๋ฅผ ์นดํ ๊ณ ๋ฆฌ๋ณ๋ก ๋ถ๋ฅํ๊ณ , ์ฌ์ฉ์๊ฐ ์ค์ ๊ฐ๋ฅํ ์ธ๋ถ ์นดํ ๊ณ ๋ฆฌ๋ก ๋๋์ด ์์์ ํํฐ๋งํ ์ ์๋ ํฌ๋กฌ ํ์ฅํ๋ก๊ทธ๋จ์ ๊ฐ๋ฐํ๊ณ ์ ํ์๋ค. ์ด ํ๋ก๊ทธ๋จ์ ํตํด YouTube ์ฌ์ฉ์๋ ์ํ๋ ์ปจํ ์ธ ๋ฅผ ์ฝ๊ฒ ๋ถ๋ฅํ๊ณ ํ์ํ์ฌ ์์ฒญํ ์ ์๋ค.
- YouTube API๋ฅผ ์ด์ฉํด ์ฌ์ฉ์์ YouTube ๊ตฌ๋ ์ ๋ณด๋ฅผ ๊ฐ์ ธ์จ๋ค.
- ์ฌ์ฉ์๊ฐ ๊ตฌ๋ ํ ์ฑ๋๋ณ๋ก ์ต์ ์์์ 15๊ฐ์ฉ ๊ฐ์ ธ์จ๋ค.
- ๊ฐ์ ธ์จ ์์๋ค์ YouTube ์์ ์นดํ ๊ณ ๋ฆฌ์ ๋ฐ๋ผ ๋ถ๋ฅํ๋ค.
- ์์๋ค์ ๊ฐ ์นดํ ๊ณ ๋ฆฌ๋ณ๋ก ์ฌ์ฉ์๊ฐ ์ค์ ๊ฐ๋ฅํ ์ธ๋ถ ์นดํ ๊ณ ๋ฆฌ์ ๋ฐ๋ผ ๋ถ๋ฅํ๋ค.
- ๋ถ๋ฅ๊ฐ ์๋ฃ๋ ํ์ด์ง๋ฅผ ์ฌ์ฉ์์๊ฒ ์ ์ํ๋ค.
-
ํ์คํฌ
- ํ์ดํ๋ผ์ธ ํ
- ๋ฐ์ดํฐ๋ฒ ์ด์ค ๊ตฌ์ถ
- Google Cloud Platform์ ์ด์ฉํด ์๋ฒ ๊ตฌ์ถ
- ํ๋ก ํธ์๋ ๊ตฌํ
- ํฌ๋กฌ ํ์ฅ ํ๋ก๊ทธ๋จ ๋ฐฐํฌ
- ๋ชจ๋ธ๋ง ํ
- ์์ ์นดํ ๊ณ ๋ฆฌ ๋ถ๋ฅ ๋ชจ๋ธ ํ์ต์ ์ํ ๋ฐ์ดํฐ์ ์์ง
- ์์ ์นดํ ๊ณ ๋ฆฌ ๋ถ๋ฅ๋ฅผ ์ํ BERT ๋ชจ๋ธ ํ์ต
- ๋ชจ๋ธ ๋ฐฐํฌ ๋ฐ ์๋ฒ ์ฐ๊ฒฐ
- ํ์ดํ๋ผ์ธ ํ
-
๋ฐ์ดํฐ์
- YouTube Video Description Dataset
- YouTube์ ์์ 7,000๊ฐ์ ๋ํ ์ธ๋ถ ์ ๋ณด๋ค์ ํฌ๋กค๋งํ์ฌ ์ง์ ๊ตฌ์ถํ ๋ฐ์ดํฐ์ .
- YouTube API
- ์ฌ์ฉ์์ ๊ตฌ๋ ์ฑ๋ ๋ชฉ๋ก์ ๊ฐ์ ธ์ค๊ธฐ ์ํ API
- OpenAI API
- ์์ ๋ฐ์ดํฐ์ ์์ ์ ๋ก๋๊ฐ ์นดํ ๊ณ ๋ฆฌ ์ค์ ์ ์ํ์ ๋ ์ค์ ๋๋ ์์์ Default ์นดํ ๊ณ ๋ฆฌ์ธ 22๋ฒ ์นดํ ๊ณ ๋ฆฌ์ ๋ํด ์ฌ๋ถ๋ฅ๋ฅผ ํ๊ธฐ ์ํด ์ฌ์ฉํ API
- OpenAI์ GPT-4o ๋ชจ๋ธ์ ์ด์ฉํด ์์์ ์ ๋ชฉ, ์ค๋ช , ์๋ง์ ๋ฐํ์ผ๋ก ์์์ ์นดํ ๊ณ ๋ฆฌ๋ฅผ ์ฌ๋ถ๋ฅํ์.
- YouTube Video Description Dataset
-
๋ชจ๋ธ๋ง/์ํคํ ์ณ ๋ฑ
- YouTube API
- ์ฌ์ฉ์์ YouTube ๊ตฌ๋ ์ฑ๋ ๋ชฉ๋ก์ ๊ฐ์ ธ์จ๋ค.
- ์ ์ฒด ์นดํ
๊ณ ๋ฆฌ ๋ถ๋ฅ ๋ชจ๋ธ
- BERT Multilingual Base Model (Cased)์ YouTube ์์ ๋ฐ์ดํฐ์ ์ ์ด์ฉํด Fine-Tuneํ ๋ชจ๋ธ.
- ๊ตฌ๋ ํ ์ฑ๋์ ์์๋ค์ ์ ๋ณด๋ฅผ ๋ฐํ์ผ๋ก ์์๋ค์ YouTube ๊ธฐ๋ณธ ์ ๊ณต ์นดํ ๊ณ ๋ฆฌ์ ๋ง๊ฒ ๋ถ๋ฅํ๋ค.
- ์ธ๋ถ ์นดํ
๊ณ ๋ฆฌ ๋ถ๋ฅ ๋ชจ๋ธ
- Sentence Transformer ๊ธฐ๋ฐ์ paraphrase-MiniLM-L6-v2 ๋ชจ๋ธ.
- ์นดํ ๊ณ ๋ฆฌ๋ณ๋ก ๋ถ๋ฅ๋ ์์๋ค์ ์ฌ์ฉ์๊ฐ ์ค์ ๊ฐ๋ฅํ ์ธ๋ถ ์นดํ ๊ณ ๋ฆฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ๋ถ๋ฅํ๋ค.
- Mongo DB
- ์์๋ค์ ์ธ๋ถ ์ ๋ณด์ ๋ถ๋ฅ๋ ์นดํ ๊ณ ๋ฆฌ ์ ๋ณด๋ฅผ ์ ์ฅํ๋ค.
- YouTube API
ํ์ฅ ํ๋ก๊ทธ๋จ ์คํ ํ๋ฉด
์ฌ์ฉ์๊ฐ ์ง์ ์ต์ ์์์ ๋ถ๋ฌ์ค๊ณ , ์นดํ ๊ณ ๋ฆฌ ๋ถ๋ฅ๋ฅผ ์ํํ ์๋ ์๋ค.
ํ์ฅ ํ๋ก๊ทธ๋จ ์คํ ํ ํ๋ฉด
์ฌ์ฉ์๊ฐ ๊ตฌ๋ ํ ์์๋ค์ด YouTube์์ ์ ๊ณตํ๋ ์นดํ ๊ณ ๋ฆฌ๋ณ๋ก ๋ถ๋ฅ๋ ๋ชจ์ต.
์ด๋ฆ | ํ | ์ญํ |
---|---|---|
์กฐ์ค์ | DE | ํ์ดํ๋ผ์ธ |
๊นํํธ | DE | ํ์ดํ๋ผ์ธ |
์์ข ํ | DE | ํ์ดํ๋ผ์ธ |
๊น์์ง | DA | ๋ชจ๋ธ๋ง |
๊ณฝ๋ฏผ๊ท | DS | ๋ชจ๋ธ๋ง |
์ด์น์ค | DS | ๋ชจ๋ธ๋ง |
๋ฐ๊ฒฝ์ฑ | DS | ๋ชจ๋ธ๋ง |