- 캡스톤 디자인(졸업작품) 프로젝트에서 사용할 테스트/시연 용 데이터를 크롤링하기 위한 프로그램.
- 캠핑장 주변 마트에 있는 상품 카테고리 분류에 따라 G마켓 베스트 상품을 크롤링함.
- requests
- BeautifulSoup(bs4)
- csv
- 9가지 상품 카테고리 분류(축산, 김치/반찬, 생수/음료, 간편식품, 과일/견과, 채소, 가공식품, 생활용품, 캠핑용품)에 따라 G마켓 베스트 상품 카테고리별 url을 설정하여 정적 크롤링
- 상품명, 가격, 상품 이미지 url을 크롤링으로 가져옴
- 베스트 상품 목록에서는 이미지 url 크롤링이 불가능하므로 상품 상세페이지로 이동하여 이미지 url 크롤링
- 크롤링으로 가져온 데이터를 csv 파일로 저장
- csv 파일을 MySQL DB로 import하여 저장