Web_Crawling_Practice01_BeautifulSoup.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Web Crawling Using BeautifulSoup, Python"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 0. Import Modules"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. 내가 알던 방법"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['나만의 웹 크롤러 만들기(4): Django로 크롤링한 데이터 저장하기',\n",
       " '나만의 웹 크롤러 만들기(3): Selenium으로 무적 크롤러 만들기',\n",
       " 'Django에 Social Login 붙이기: Django세팅부터 Facebook/Google 개발 설정까지',\n",
       " 'Django에 Custom인증 붙이기',\n",
       " '나만의 웹 크롤러 만들기(2): Login with Session',\n",
       " '나만의 웹 크롤러 만들기 with Requests/BeautifulSoup',\n",
       " 'Celery로 TelegramBot 알림 보내기',\n",
       " 'Virtualenv/VirtualenvWrapper OS별 설치&이용법',\n",
       " '[DjangoTDDStudy] #02: UnitTest 이용해 기능 테스트 하기',\n",
       " '[DjangoTDDStudy] #01: 개발환경 세팅하기(Selenium / ChromeDriver)',\n",
       " '[DjangoTDDStudy] #00: 스터디를 시작하며',\n",
       " 'Fabric Put 커맨드가 No Such File Exception을 반환할 때 해결법',\n",
       " 'CKEditor의 라이센스와 오픈소스 라이센스',\n",
       " 'ReactNative The Basis 번역을 끝냈습니다.',\n",
       " '[React Native 번역]#01: 시작하기',\n",
       " '[번역] 장고(Django)와 함께하는 Celery 첫걸음',\n",
       " 'Chrome Native Adblockr 대체하기',\n",
       " 'CustoMac 설치 분투기',\n",
       " 'Ubuntu14.04에 OhMyZsh 설치',\n",
       " 'Ubuntu14.04에서 pip로 mysqlclient 설치 실패시',\n",
       " 'Ubuntu14.04에서 Python3기반 virtualenvwrapper 설치',\n",
       " 'mac OS X에서 pip virtualenvwrapper 설치 시 uninstalling six 에서 Exception 발생 시',\n",
       " 'Fabric for Python3 (Fabric3)',\n",
       " 'Windows에서 pip로 mysqlclient 설치 실패시(python3.4/3.5)',\n",
       " '맥에서 윈도RDP로 접속시 한영전환하기.',\n",
       " 'pip로 mysqlclient설치 중 mac os x에서 egg_info / OSError 발생시 대처방법']"
      ]
     },
     "execution_count": 110,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "req = requests.get('https://beomi.github.io/beomi.github.io_old/')\n",
    "\n",
    "html = req.text\n",
    "soup = BeautifulSoup(html, 'html5lib')\n",
    "\n",
    "a = soup.find_all('h3', {})\n",
    "titles = []\n",
    "for b in a:\n",
    "    titles.append(b.get_text())\n",
    "titles"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 2. 새로 시도하는 방법"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "나만의 웹 크롤러 만들기(4): Django로 크롤링한 데이터 저장하기\n",
      "나만의 웹 크롤러 만들기(3): Selenium으로 무적 크롤러 만들기\n",
      "Django에 Social Login 붙이기: Django세팅부터 Facebook/Google 개발 설정까지\n",
      "Django에 Custom인증 붙이기\n",
      "나만의 웹 크롤러 만들기(2): Login with Session\n",
      "나만의 웹 크롤러 만들기 with Requests/BeautifulSoup\n",
      "Celery로 TelegramBot 알림 보내기\n",
      "Virtualenv/VirtualenvWrapper OS별 설치&이용법\n",
      "[DjangoTDDStudy] #02: UnitTest 이용해 기능 테스트 하기\n",
      "[DjangoTDDStudy] #01: 개발환경 세팅하기(Selenium / ChromeDriver)\n",
      "[DjangoTDDStudy] #00: 스터디를 시작하며\n",
      "Fabric Put 커맨드가 No Such File Exception을 반환할 때 해결법\n",
      "CKEditor의 라이센스와 오픈소스 라이센스\n",
      "ReactNative The Basis 번역을 끝냈습니다.\n",
      "[React Native 번역]#01: 시작하기\n",
      "[번역] 장고(Django)와 함께하는 Celery 첫걸음\n",
      "Chrome Native Adblockr 대체하기\n",
      "CustoMac 설치 분투기\n",
      "Ubuntu14.04에 OhMyZsh 설치\n",
      "Ubuntu14.04에서 pip로 mysqlclient 설치 실패시\n",
      "Ubuntu14.04에서 Python3기반 virtualenvwrapper 설치\n",
      "mac OS X에서 pip virtualenvwrapper 설치 시 uninstalling six 에서 Exception 발생 시\n",
      "Fabric for Python3 (Fabric3)\n",
      "Windows에서 pip로 mysqlclient 설치 실패시(python3.4/3.5)\n",
      "맥에서 윈도RDP로 접속시 한영전환하기.\n",
      "pip로 mysqlclient설치 중 mac os x에서 egg_info / OSError 발생시 대처방법\n"
     ]
    }
   ],
   "source": [
    "req = requests.get('https://beomi.github.io/beomi.github.io_old/')\n",
    "\n",
    "html = req.text\n",
    "soup = BeautifulSoup(html, 'html.parser')\n",
    "\n",
    "my_titles = soup.select('h3 > a')\n",
    "\n",
    "for title in my_titles:\n",
    "    print(title.text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. CSV 형식으로 저장하기  "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 145,
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "import pandas as pd\n",
    "import os\n",
    "\n",
    "req = requests.get('https://beomi.github.io/beomi.github.io_old/')\n",
    "html = req.text\n",
    "soup = BeautifulSoup(html, 'html.parser')\n",
    "my_titles = soup.select('h3 > a')\n",
    "\n",
    "data_title = []\n",
    "data_url = []\n",
    "\n",
    "for title in my_titles:\n",
    "    data_title.append(title.text)\n",
    "    data_url.append(title.get('href'))\n",
    "\n",
    "df = pd.DataFrame({'Title' : data_title, 'Url' : data_url})\n",
    "df.to_csv('webcrawling_result.csv')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}