data_preprocess.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Collecting pandas\n",
      "  Using cached pandas-2.2.3-cp39-cp39-macosx_11_0_arm64.whl (11.3 MB)\n",
      "Collecting numpy\n",
      "  Using cached numpy-2.0.2-cp39-cp39-macosx_14_0_arm64.whl (5.3 MB)\n",
      "Collecting pytz>=2020.1\n",
      "  Using cached pytz-2024.2-py2.py3-none-any.whl (508 kB)\n",
      "Collecting tzdata>=2022.7\n",
      "  Using cached tzdata-2024.2-py2.py3-none-any.whl (346 kB)\n",
      "Requirement already satisfied: python-dateutil>=2.8.2 in /Users/hyejiyu/.pyenv/versions/3.9.6/envs/data-capstone-model/lib/python3.9/site-packages (from pandas) (2.9.0.post0)\n",
      "Requirement already satisfied: six>=1.5 in /Users/hyejiyu/.pyenv/versions/3.9.6/envs/data-capstone-model/lib/python3.9/site-packages (from python-dateutil>=2.8.2->pandas) (1.16.0)\n",
      "Installing collected packages: tzdata, pytz, numpy, pandas\n",
      "Successfully installed numpy-2.0.2 pandas-2.2.3 pytz-2024.2 tzdata-2024.2\n",
      "\u001b[33mWARNING: You are using pip version 21.1.3; however, version 24.3.1 is available.\n",
      "You should consider upgrading via the '/Users/hyejiyu/.pyenv/versions/3.9.6/envs/data-capstone-model/bin/python -m pip install --upgrade pip' command.\u001b[0m\n"
     ]
    }
   ],
   "source": [
    "!pip install pandas numpy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import ast\n",
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentence</th>\n",
       "      <th>label</th>\n",
       "      <th>one_hot_label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>자한당틀딱들 악플질 고만해라.</td>\n",
       "      <td>['정치성향차별', '연령차별']</td>\n",
       "      <td>[0, 1, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>정치적으로 편향된 평론한은 분은 별로</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데</td>\n",
       "      <td>['정치성향차별']</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>안서는 아재들 풀발기</td>\n",
       "      <td>['연령차별']</td>\n",
       "      <td>[0, 1, 0, 0, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>우와 능력자</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              sentence               label  \\\n",
       "0                     자한당틀딱들 악플질 고만해라.  ['정치성향차별', '연령차별']   \n",
       "1                 정치적으로 편향된 평론한은 분은 별로                  []   \n",
       "2  적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데          ['정치성향차별']   \n",
       "3                          안서는 아재들 풀발기            ['연령차별']   \n",
       "4                               우와 능력자                  []   \n",
       "\n",
       "                 one_hot_label  \n",
       "0  [0, 1, 0, 1, 0, 0, 0, 0, 0]  \n",
       "1  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "2  [0, 0, 0, 1, 0, 0, 0, 0, 0]  \n",
       "3  [0, 1, 0, 0, 0, 0, 0, 0, 0]  \n",
       "4  [0, 0, 0, 0, 0, 0, 0, 0, 1]  "
      ]
     },
     "execution_count": 55,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# df = pd.read_csv(\"hatespeech_unsmile_hatescore.csv\")\n",
    "df = pd.read_csv(\"processed_data.csv\")\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 문자열을 리스트로 변환\n",
    "df[\"label\"] = df[\"label\"].apply(ast.literal_eval)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentence</th>\n",
       "      <th>label</th>\n",
       "      <th>one_hot_label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>자한당틀딱들 악플질 고만해라.</td>\n",
       "      <td>[정치성향차별, 연령차별]</td>\n",
       "      <td>[0, 1, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>정치적으로 편향된 평론한은 분은 별로</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데</td>\n",
       "      <td>[정치성향차별]</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>안서는 아재들 풀발기</td>\n",
       "      <td>[연령차별]</td>\n",
       "      <td>[0, 1, 0, 0, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>우와 능력자</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              sentence           label  \\\n",
       "0                     자한당틀딱들 악플질 고만해라.  [정치성향차별, 연령차별]   \n",
       "1                 정치적으로 편향된 평론한은 분은 별로              []   \n",
       "2  적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데        [정치성향차별]   \n",
       "3                          안서는 아재들 풀발기          [연령차별]   \n",
       "4                               우와 능력자              []   \n",
       "\n",
       "                 one_hot_label  \n",
       "0  [0, 1, 0, 1, 0, 0, 0, 0, 0]  \n",
       "1  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "2  [0, 0, 0, 1, 0, 0, 0, 0, 0]  \n",
       "3  [0, 1, 0, 0, 0, 0, 0, 0, 0]  \n",
       "4  [0, 0, 0, 0, 0, 0, 0, 0, 1]  "
      ]
     },
     "execution_count": 57,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# '혐오욕설' 제거 함수 정의\n",
    "def remove_hate_speech(labels):\n",
    "    # '혐오욕설'이 포함되어 있고 다른 항목도 있을 때 '혐오욕설' 제거\n",
    "    if \"혐오욕설\" in labels and len(labels) > 1:\n",
    "        labels.remove(\"혐오욕설\")\n",
    "    return labels\n",
    "\n",
    "\n",
    "# '혐오욕설' 제거 적용\n",
    "df[\"label\"] = df[\"label\"].apply(remove_hate_speech)\n",
    "\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 라벨 목록 정의\n",
    "label_list = [\n",
    "    \"성차별\",\n",
    "    \"연령차별\",\n",
    "    \"외모차별\",\n",
    "    \"정치성향차별\",\n",
    "    \"출신차별\",\n",
    "    \"인종차별\",\n",
    "    \"종교차별\",\n",
    "    \"혐오욕설\",\n",
    "    \"clean\",\n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentence</th>\n",
       "      <th>label</th>\n",
       "      <th>one_hot_label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>자한당틀딱들 악플질 고만해라.</td>\n",
       "      <td>[정치성향차별, 연령차별]</td>\n",
       "      <td>[0, 1, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>정치적으로 편향된 평론한은 분은 별로</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데</td>\n",
       "      <td>[정치성향차별]</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>안서는 아재들 풀발기</td>\n",
       "      <td>[연령차별]</td>\n",
       "      <td>[0, 1, 0, 0, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>우와 능력자</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              sentence           label  \\\n",
       "0                     자한당틀딱들 악플질 고만해라.  [정치성향차별, 연령차별]   \n",
       "1                 정치적으로 편향된 평론한은 분은 별로              []   \n",
       "2  적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데        [정치성향차별]   \n",
       "3                          안서는 아재들 풀발기          [연령차별]   \n",
       "4                               우와 능력자              []   \n",
       "\n",
       "                 one_hot_label  \n",
       "0  [0, 1, 0, 1, 0, 0, 0, 0, 0]  \n",
       "1  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "2  [0, 0, 0, 1, 0, 0, 0, 0, 0]  \n",
       "3  [0, 1, 0, 0, 0, 0, 0, 0, 0]  \n",
       "4  [0, 0, 0, 0, 0, 0, 0, 0, 1]  "
      ]
     },
     "execution_count": 59,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 원핫인코딩 함수 정의\n",
    "def one_hot_encode(labels):\n",
    "    # 모든 라벨에 대해 0으로 초기화된 리스트 생성\n",
    "    one_hot = [0] * len(label_list)\n",
    "\n",
    "    # 빈 배열인 경우 clean 라벨 활성화\n",
    "    if len(labels) == 0:\n",
    "        clean_index = label_list.index(\"clean\")\n",
    "        one_hot[clean_index] = 1\n",
    "        return one_hot\n",
    "\n",
    "    # 해당하는 라벨들을 1로 설정\n",
    "    for label in labels:\n",
    "        if label in label_list:\n",
    "            index = label_list.index(label)\n",
    "            one_hot[index] = 1\n",
    "\n",
    "    return one_hot\n",
    "\n",
    "\n",
    "# 원핫인코딩 적용\n",
    "df[\"one_hot_label\"] = df[\"label\"].apply(one_hot_encode)\n",
    "\n",
    "# 결과 확인\n",
    "df.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 전처리할 대상 컬럼 이름\n",
    "target_column = \"sentence\"\n",
    "\n",
    "\n",
    "# 전처리 함수 정의\n",
    "def clean_text(text):\n",
    "    if pd.isnull(text):\n",
    "        return text\n",
    "    # 1. \", ~, ; 제거\n",
    "    text = re.sub(r\"[\\\"'~;:(),!^/♡*=+&%<>♥]\", \"\", text)\n",
    "    # 2. 연속된 마침표 제거\n",
    "    text = re.sub(r\"\\.{2,}\", \"\", text)\n",
    "    # 3. 연속된 물음표 제거\n",
    "    text = re.sub(r\"\\?{2,}\", \"\", text)\n",
    "    # 5. 한글 자모(초성, 중성, 종성 포함) 제거\n",
    "    text = re.sub(r\"[ㄱ-ㅎㅏ-ㅣ]+\", \"\", text)\n",
    "    text = re.sub(r\"\\s{2,}\", \" \", text)  # 중복 공백 제거\n",
    "\n",
    "    return text.strip()\n",
    "\n",
    "# 특정 컬럼에 전처리 적용\n",
    "df[target_column] = df[target_column].apply(clean_text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentence</th>\n",
       "      <th>label</th>\n",
       "      <th>one_hot_label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>자한당틀딱들 악플질 고만해라.</td>\n",
       "      <td>[정치성향차별, 연령차별]</td>\n",
       "      <td>[0, 1, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>정치적으로 편향된 평론한은 분은 별로</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데</td>\n",
       "      <td>[정치성향차별]</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>안서는 아재들 풀발기</td>\n",
       "      <td>[연령차별]</td>\n",
       "      <td>[0, 1, 0, 0, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>우와 능력자</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>맛녀석 콩트보다 약했음맛녀석 애청자로써 70실력발휘</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>주영훈 솔직히 호감임 잉꼬부부로 소문났잖아</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>이게주간아이돌이랑머가달라</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>아오 슈박 회사생활도 졑깥고 돈벌기 힘들어 죽겠구만 뭔 저딴것들 자꾸 tv나와서 사...</td>\n",
       "      <td>[혐오욕설]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 1, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>문재인 하는게 뭐 별거있냐?가 하는짓인데 어련하겠어.</td>\n",
       "      <td>[정치성향차별]</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            sentence           label  \\\n",
       "0                                   자한당틀딱들 악플질 고만해라.  [정치성향차별, 연령차별]   \n",
       "1                               정치적으로 편향된 평론한은 분은 별로              []   \n",
       "2                적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데        [정치성향차별]   \n",
       "3                                        안서는 아재들 풀발기          [연령차별]   \n",
       "4                                             우와 능력자              []   \n",
       "5                       맛녀석 콩트보다 약했음맛녀석 애청자로써 70실력발휘              []   \n",
       "6                            주영훈 솔직히 호감임 잉꼬부부로 소문났잖아              []   \n",
       "7                                      이게주간아이돌이랑머가달라              []   \n",
       "8  아오 슈박 회사생활도 졑깥고 돈벌기 힘들어 죽겠구만 뭔 저딴것들 자꾸 tv나와서 사...          [혐오욕설]   \n",
       "9                      문재인 하는게 뭐 별거있냐?가 하는짓인데 어련하겠어.        [정치성향차별]   \n",
       "\n",
       "                 one_hot_label  \n",
       "0  [0, 1, 0, 1, 0, 0, 0, 0, 0]  \n",
       "1  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "2  [0, 0, 0, 1, 0, 0, 0, 0, 0]  \n",
       "3  [0, 1, 0, 0, 0, 0, 0, 0, 0]  \n",
       "4  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "5  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "6  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "7  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "8  [0, 0, 0, 0, 0, 0, 0, 1, 0]  \n",
       "9  [0, 0, 0, 1, 0, 0, 0, 0, 0]  "
      ]
     },
     "execution_count": 61,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv(\"processed_data.csv\", index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "sentence\n",
       "<class 'str'>      139191\n",
       "<class 'float'>        67\n",
       "Name: count, dtype: int64"
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['sentence'].apply(type).value_counts()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentence</th>\n",
       "      <th>label</th>\n",
       "      <th>one_hot_label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>자한당틀딱들 악플질 고만해라.</td>\n",
       "      <td>['정치성향차별', '연령차별']</td>\n",
       "      <td>[0, 1, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>정치적으로 편향된 평론한은 분은 별로</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데</td>\n",
       "      <td>['정치성향차별']</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>안서는 아재들 풀발기</td>\n",
       "      <td>['연령차별']</td>\n",
       "      <td>[0, 1, 0, 0, 0, 0, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>우와 능력자</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                              sentence               label  \\\n",
       "0                     자한당틀딱들 악플질 고만해라.  ['정치성향차별', '연령차별']   \n",
       "1                 정치적으로 편향된 평론한은 분은 별로                  []   \n",
       "2  적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데          ['정치성향차별']   \n",
       "3                          안서는 아재들 풀발기            ['연령차별']   \n",
       "4                               우와 능력자                  []   \n",
       "\n",
       "                 one_hot_label  \n",
       "0  [0, 1, 0, 1, 0, 0, 0, 0, 0]  \n",
       "1  [0, 0, 0, 0, 0, 0, 0, 0, 1]  \n",
       "2  [0, 0, 0, 1, 0, 0, 0, 0, 0]  \n",
       "3  [0, 1, 0, 0, 0, 0, 0, 0, 0]  \n",
       "4  [0, 0, 0, 0, 0, 0, 0, 0, 1]  "
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df2 = pd.read_csv(\"./processed_data.csv\")\n",
    "df2.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 원래 라벨 리스트\n",
    "label_list = [\n",
    "    \"성차별\",\n",
    "    \"연령차별\",\n",
    "    \"외모차별\",\n",
    "    \"정치성향차별\",\n",
    "    \"출신차별\",\n",
    "    \"인종차별\",\n",
    "    \"종교차별\",\n",
    "    \"혐오욕설\",\n",
    "    \"clean\",\n",
    "]\n",
    "\n",
    "# 재분류 기준\n",
    "reclassified_labels = {\n",
    "    \"성차별\": \"성차별\",\n",
    "    \"연령차별\": \"연령차별\",\n",
    "    \"혐오욕설\": \"혐오욕설\",\n",
    "    \"clean\": \"clean\",\n",
    "    \"default\": \"기타혐오\",  # 나머지 라벨은 \"기타혐오\"로 분류\n",
    "}\n",
    "\n",
    "# 재분류 함수\n",
    "def reclassify_labels(labels):\n",
    "    label_list = eval(labels) if labels.strip() else []\n",
    "    if not label_list:  # 라벨이 비어 있으면 \"clean\"으로 처리\n",
    "        return [\"clean\"]\n",
    "    reclassified = set()\n",
    "    for label in label_list:  # 문자열로 저장된 리스트를 실제 리스트로 변환\n",
    "        reclassified.add(reclassified_labels.get(label, \"기타혐오\"))\n",
    "    return list(reclassified)\n",
    "\n",
    "# 재분류된 라벨 컬럼 추가\n",
    "df2[\"reclassified_label\"] = df2[\"label\"].apply(reclassify_labels)\n",
    "\n",
    "# 재분류된 원핫 인코딩 생성\n",
    "new_label_list = [\"성차별\", \"연령차별\", \"혐오욕설\", \"clean\", \"기타혐오\"]\n",
    "\n",
    "def create_one_hot(labels):\n",
    "    one_hot = [1 if label in labels else 0 for label in new_label_list]\n",
    "    return one_hot\n",
    "\n",
    "df2[\"one_hot_label_reclassified\"] = df2[\"reclassified_label\"].apply(create_one_hot)\n",
    "\n",
    "# 결과 저장\n",
    "df2.to_csv(\"reclassified_test.csv\", index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>sentence</th>\n",
       "      <th>label</th>\n",
       "      <th>one_hot_label</th>\n",
       "      <th>reclassified_label</th>\n",
       "      <th>one_hot_label_reclassified</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>자한당틀딱들 악플질 고만해라.</td>\n",
       "      <td>['정치성향차별', '연령차별']</td>\n",
       "      <td>[0, 1, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "      <td>[연령차별, 기타혐오]</td>\n",
       "      <td>[0, 1, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>정치적으로 편향된 평론한은 분은 별로</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "      <td>[clean]</td>\n",
       "      <td>[0, 0, 0, 1, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데</td>\n",
       "      <td>['정치성향차별']</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "      <td>[기타혐오]</td>\n",
       "      <td>[0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>안서는 아재들 풀발기</td>\n",
       "      <td>['연령차별']</td>\n",
       "      <td>[0, 1, 0, 0, 0, 0, 0, 0, 0]</td>\n",
       "      <td>[연령차별]</td>\n",
       "      <td>[0, 1, 0, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>우와 능력자</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "      <td>[clean]</td>\n",
       "      <td>[0, 0, 0, 1, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>맛녀석 콩트보다 약했음맛녀석 애청자로써 70실력발휘</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "      <td>[clean]</td>\n",
       "      <td>[0, 0, 0, 1, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>주영훈 솔직히 호감임 잉꼬부부로 소문났잖아</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "      <td>[clean]</td>\n",
       "      <td>[0, 0, 0, 1, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>이게주간아이돌이랑머가달라</td>\n",
       "      <td>[]</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 0, 1]</td>\n",
       "      <td>[clean]</td>\n",
       "      <td>[0, 0, 0, 1, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>아오 슈박 회사생활도 졑깥고 돈벌기 힘들어 죽겠구만 뭔 저딴것들 자꾸 tv나와서 사...</td>\n",
       "      <td>['혐오욕설']</td>\n",
       "      <td>[0, 0, 0, 0, 0, 0, 0, 1, 0]</td>\n",
       "      <td>[혐오욕설]</td>\n",
       "      <td>[0, 0, 1, 0, 0]</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>문재인 하는게 뭐 별거있냐?가 하는짓인데 어련하겠어.</td>\n",
       "      <td>['정치성향차별']</td>\n",
       "      <td>[0, 0, 0, 1, 0, 0, 0, 0, 0]</td>\n",
       "      <td>[기타혐오]</td>\n",
       "      <td>[0, 0, 0, 0, 1]</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                            sentence               label  \\\n",
       "0                                   자한당틀딱들 악플질 고만해라.  ['정치성향차별', '연령차별']   \n",
       "1                               정치적으로 편향된 평론한은 분은 별로                  []   \n",
       "2                적당히좀 쳐먹지.그랬냐 안그래도 문재인 때문에 나라 엉망진창인데          ['정치성향차별']   \n",
       "3                                        안서는 아재들 풀발기            ['연령차별']   \n",
       "4                                             우와 능력자                  []   \n",
       "5                       맛녀석 콩트보다 약했음맛녀석 애청자로써 70실력발휘                  []   \n",
       "6                            주영훈 솔직히 호감임 잉꼬부부로 소문났잖아                  []   \n",
       "7                                      이게주간아이돌이랑머가달라                  []   \n",
       "8  아오 슈박 회사생활도 졑깥고 돈벌기 힘들어 죽겠구만 뭔 저딴것들 자꾸 tv나와서 사...            ['혐오욕설']   \n",
       "9                      문재인 하는게 뭐 별거있냐?가 하는짓인데 어련하겠어.          ['정치성향차별']   \n",
       "\n",
       "                 one_hot_label reclassified_label one_hot_label_reclassified  \n",
       "0  [0, 1, 0, 1, 0, 0, 0, 0, 0]       [연령차별, 기타혐오]            [0, 1, 0, 0, 1]  \n",
       "1  [0, 0, 0, 0, 0, 0, 0, 0, 1]            [clean]            [0, 0, 0, 1, 0]  \n",
       "2  [0, 0, 0, 1, 0, 0, 0, 0, 0]             [기타혐오]            [0, 0, 0, 0, 1]  \n",
       "3  [0, 1, 0, 0, 0, 0, 0, 0, 0]             [연령차별]            [0, 1, 0, 0, 0]  \n",
       "4  [0, 0, 0, 0, 0, 0, 0, 0, 1]            [clean]            [0, 0, 0, 1, 0]  \n",
       "5  [0, 0, 0, 0, 0, 0, 0, 0, 1]            [clean]            [0, 0, 0, 1, 0]  \n",
       "6  [0, 0, 0, 0, 0, 0, 0, 0, 1]            [clean]            [0, 0, 0, 1, 0]  \n",
       "7  [0, 0, 0, 0, 0, 0, 0, 0, 1]            [clean]            [0, 0, 0, 1, 0]  \n",
       "8  [0, 0, 0, 0, 0, 0, 0, 1, 0]             [혐오욕설]            [0, 0, 1, 0, 0]  \n",
       "9  [0, 0, 0, 1, 0, 0, 0, 0, 0]             [기타혐오]            [0, 0, 0, 0, 1]  "
      ]
     },
     "execution_count": 70,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df2.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(139256, 5)"
      ]
     },
     "execution_count": 76,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df2.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 77,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(139190, 5)"
      ]
     },
     "execution_count": 77,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df2 = df2[df2[\"sentence\"].notnull()]\n",
    "df2.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 78,
   "metadata": {},
   "outputs": [],
   "source": [
    "df2.to_csv(\"reclassified_test.csv\", index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "data-capstone-model",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}