InstructGermanDPR_v1.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "e40f56c1-ae4a-427e-8ec6-ece0f6bf9e4b",
   "metadata": {},
   "source": [
    "Copyright (c) 2023 by the LEL-A team\n",
    "\n",
    "This software is distributed under the terms of the MIT license\n",
    "which is available at https://opensource.org/licenses/MIT"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "dd6a7ef1-9857-4214-b343-d09647e1fb28",
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "import re\n",
    "import random\n",
    "import uuid\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "9ccb2e62-0db3-4cb5-8a3c-b3c774258fa8",
   "metadata": {},
   "outputs": [],
   "source": [
    "!mkdir -p src_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "154e0957-edae-402a-807f-79d9146a7e9d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "--2023-04-07 23:38:44--  https://germanquad.s3.amazonaws.com/GermanDPR.zip\n",
      "Resolving germanquad.s3.amazonaws.com (germanquad.s3.amazonaws.com)... 54.231.232.161, 54.231.226.225, 3.5.29.226, ...\n",
      "Connecting to germanquad.s3.amazonaws.com (germanquad.s3.amazonaws.com)|54.231.232.161|:443... connected.\n",
      "HTTP request sent, awaiting response... 200 OK\n",
      "Length: 20114171 (19M) [application/zip]\n",
      "Saving to: ‘src_data/GermanDPR.zip’\n",
      "\n",
      "GermanDPR.zip       100%[===================>]  19.18M  5.61MB/s    in 3.8s    \n",
      "\n",
      "2023-04-07 23:38:49 (5.04 MB/s) - ‘src_data/GermanDPR.zip’ saved [20114171/20114171]\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# -nc option: do not download if available\n",
    "!wget -nc -P src_data https://germanquad.s3.amazonaws.com/GermanDPR.zip"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "4eb81f0f-e4e8-4f08-8c86-5be2a043e3bc",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Archive:  ./src_data/GermanDPR.zip\n",
      "  inflating: src_data/GermanDPR/GermanDPR_test.json  \n",
      "  inflating: src_data/GermanDPR/GermanDPR_test_in_squad_format.json  \n",
      "  inflating: src_data/GermanDPR/GermanDPR_train.json  \n"
     ]
    }
   ],
   "source": [
    "# -n option: do not unzip if already available\n",
    "!unzip -n ./src_data/GermanDPR.zip -d src_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "0ec059d7-c559-4291-a6dc-07f25b9a193c",
   "metadata": {},
   "outputs": [],
   "source": [
    "DATASET_NAME_AND_VERSION = \"InstructGermanDPR_v1\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "c55d3429-7d8b-4c7e-aa58-690338eb4b7a",
   "metadata": {},
   "outputs": [],
   "source": [
    "random.seed(42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "24e1e099-152a-42ed-93e4-e6084cb0096c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# regex to remove Wikipedia headers\n",
    "regex = re.compile(r\"^.*\\n*=+ *.+ *=+ *\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "8f37270b-6467-4cec-ae97-f942c56795e5",
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"./src_data/GermanDPR/GermanDPR_train.json\", encoding=\"utf-8\") as f:\n",
    "    germandpr_train = json.load(f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "59ba51bf-2fcc-48f6-93ad-82841e003afe",
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"./src_data/GermanDPR/GermanDPR_test.json\", encoding=\"utf-8\") as f:\n",
    "    germandpr_test = json.load(f)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "4a0b7e59-d324-4ff2-9c0c-eb83c4f2e423",
   "metadata": {},
   "outputs": [],
   "source": [
    "def create_synonyms():\n",
    "    \"\"\"Select synonyms from synonyms dict.\"\"\"\n",
    "    return {k: random.choice(v) for (k, v) in synonyms.items()}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "8605cf55-dcf0-4c8f-ba4e-b2a98a68668b",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_positive_pair(question, ctx, answer):\n",
    "    # do this once to be consistent for input and output\n",
    "    synonyms = create_synonyms()\n",
    "    \n",
    "    input_result = random.choice(input_templates)\n",
    "    input_result = input_result.format(**synonyms, question=question, ctx=ctx)\n",
    "    \n",
    "    output_result = random.choice(positive_output_templates)\n",
    "    output_result = output_result.format(**synonyms, answer=answer)\n",
    "    \n",
    "    return input_result, output_result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "fc21d794-b46e-4085-97ef-60e064683f77",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_negative_pair(question, ctx):\n",
    "    # do this once to be consistent for input and output\n",
    "    synonyms = create_synonyms()\n",
    "    \n",
    "    input_result = random.choice(input_templates)\n",
    "    input_result = input_result.format(**synonyms, question=question, ctx=ctx)\n",
    "    \n",
    "    output_result = random.choice(negative_output_templates)\n",
    "    output_result = output_result.format(**synonyms)\n",
    "    \n",
    "    return input_result, output_result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "1080193a-baae-41bf-be85-506bbeb34688",
   "metadata": {},
   "outputs": [],
   "source": [
    "synonyms = {\n",
    "    \"frage\": [\"Frage\", \"Fragestellung\", \"Problemstellung\", \"Anfrage\"],\n",
    "    \"text\": [\"Text\", \"Absatz\", \"Textbereich\", \"Abschnitt\"],\n",
    "    \"exakt\": [\"exakt\", \"genau\", \"präzise\", \"akkurat\"],\n",
    "    \"textstelle\": [\"Textstelle\", \"Textpassage\", \"Sequenz\"],\n",
    "    \"ist\": [\"ist\", \"lautet\", \"heißt\"],\n",
    "    \"antwort\": [\"Antwort\", \"Lösung\"],\n",
    "    \"vorhanden\": [\"vorhanden\", \"verfügbar\"],\n",
    "    \"antwort_nicht_gefunden\": [\n",
    "        \"Antwort nicht gefunden.\", \n",
    "        \"Lösung nicht gefunden.\",\n",
    "        \"Keine Antwort gefunden.\", \n",
    "        \"Keine Lösung gefunden.\",        \n",
    "        \"Die Antwort wurde nicht gefunden.\",\n",
    "        \"Die Lösung wurde nicht gefunden.\",\n",
    "    ],\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "id": "c7ff219d-7485-492e-9b79-31b608488852",
   "metadata": {},
   "outputs": [],
   "source": [
    "input_templates = [\n",
    "\"\"\"\\\n",
    "Finde die {antwort} auf die {frage}: {question}\n",
    "Im folgenden {text}:\n",
    "\n",
    "{ctx}\n",
    "\n",
    "Gebe {exakt} die gefundene {textstelle} wieder oder sage \"{antwort_nicht_gefunden}\", wenn Du nichts gefunden hast.\"\"\",\n",
    "    \n",
    "\"\"\"\\\n",
    "Ich habe folgende {frage}: {question}\n",
    "Finde in folgendem {text} die {antwort} und gib die gefundene {textstelle} {exakt} wieder.\n",
    "\n",
    "{ctx}\n",
    "\n",
    "Wenn nichts gefunden wurde, antworte mit: {antwort_nicht_gefunden}\"\"\",\n",
    "\n",
    "\"\"\"\\\n",
    "Ich habe eine {frage} zu folgendem {text}:\n",
    "\n",
    "{ctx}\n",
    "\n",
    "Die {frage} lautet: {question}\n",
    "Bitte finde im {text} die {antwort} und gib {exakt} nur diese {textstelle} wieder.\n",
    "Informiere mich mit \"{antwort_nicht_gefunden}\", wenn nichts gefunden wurde.\"\"\",\n",
    "    \n",
    "\"\"\"\\\n",
    "Gegeben ist folgender {text}:\n",
    "\n",
    "{ctx}\n",
    "\n",
    "Meine {frage} dazu lautet: {question}\n",
    "Bitte suche im {text} die {antwort} und schreibe {exakt} diese {textstelle}.\n",
    "Antworte mit \"{antwort_nicht_gefunden}\", wenn Du nichts passendes gefunden hast.\"\"\",    \n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "e7c39fc4-0c36-40d0-a237-1af8e5d763ac",
   "metadata": {},
   "outputs": [],
   "source": [
    "positive_output_templates = [\n",
    "\"Die {antwort} auf die {frage} {ist}: \\\"{answer}\\\"\",\n",
    "\"Die {antwort} {ist}: \\\"{answer}\\\"\",\n",
    "\"\\\"{answer}\\\" {ist} die {antwort}.\",\n",
    "\"\\\"{answer}\\\" {ist} das Ergebnis.\",\n",
    "\"{answer}\",\n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "fe23ab27-7f7f-43a1-a3d4-1c518051ea32",
   "metadata": {},
   "outputs": [],
   "source": [
    "negative_output_templates = [\n",
    "\"{antwort_nicht_gefunden}\",\n",
    "]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "60b9e3fc-9d66-4fa8-aef9-bd479ebe8990",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_prompts(germandpr):\n",
    "    \"\"\"Iterate dataset and generate input and output prompts.\"\"\"\n",
    "    input_prompts = []\n",
    "    outputs = []\n",
    "\n",
    "    for i, g in enumerate(germandpr):\n",
    "        question = g[\"question\"].strip()\n",
    "        assert isinstance(question, str)\n",
    "        assert len(question) > 0\n",
    "\n",
    "        answers = g[\"answers\"]\n",
    "        assert isinstance(answers, list)\n",
    "        assert len(answers) == 1\n",
    "\n",
    "        answer = answers[0].strip()  # .replace(\"''\", \"\\\"\")\n",
    "        assert isinstance(answer, str)\n",
    "        assert len(answer) > 0\n",
    "\n",
    "        positive_ctxs = g[\"positive_ctxs\"]\n",
    "        assert isinstance(positive_ctxs, list)\n",
    "        assert len(positive_ctxs) == 1\n",
    "\n",
    "        positive_ctx_text = positive_ctxs[0][\"text\"].strip()  # .replace(\"''\", \"\\\"\")\n",
    "        assert isinstance(positive_ctx_text, str)\n",
    "        assert len(positive_ctx_text) > 0\n",
    "\n",
    "        positive_ctx_text_clean = re.sub(regex, \"\", positive_ctx_text)\n",
    "        positive_ctx_text_clean = positive_ctx_text_clean.strip()\n",
    "        assert \"==\" not in positive_ctx_text_clean\n",
    "        assert len(positive_ctx_text_clean) > 0\n",
    "\n",
    "        if answer not in positive_ctx_text_clean:\n",
    "            # we skip and print datasets where answer is not in positive context\n",
    "            print(\"Anwer not found in context!\")\n",
    "            print(f\"question: {question}\\nanswer: {answer}\\npositive_ctx_text_clean: {positive_ctx_text_clean}\\n\\n\")\n",
    "        else:    \n",
    "            positive_input, positive_output = generate_positive_pair(question, positive_ctx_text_clean, answer)\n",
    "            input_prompts.append(positive_input)\n",
    "            outputs.append(positive_output)\n",
    "\n",
    "        negative_ctxs = g[\"negative_ctxs\"]\n",
    "        assert isinstance(negative_ctxs, list)\n",
    "        assert len(negative_ctxs) == 0\n",
    "\n",
    "        hard_negative_ctxs = g[\"hard_negative_ctxs\"]\n",
    "        assert isinstance(hard_negative_ctxs, list)\n",
    "        assert len(hard_negative_ctxs) > 0\n",
    "\n",
    "        hard_negative_ctx_text_clean_list = []\n",
    "\n",
    "        for hard_negative_ctx in hard_negative_ctxs:\n",
    "            hard_negative_ctx_text = hard_negative_ctx[\"text\"].strip()  # .replace(\"''\", \"\\\"\")\n",
    "            assert isinstance(positive_ctx_text, str)\n",
    "            assert len(positive_ctx_text) > 0   \n",
    "\n",
    "            hard_negative_ctx_text_clean = re.sub(regex, \"\", hard_negative_ctx_text)\n",
    "            hard_negative_ctx_text_clean = hard_negative_ctx_text_clean.strip()\n",
    "            assert \"==\" not in hard_negative_ctx_text_clean, hard_negative_ctx_text\n",
    "            assert len(hard_negative_ctx_text_clean) > 0\n",
    "\n",
    "            hard_negative_ctx_text_clean_list.append(hard_negative_ctx_text_clean)\n",
    "\n",
    "        assert len(hard_negative_ctx_text_clean_list) > 0\n",
    "\n",
    "        negative_input, negative_output = generate_negative_pair(question, random.choice(hard_negative_ctx_text_clean_list))\n",
    "        input_prompts.append(negative_input)\n",
    "        outputs.append(negative_output)\n",
    "    \n",
    "    return input_prompts, outputs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "f5c95e3c-2782-445f-a135-e7486da400e2",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Anwer not found in context!\n",
      "question: Welche Spielkonsole wird am häufigsten ohne Lizenz nachgebaut?\n",
      "answer: Nintendo_Entertainment_System\n",
      "positive_ctx_text_clean: Das NES zählt zu den am meisten unlizenziert nachgebauten Spielkonsolen aller Zeiten. Als Sammelbegriff für diese Konsolen hat sich das Wort „Famiclone“ durchgesetzt, welches aus „Famicom“ (der japanischen NES-Version) und „Clone“ (Nachbau, Klon) abgeleitet ist. Selbst im Jahre 2010, also 25 Jahre nach Erscheinen der Konsole in den USA und trotz dessen, dass wesentlich leistungsfähigere 3D-Spielkonsolen in ihrer vierten Generation verfügbar sind, werden NES-kompatible Spielkonsolen weiterhin hergestellt. Da einige NES-Patente in den USA bereits 2005 abgelaufen sind, können dort nun legal sogenannte „Famiclones“ vertrieben werden, insofern diese keine urheberrechtlich geschützten Spiele enthalten, da deren Urheberrechtsschutz noch immer andauert. Zu den offiziell als NES-kompatibel vertriebenen Konsolen zählen unter anderem „Generation NEX“, „Yobo FC“ und „Famicom Portable“.\n",
      "Allerdings sind diese sogenannten Famiclones nicht ohne weiteres mit US- und Pal-NES-Spielen kompatibel, da die japanischen Famicom-Spiele weniger Anschlusspins und damit kürzere PCBs haben. Auch sind Famiclones fast nie mit offiziellem Zubehör kompatibel, da andere Anschlüsse für die Controller benutzt werden (meist 9Pin-DSub-Buchsen).\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Welcher USB-Typ wurde im August 2014 präsentiert?\n",
      "answer: USB Typ C\n",
      "positive_ctx_text_clean: Im August 2014 wurde die Spezifikation der neuen, mit bisheriger Hardware nicht kompatiblen Typ-C-Steckverbindung verabschiedet. Die neue Steckverbindung ist punktsymmetrisch und kann in beiden möglichen Orientierungen eingesteckt werden.\n",
      "Zudem unterstützt sie alle bisherigen Übertragungsspezifikationen inklusive USB 3.1 (bis zu 10 Gbit/s) und USB Power Delivery (maximal 100 W). Ein weiterer Vorteil der Typ-C-Steckverbindung ist eine niedrige Bauhöhe und geringe Breite der Buchse von 8,4 mm, verglichen mit ca. 12,4 mm bei einer USB-3.0-Micro-B-Buchse, wie sie heute bei praktisch allen externen USB-3.0-Festplatten eingesetzt wird. Die Typ-C-Steckverbindung ist damit auch besser für portable Geräte wie Smartphones, Tablets oder Digitalkameras geeignet, in denen zuvor aus Platzgründen meist die USB-2.0-Micro-B-Buchse verwendet wurde. Darüber hinaus gibt es Adapter und passendes Zubehör, wie z. B. externe Festplatten.\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Welches Jahrhundert gilt als Zeit der Restauration und Regeneration von Bern?\n",
      "answer: 19. Jahrhundert\n",
      "positive_ctx_text_clean: Im Jahr 1815 erhielt Bern im Zuge der Restauration den Status eines Vorortes und diente im Zweijahresrhythmus wechselnd als Regierungssitz des Staatenbundes. Am 14. Januar 1831, im Zuge der Regeneration, dankte die Patrizierregierung ab und machte den Weg zu Wahlen im Kanton frei. Mit der Verfassung von 1831 wurde der Vorrang der Stadt Bern, die Kantonshauptort wurde, im Kanton aufgehoben. 1832 wurde neben der Bürgergemeinde neu die Einwohnergemeinde, in der alle ansässigen Bürger mit einem Mindestvermögen stimmberechtigt waren, geschaffen.\n",
      "Am 5. September 1832 erklärte die Kantonsregierung die Verfassung der Stadt Bern für aufgehoben und den Stadtrat für abgesetzt. In den darauffolgenden Wahlen blieben das Patriziat und später die Konservativen in der Stadt in der Mehrheit.\n",
      "Im Jahr 1846 wurde die Kantonsverfassung im Sinn der Radikalen revidiert; sie blieb bis 1893 in Kraft.\n",
      "Erst 1887 wurde in der Stadt Bern die Urnenwahl und -abstimmung eingeführt. Die Arbeiterschaft Berns hatte sich seit Gründung der sogenannten Ersten Internationale von 1864 in verschiedenen Vereinen organisiert, die ''Sozialdemokratische Partei Berns'' wurde 1877 gegründet. Die Zeitung ''Berner Tagwacht'', die bis 1997 weiterbestand, wurde 1893 gegründet, im Jahr des Käfigturmkrawalls, eines Arbeiteraufstands, der mit Hilfe eidgenössischer Truppen niedergeschlagen wurde. Im Mai 1895 führte die Stadt Bern als eine der ersten Gemeinden der Schweiz den Proporz für die Gemeindewahlen ein. Im gleichen Jahr wurde Gustav Müller als erster Sozialdemokrat in den Gemeinderat gewählt; 1899 sassen bereits zwei Vertreter der Sozialdemokraten in der Berner Regierung.\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Wann beginn das Fränkische Reich?\n",
      "answer: 511\n",
      "positive_ctx_text_clean: In fränkischer Zeit, von etwa 500 an, erfolgte eine starke Zuwanderung germanischer Siedler, die die gallorömische Bevölkerung nach und nach überwogen. Auf diese Zeit geht der Name „Elsass“ zurück, dazu oben Näheres. Straßburg, seit 614 Bischofssitz, war neben Basel und Speyer die wichtigste Stadt der Region.\n",
      "In der Folge der fränkischen Reichsteilungen wechselte das Elsass zwischen 842 und 925 viermal die überregionale politische Zuordnung: 842 zum Mittelfränkischen Reich, 870 zum Ostfrankenreich, 913 zum Westfrankenreich und schließlich 925 wieder zum Ostfrankenreich. Aus diesem wurde langsam der Staatenbund des Heiligen Römischen Reiches, als dessen Teil die meisten der sich entwickelnden elsässischen Regionen und Kleinstaaten bis ins 17. Jahrhundert angesehen wurden. Straßburg entwickelte sich zur zweitgrößten Stadt im Ostfrankenreich (nach Köln).\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Wann gehörte Elsass zum römischen Herrschaftsgebiet?\n",
      "answer: 58/52 v. Chr. bis 476 n. Chr.\n",
      "positive_ctx_text_clean: Mit der Eroberung Galliens durch Caesar zwischen 58 und 52 v. Chr. kam auch das Elsass zum römischen Herrschaftsgebiet, bei dem es bis zum Ende des Weströmischen Reiches um die Mitte des 5. Jahrhunderts verblieb. In diesen etwa 500 Jahren war der Rhein anfangs und wieder seit dem 3. Jahrhundert römische Reichsgrenze. Es entwickelte sich eine gallorömische Bevölkerung, die seit dem 1. Jahrhundert n. Chr. auch erste germanische Gruppen assimilierte, ebenso wie die seit etwa 350 dauerhaft siedelnden Alamannen. Letztere entwickelten nur im heutigen Sundgau eine Art vorstaatlicher (und vorfränkischer) Eigenständigkeit.\n",
      "Anfangs standen die eroberten Gebiete unter Militärverwaltung. Im Jahre 89 oder 90 wurde die Provinz Germania superior (Obergermanien) gegründet, zu der auch das heutige Elsass kam. Im Zuge der diokletianischen Reichsreform wurde das südliche Elsass 297 der Provinz Maxima Sequanorum, das nördliche der Provinz Germania prima (Germania I) zugewiesen. Die dabei gezogene Provinzgrenze entspricht weitestgehend den späteren bzw. heutigen Grenzen zwischen Sundgau, Oberelsass und Haut-Rhin auf der einen und Nordgau, Unterelsass und Bas-Rhin auf der anderen Seite.\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Wann hat der Koreakrieg angefangen?\n",
      "answer: am 25. Juni 1950\n",
      "positive_ctx_text_clean: Kriegsverlauf (Nordkorea rot und Südkorea grün)\n",
      "Am 25. Juni 1950 überschritten Truppen der Nordkoreanischen Volksarmee mit dem Ziel der gewaltsamen Wiedervereinigung beider Staatsteile die Grenze nach Süden. Nordkoreanische Flugzeuge attackierten den von den USA aufgebauten Luftwaffenstützpunkt Gimpo und zerstörten eine Douglas C-54 der US Air Force am Boden. John J. Muccio, der US-Botschafter in Südkorea, leitete darauf hin ein Hilfegesuch zur Unterstützung Südkoreas an US-Präsident Harry S. Truman weiter, der die Luftunterstützung durch die US-Luftwaffe und die Verlegung von Waffen und Munition anordnete. Der US-amerikanische Generalmajor Earle E. Partridge (USAF), Kommandeur der 5. US-Luftflotte, befahl die sofortige Luftevakuierung von US-Bürgern aus Südkorea und erhöhte die Luftüberwachung in der Koreastraße. Die 11. US-Luftflotte setzte zwei Staffeln von Abfangjägern in Japan in Alarmbereitschaft.\n",
      "Der beginnende Koreakrieg löste größte Beunruhigung aus und viele fürchteten einen Dritten Weltkrieg zwischen den Westmächten und dem Ostblock. In Westdeutschland kam es zu einer Notbevorratungswelle.\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Welcher Antrieb ist bei vielen Lokomotiven heutzutage üblich?\n",
      "answer: Drehstrom-Antrieb\n",
      "positive_ctx_text_clean: Durch die Verwendung von Leistungselektronik können moderne Lokomotiven in beliebigen Bahnstromnetzen die Vorteile des Drehstroms nutzen, ohne dessen Nachteile bei der Zuführung zum Fahrzeug in Kauf nehmen zu müssen. Spannung und Frequenz können dabei auf elektronischem Weg stufenlos geregelt werden (Frequenzumrichter). Diese Art des Antriebs hat sich heute als allgemein üblich durchgesetzt. Die erste Lokomotive, die Einphasen-Wechselstrom mit Leistungselektronik an Bord in Drehstrom umgewandelt hat, war 1972 die Versuchslok Be 4/4 12001 der Schweizerischen Bundesbahnen. 1979 folgten die ersten Exemplare der Baureihe 120 der Deutschen Bundesbahn. Es gab auch Lokomotiven, bei denen die Umformung an Bord mit rotierenden Umformern erfolgte.\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Wo wird der Bahnstrom erzeugt?\n",
      "answer: Bahnkraftwerke\n",
      "positive_ctx_text_clean: Zur Bereitstellung von Bahnstrom werden durch manche Bahngesellschaften oder durch mit ihnen kooperierende Stromerzeuger spezielle Kraftwerke betrieben.\n",
      "Die Bahnstromgeneratoren für Wechselstrom mit verminderter Frequenz sind erheblich größer als die für das öffentliche Stromnetz, die zugehörigen Turbinen sind Sonderanfertigungen.\n",
      "In manchen Fällen sind es kombinierte Anlagen, die wahlweise auch gewöhnlichen Netzstrom erzeugen können. Weiterhin sind die DB-Kraftwerke mit jenen der Österreichischen und der Schweizerischen Bundesbahnen vernetzt und können Bahnstrom direkt austauschen.\n",
      "\n",
      "\n",
      "Anwer not found in context!\n",
      "question: Welches war das erste Digimon-Spiel für Nintendo?\n",
      "answer: Digimon World DS\n",
      "positive_ctx_text_clean: Alternativer Titel: jap. Digimon Story デジモンストーリー Dejimon Sutōrī\n",
      "Erscheinungsdatum: 15. Juni 2006 (Japan), 7. Nov. 2006 (Vereinigte Staaten)\n",
      "Dies ist der erste Digimon-Titel, der für den Nintendo DS erschien und somit der neue Sprung der Serie auf Nintendos Konsole, die vorher nur auf Sonys PlayStation erhältlich war. Das Spiel hat viele Aspekte eines klassischen Computer-Rollenspiels: Es gibt Zufallskämpfe, die dem Digimon-Team Erfahrung bringen, Level aufsteigen und neue Techniken erlernen lässt. Dazu gibt es eine ganze Reihe an Quests, die der Spieler zu erfüllen hat und eine Digimon-Farm, in der sich die Monster züchten lassen. Über ein Link-Kabel oder eine WLAN-Verbindung lassen sich Digimon zudem noch in den Kampf schicken und tauschen.\n",
      "\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# generate train pompts\n",
    "inpus_train, outputs_train = generate_prompts(germandpr_train)\n",
    "assert len(inpus_train) == len(outputs_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "7bf53a4a-1186-4d69-8058-5ec9f73fec6f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# generate test pompts\n",
    "inpus_test, outputs_test = generate_prompts(germandpr_test)\n",
    "assert len(inpus_test) == len(outputs_test)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ab1d7ee4-24cf-4136-bb78-6f6c9d733c2e",
   "metadata": {},
   "source": [
    "# Explore Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "d2d8ef32-c334-49ee-b1d0-59c9311de706",
   "metadata": {},
   "outputs": [],
   "source": [
    "def print_train_example(index):\n",
    "    print(inpus_train[index])\n",
    "    print(outputs_train[index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "8cccadf4-ca74-4632-912f-5dd68d3133cd",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Finde die Antwort auf die Frage: Wie viele christlichen Menschen in Deutschland glauben an einen Gott?\n",
      "Im folgenden Text:\n",
      "\n",
      "Eine Zusammenfassung von Umfrageergebnissen aus verschiedenen Staaten ergab im Jahr 2007, dass es weltweit zwischen 505 und 749 Millionen Atheisten und Agnostiker gibt. Laut der Encyclopædia Britannica gab es 2009 weltweit 640 Mio. Nichtreligiöse und Agnostiker (9,4 %), und weitere 139 Mio. Atheisten (2,0 %), hauptsächlich in der Volksrepublik China.\n",
      "Bei einer Eurobarometer-Umfrage im Jahr 2005 wurde festgestellt, dass 52 % der damaligen EU-Bevölkerung glaubt, dass es einen Gott gibt. Eine vagere Frage nach dem Glauben an „eine andere spirituelle Kraft oder Lebenskraft“ wurde von weiteren 27 % positiv beantwortet. Bezüglich der Gottgläubigkeit bestanden große Unterschiede zwischen den einzelnen europäischen Staaten. Die Umfrage ergab, dass der Glaube an Gott in Staaten mit starkem kirchlichen Einfluss am stärksten verbreitet ist, dass mehr Frauen (58 %) als Männer (45 %) an einen Gott glauben und dass der Gottglaube mit höherem Alter, geringerer Bildung und politisch rechtsgerichteten Ansichten korreliert.\n",
      "Laut einer Befragung von 1003 Personen in Deutschland im März 2019 glauben 55 % an einen Gott; 2005 waren es 66 % gewesen. 75 % der befragten Katholiken sowie 67 % der Protestanten glaubten an einen Gott (2005: 85 % und 79 %). Unter Konfessionslosen ging die Glaubensquote von 28 auf 20 % zurück. Unter Frauen (60 %) war der Glauben 2019 stärker ausgeprägt als unter Männern (50 %), in Westdeutschland (63 %) weiter verbreitet als in Ostdeutschland (26 %).\n",
      "\n",
      "Gebe präzise die gefundene Textstelle wieder oder sage \"Die Lösung wurde nicht gefunden.\", wenn Du nichts gefunden hast.\n",
      "75 % der befragten Katholiken sowie 67 % der Protestanten glaubten an einen Gott (2005: 85 % und 79 %)\n"
     ]
    }
   ],
   "source": [
    "print_train_example(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "0ff0c4c5-ec1b-4d8a-b7ee-aebeb3e825ea",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Gegeben ist folgender Text:\n",
      "\n",
      "Der Glaube an eine ''Kommende Welt'' (Olam Haba) bzw. an eine ''Welt des ewigen Lebens'' ist ein Grundprinzip des Judentums. Dieser jüdische Glaube ist von dem christlichen Glauben an das ''Ewige Leben'' fundamental unterschieden. Die jüdische Lehre spricht niemandem das Heil dieser kommenden Welt ab, droht aber auch nicht mit Höllenstrafen im Jenseits. Juden glauben schlicht, dass allen Menschen ein Anteil der kommenden Welt zuteilwerden kann. Es gibt zwar viele Vorstellungen der kommenden Welt, aber keine kanonische Festlegung ihrer Beschaffenheit; d. h., das Judentum kennt keine eindeutige Antwort darauf, was nach dem Tod mit uns geschieht. Die Frage nach dem Leben nach dem Tod wird auch als weniger wesentlich angesehen, als Fragen, die das Leben des Menschen auf Erden und in der Gesellschaft betreffen.\n",
      "Der jüdische Glaube an eine kommende Welt bedeutet nicht, dass Menschen, die nie von der Tora gehört haben, böse oder sonst minderwertige Menschen sind. Das Judentum lehrt den Glauben, dass alle Menschen mit Gott verbunden sind. Es gibt im Judentum daher keinen Grund, zu missionieren. Das Judentum lehrt auch, dass alle Menschen sich darin gleichen, dass sie weder prinzipiell gut noch böse sind, sondern eine Neigung zum Guten wie zum Bösen haben. Während des irdischen Lebens sollte sich der Mensch immer wieder für das Gute entscheiden.\n",
      "\n",
      "Meine Frage dazu lautet: Wie viele christlichen Menschen in Deutschland glauben an einen Gott?\n",
      "Bitte suche im Text die Antwort und schreibe exakt diese Textstelle.\n",
      "Antworte mit \"Die Lösung wurde nicht gefunden.\", wenn Du nichts passendes gefunden hast.\n",
      "Die Lösung wurde nicht gefunden.\n"
     ]
    }
   ],
   "source": [
    "print_train_example(1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "223197a6-975b-473f-a9c9-9340d706ac54",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Finde die Lösung auf die Problemstellung: In welchem Film wurde der Power Glove durch Product Placement beworben?\n",
      "Im folgenden Abschnitt:\n",
      "\n",
      "Der Power Glove ist ein Datenhandschuh für den rechten Arm. Mittels am TV anzubringender Sensoren kann man durch Bewegungen des Armes das Spiel steuern. Für zahlreiche Titel war bereits eine Steuerung programmiert, für viele muss man diese jedoch noch selbst kalibrieren. Das Spiel Super Gloveball war speziell auf den Power Glove ausgerichtet, ansonsten hielt sich der praktische Nutzen sehr in Grenzen. In der Computerspielkultur gelangte er zu zweifelhafter Berühmtheit, die sich auf eines der frühesten Beispiele für einen „Hype-Backlash“ zurückführen lässt: Nintendo ließ den Powerglove (neben vielen anderen allzu offensichtlichen Produktplatzierungen) in dem Hollywood-Blockbuster ''Joy Stick Heroes'' (englisch ''The Wizard'') vor dem eigentlichen Verkaufsstart bewerben. Die Dissonanz zwischen Werbeversprechen und Realität und die unfreiwillige Komik des Filmdialogs, die diese ''a posteriori'' reflektiert (Zitat: ''„I love the Powerglove. It's so ''bad''!“''; wobei ''bad'' gleichzeitig als „voll krass“ oder „grottenschlecht“ verstanden werden kann), hat dem Gerät vorläufig einen festen Platz im Humor der Nerd-Kultur gesichert.\n",
      "Im Kurzfilm ''Kung Fury'', dessen Handlung im Jahr 1985 angesiedelt ist, benutzt der Hacker \"Hackerman\" den Power Glove, um eine Zeitreise durchzuführen.\n",
      "\n",
      "Gebe genau die gefundene Sequenz wieder oder sage \"Die Antwort wurde nicht gefunden.\", wenn Du nichts gefunden hast.\n",
      "Die Lösung auf die Problemstellung lautet: \"Joy Stick Heroes\"\n"
     ]
    }
   ],
   "source": [
    "print_train_example(-2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "453c7577-097b-4ed9-afc8-0875c738063f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Gegeben ist folgender Textbereich:\n",
      "\n",
      "Manche Kritiken gehen auch auf die Produktplatzierung im Film ein:\n",
      "So schrieb Lea Hermann für ''Focus'': „Auf die Nerven geht irgendwann die Schleichwerbung im ''Schlussmacher'', die eigentlich gar nichts mehr mit schleichen zu tun hat. Äußerst offensichtlich sind die Produkte platziert. Mal liegt ein Schokoriegel gut erkennbar neben Paul im Bett, mal fallen Dosen eines bekannten Energy-Drink-Herstellers aus dem Auto. Oder man denkt, es läuft Werbung, wenn Paul gefühlte fünf Minuten auf das Display seines Smartphones mit sehr gut erkennbaren Marken-Logo starrt.“\n",
      "Die ''Welt'' befand etwas nüchtern: „Herausragend ist nur das allzu auffällige Product Placement.“ In einem Interview mit der Neuen Osnabrücker Zeitung erklärt Schweighöfer dazu: „Es stimmt natürlich, dass Bahlsen unser Product-Placement-Partner war. Ein Super-Deal, weil wir auch weiterhin zusammenarbeiten – in einem Spot, der sowohl die Kekse als auch unseren Film bewirbt. Das sind die Spielregeln: Wer eine Firma gründet, muss Rechnungen bezahlen.“\n",
      "\n",
      "Meine Anfrage dazu lautet: In welchem Film wurde der Power Glove durch Product Placement beworben?\n",
      "Bitte suche im Textbereich die Antwort und schreibe exakt diese Textpassage.\n",
      "Antworte mit \"Lösung nicht gefunden.\", wenn Du nichts passendes gefunden hast.\n",
      "Lösung nicht gefunden.\n"
     ]
    }
   ],
   "source": [
    "print_train_example(-1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "df907016-74c0-41a9-a44a-0a34b187f4ba",
   "metadata": {},
   "outputs": [],
   "source": [
    "def print_test_example(index):\n",
    "    print(inpus_test[index])\n",
    "    print(outputs_test[index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "d1a49f55-03ce-4ce9-a32a-b4b1f57600bb",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Gegeben ist folgender Abschnitt:\n",
      "\n",
      "Innerhalb der Alpen ist das französische Grenoble die größte Stadt, gefolgt von Innsbruck in Österreich sowie von Trient und Bozen in Italien. In der Schweiz liegen Chur, Thun und Lugano in den Alpen. Weitere Alpenstädte in Österreich sind Klagenfurt und Villach, sowie im Rheintal Bregenz, Dornbirn und Feldkirch. Ferner zu nennen ist Vaduz, die Hauptstadt Liechtensteins. Die höchste Stadt der Alpen (und Europas) ist das schweizerische Davos.\n",
      "In direkter Alpenrandlage ist Wien die weitaus größte Stadt, gefolgt von Genf (Schweiz) und Nizza (Frankreich). Weitere wichtige Städte sind – von Ost nach West – Maribor (Slowenien), Graz (Österreich), Ljubljana (Slowenien), Udine (Italien), Salzburg (Österreich), Vicenza (Italien), Verona (Italien), Brescia (Italien), Bergamo (Italien), St. Gallen (Schweiz), Lecco (Italien), Como (Italien), Varese (Italien), Luzern (Schweiz), Savona (Italien), Biella (Italien), San Remo (Italien), Cuneo (Italien), Bern (Schweiz) und Monaco.\n",
      "\n",
      "Meine Frage dazu lautet: Welches ist die zweitgrößte Stadt in den Alpen?\n",
      "Bitte suche im Abschnitt die Lösung und schreibe akkurat diese Textstelle.\n",
      "Antworte mit \"Antwort nicht gefunden.\", wenn Du nichts passendes gefunden hast.\n",
      "\"Innsbruck\" ist das Ergebnis.\n"
     ]
    }
   ],
   "source": [
    "print_test_example(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "dee8810d-4e39-40a0-8484-2c1764d8a61d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Ich habe eine Anfrage zu folgendem Abschnitt:\n",
      "\n",
      "Der Großglockner ist Teil des ''Glocknerkamms'', eines Gebirgskamms der Glocknergruppe (Österreichische Zentralalpen), der am Eiskögele in südöstlicher Richtung vom Alpenhauptkamm abzweigt und dort die Grenze zwischen den Bundesländern Tirol im Südwesten und Kärnten im Nordosten bildet. Diese Grenze ist auch die Wasserscheide zwischen dem Kalser Tal mit seinen Seitentälern auf der Osttiroler und dem Mölltal mit der Pasterze auf der Kärntner Seite. Die Gegend um den Berg ist außerdem seit 1986 Bestandteil des ''Sonderschutzgebietes Großglockner-Pasterze'' innerhalb des Nationalparks Hohe Tauern.\n",
      "Der Großglockner ist der höchste Berg der Alpen östlich der 175 km entfernten Ortlergruppe und weist damit nach dem Mont Blanc die zweitgrößte geografische Dominanz aller Berge der Alpen auf. Auch seine Schartenhöhe ist mit 2.424 Metern nach dem Montblanc die zweitgrößte aller Alpengipfel. Somit ist der Berg eine der eigenständigsten Erhebungen der Alpen. Die Aussicht vom Großglockner gilt als die weiteste aller Berge der Ostalpen, sie reicht 220 Kilometer weit, unter Berücksichtigung der terrestrischen Refraktion fast 240 Kilometer. Der Blick über mehr als 150.000 Quadratkilometer Erdoberfläche reicht bis zur Schwäbisch-Bayerischen Ebene im Nordwesten, bis Regensburg und zum Böhmerwald im Norden, zum Ortler im Westen, zur Poebene im Süden, zum Triglav und zum Toten Gebirge im Osten.\n",
      "Die bedeutendsten Orte in der Umgebung des Berges sind Kals am Großglockner () im Kalser Tal in Osttirol, vom Gipfel aus ungefähr acht Kilometer in südwestlicher Richtung gelegen, und Heiligenblut am Großglockner () im Mölltal in Kärnten, vom Gipfel aus ca. zwölf Kilometer in südöstlicher Richtung.\n",
      "\n",
      "Die Anfrage lautet: Welches ist die zweitgrößte Stadt in den Alpen?\n",
      "Bitte finde im Abschnitt die Lösung und gib präzise nur diese Sequenz wieder.\n",
      "Informiere mich mit \"Lösung nicht gefunden.\", wenn nichts gefunden wurde.\n",
      "Lösung nicht gefunden.\n"
     ]
    }
   ],
   "source": [
    "print_test_example(1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "894a782d-540d-4200-b7ab-f9c7575e08f0",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Finde die Antwort auf die Frage: Mit welchem Antrieb werden Zahnstangenaufzüge betrieben?\n",
      "Im folgenden Text:\n",
      "\n",
      "Bei einem Zahnstangenaufzug ist die Aufzugskabine mit einem eigenen Antrieb ausgestattet. Der Antrieb kann durch einen Elektromotor oder einen Verbrennungsmotor nach dem Zahnstangen/Ritzelprinzip erfolgen.\n",
      "Zahnstangenaufzüge werden unter anderem als Bauaufzüge, Kranführeraufzüge, Rettungsaufzüge oder Wartungsaufzüge eingesetzt, um Material und Personen zu transportieren. Sie werden auch in abgespannten Sendemasten oder ähnlichen Konstruktionen installiert, um die Flugsicherheitslampen oder andere Anlagenteile leichter warten zu können. Beispiele für installierte Zahnstangenaufzüge im Wartungsbereich sind die Tragmasten der Elbekreuzung 2 oder der Sendemast des WDR in Velbert-Langenberg mit Benzinmotor. Als Kranführeraufzüge beim Erzumschlager Hansaport in Hamburg oder als Rettungsaufzüge für die Feuerwehr beim Eisenbahntunnel Zürich–Thalwil. Vielen ist er auch bekannt aus Rundgängen und Exkursionen als Auffahrtmöglichkeit zum Dachstuhl des Kölner Domes.\n",
      "\n",
      "Gebe exakt die gefundene Textstelle wieder oder sage \"Lösung nicht gefunden.\", wenn Du nichts gefunden hast.\n",
      "Die Antwort ist: \"einen Elektromotor oder einen Verbrennungsmotor\"\n"
     ]
    }
   ],
   "source": [
    "print_test_example(-2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "f614d455-3937-4d2c-bfea-4e31e0825651",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Ich habe eine Fragestellung zu folgendem Text:\n",
      "\n",
      "In modernen holzverarbeitenden Betrieben wird überwiegend mit motorisiertem Werkzeug gearbeitet. Es kommen Maschinen mit Verbrennungsmotor, Elektromotor und pneumatischen Antrieben zum Einsatz. Durch pneumatischen Antrieb wird Funkenschlag vermieden, durch den eine Staubexplosion ausgelöst werden kann. Maschinen mit Verbrennungsmotor können nur außerhalb geschlossener Räume betrieben werden. Bis heute werden vereinzelt Wasserräder zum Antrieb genutzt deren Kraft über Transmission auf die Maschinen übertragen wird.\n",
      "Alle Maschinen gibt es in verschiedenen Ausführungen und Formen, je nach Anforderung als stationäre Einrichtung oder als Handmaschine.\n",
      "\n",
      "Die Fragestellung lautet: Mit welchem Antrieb werden Zahnstangenaufzüge betrieben?\n",
      "Bitte finde im Text die Lösung und gib präzise nur diese Textstelle wieder.\n",
      "Informiere mich mit \"Keine Lösung gefunden.\", wenn nichts gefunden wurde.\n",
      "Keine Lösung gefunden.\n"
     ]
    }
   ],
   "source": [
    "print_test_example(-1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2c821d9c-dea6-4c4b-b2b6-d7853d6d43a8",
   "metadata": {},
   "source": [
    "# Save Data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "5d391d15-c1f5-4ce7-a286-b56f9d0dbb35",
   "metadata": {},
   "outputs": [],
   "source": [
    "!mkdir -p instruct_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "ba67d938-c3d9-4583-8374-7e87590679f8",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>input</th>\n",
       "      <th>output</th>\n",
       "      <th>uuid</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Finde die Antwort auf die Frage: Wie viele chr...</td>\n",
       "      <td>75 % der befragten Katholiken sowie 67 % der P...</td>\n",
       "      <td>2cb73380-60c9-4596-9fc0-083b939ce6df</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Gegeben ist folgender Text:\\n\\nDer Glaube an e...</td>\n",
       "      <td>Die Lösung wurde nicht gefunden.</td>\n",
       "      <td>c9c05ddb-e529-4bba-b331-f6536eaf26be</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Ich habe folgende Anfrage: Wann werden Kleinsp...</td>\n",
       "      <td>Die Lösung heißt: \"bei der Beleuchtung von rot...</td>\n",
       "      <td>4513527e-79aa-46dd-9810-cc110e5e11d5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Gegeben ist folgender Text:\\n\\nUm einen schnel...</td>\n",
       "      <td>Antwort nicht gefunden.</td>\n",
       "      <td>187dea7e-8cb2-4a6f-96be-30c9a9a8f0f7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Finde die Lösung auf die Anfrage: Wie viel Spe...</td>\n",
       "      <td>Die Lösung auf die Anfrage heißt: \"neben dem M...</td>\n",
       "      <td>cfae09be-6cbe-4191-994f-1457eb5773b6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18536</th>\n",
       "      <td>Gegeben ist folgender Text:\\n\\nSchlacht_um_Iwo...</td>\n",
       "      <td>Die Antwort wurde nicht gefunden.</td>\n",
       "      <td>e476f5ab-078a-4d14-8e5d-cb4c24cb3d9c</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18537</th>\n",
       "      <td>Ich habe eine Anfrage zu folgendem Absatz:\\n\\n...</td>\n",
       "      <td>\"Powhatan-Konföderation\" heißt das Ergebnis.</td>\n",
       "      <td>d65fff96-043b-40ed-863c-1eba898d029e</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18538</th>\n",
       "      <td>Ich habe folgende Anfrage: Zu welchem Stammesz...</td>\n",
       "      <td>Die Lösung wurde nicht gefunden.</td>\n",
       "      <td>6dfb3b34-be0a-40f3-8617-c169d71775e9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18539</th>\n",
       "      <td>Finde die Lösung auf die Problemstellung: In w...</td>\n",
       "      <td>Die Lösung auf die Problemstellung lautet: \"Jo...</td>\n",
       "      <td>8ba4f5bf-60f2-4609-9f5b-467e07e127a3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18540</th>\n",
       "      <td>Gegeben ist folgender Textbereich:\\n\\nManche K...</td>\n",
       "      <td>Lösung nicht gefunden.</td>\n",
       "      <td>7e85b19f-dbfd-46a9-9c1d-d0119746b007</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>18541 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                   input   \n",
       "0      Finde die Antwort auf die Frage: Wie viele chr...  \\\n",
       "1      Gegeben ist folgender Text:\\n\\nDer Glaube an e...   \n",
       "2      Ich habe folgende Anfrage: Wann werden Kleinsp...   \n",
       "3      Gegeben ist folgender Text:\\n\\nUm einen schnel...   \n",
       "4      Finde die Lösung auf die Anfrage: Wie viel Spe...   \n",
       "...                                                  ...   \n",
       "18536  Gegeben ist folgender Text:\\n\\nSchlacht_um_Iwo...   \n",
       "18537  Ich habe eine Anfrage zu folgendem Absatz:\\n\\n...   \n",
       "18538  Ich habe folgende Anfrage: Zu welchem Stammesz...   \n",
       "18539  Finde die Lösung auf die Problemstellung: In w...   \n",
       "18540  Gegeben ist folgender Textbereich:\\n\\nManche K...   \n",
       "\n",
       "                                                  output   \n",
       "0      75 % der befragten Katholiken sowie 67 % der P...  \\\n",
       "1                       Die Lösung wurde nicht gefunden.   \n",
       "2      Die Lösung heißt: \"bei der Beleuchtung von rot...   \n",
       "3                                Antwort nicht gefunden.   \n",
       "4      Die Lösung auf die Anfrage heißt: \"neben dem M...   \n",
       "...                                                  ...   \n",
       "18536                  Die Antwort wurde nicht gefunden.   \n",
       "18537       \"Powhatan-Konföderation\" heißt das Ergebnis.   \n",
       "18538                   Die Lösung wurde nicht gefunden.   \n",
       "18539  Die Lösung auf die Problemstellung lautet: \"Jo...   \n",
       "18540                             Lösung nicht gefunden.   \n",
       "\n",
       "                                       uuid  \n",
       "0      2cb73380-60c9-4596-9fc0-083b939ce6df  \n",
       "1      c9c05ddb-e529-4bba-b331-f6536eaf26be  \n",
       "2      4513527e-79aa-46dd-9810-cc110e5e11d5  \n",
       "3      187dea7e-8cb2-4a6f-96be-30c9a9a8f0f7  \n",
       "4      cfae09be-6cbe-4191-994f-1457eb5773b6  \n",
       "...                                     ...  \n",
       "18536  e476f5ab-078a-4d14-8e5d-cb4c24cb3d9c  \n",
       "18537  d65fff96-043b-40ed-863c-1eba898d029e  \n",
       "18538  6dfb3b34-be0a-40f3-8617-c169d71775e9  \n",
       "18539  8ba4f5bf-60f2-4609-9f5b-467e07e127a3  \n",
       "18540  7e85b19f-dbfd-46a9-9c1d-d0119746b007  \n",
       "\n",
       "[18541 rows x 3 columns]"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train_df = pd.DataFrame({\"input\": inpus_train, \"output\": outputs_train})\n",
    "train_df[\"uuid\"] = [uuid.uuid4() for _ in range(len(train_df))]\n",
    "train_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "6928fda6-5e4c-4509-9952-66763eaed088",
   "metadata": {},
   "outputs": [],
   "source": [
    "train_df.to_csv(f\"./instruct_data/{DATASET_NAME_AND_VERSION}_train.csv\", index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "0ea7582b-b088-4978-894c-d39a844942b2",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>input</th>\n",
       "      <th>output</th>\n",
       "      <th>uuid</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Gegeben ist folgender Abschnitt:\\n\\nInnerhalb ...</td>\n",
       "      <td>\"Innsbruck\" ist das Ergebnis.</td>\n",
       "      <td>0a276b4a-a03c-415d-9596-0d13a3fe440a</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Ich habe eine Anfrage zu folgendem Abschnitt:\\...</td>\n",
       "      <td>Lösung nicht gefunden.</td>\n",
       "      <td>37e8f20e-41f6-4b81-b3f8-0bfe5baaf0bd</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Gegeben ist folgender Textbereich:\\n\\nDer Schu...</td>\n",
       "      <td>Ende 2017 auf rund 15,8 Milliarden Euro</td>\n",
       "      <td>f6f85cbc-a36c-410e-aa23-61e6340020f3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Ich habe eine Fragestellung zu folgendem Absch...</td>\n",
       "      <td>Keine Antwort gefunden.</td>\n",
       "      <td>4e47b6c2-0cf7-432d-859b-3ba90aa579e9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Gegeben ist folgender Absatz:\\n\\nDer USB-Host-...</td>\n",
       "      <td>\"Transferart, Geräteeigenschaften und Busbelas...</td>\n",
       "      <td>01b3ad75-6278-47f2-8eef-b4cc690d791e</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2045</th>\n",
       "      <td>Ich habe eine Fragestellung zu folgendem Textb...</td>\n",
       "      <td>Die Lösung wurde nicht gefunden.</td>\n",
       "      <td>1a774b9d-e4c7-4940-ae36-379499d3d0f9</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2046</th>\n",
       "      <td>Finde die Lösung auf die Anfrage: Wieso sind h...</td>\n",
       "      <td>\"aufgrund der gemeinsamen Kolonialgeschichte\" ...</td>\n",
       "      <td>03e8cfa2-fbba-4e09-8fe8-398317def04a</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2047</th>\n",
       "      <td>Finde die Antwort auf die Problemstellung: Wie...</td>\n",
       "      <td>Keine Antwort gefunden.</td>\n",
       "      <td>43cda5e7-3dc3-4986-b06c-2a41f5461265</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2048</th>\n",
       "      <td>Finde die Antwort auf die Frage: Mit welchem A...</td>\n",
       "      <td>Die Antwort ist: \"einen Elektromotor oder eine...</td>\n",
       "      <td>1ea276bf-e81c-4a8b-8a93-3f3464b0130e</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2049</th>\n",
       "      <td>Ich habe eine Fragestellung zu folgendem Text:...</td>\n",
       "      <td>Keine Lösung gefunden.</td>\n",
       "      <td>718c3490-2783-4cba-9bfc-7e930892d0c0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>2050 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                  input   \n",
       "0     Gegeben ist folgender Abschnitt:\\n\\nInnerhalb ...  \\\n",
       "1     Ich habe eine Anfrage zu folgendem Abschnitt:\\...   \n",
       "2     Gegeben ist folgender Textbereich:\\n\\nDer Schu...   \n",
       "3     Ich habe eine Fragestellung zu folgendem Absch...   \n",
       "4     Gegeben ist folgender Absatz:\\n\\nDer USB-Host-...   \n",
       "...                                                 ...   \n",
       "2045  Ich habe eine Fragestellung zu folgendem Textb...   \n",
       "2046  Finde die Lösung auf die Anfrage: Wieso sind h...   \n",
       "2047  Finde die Antwort auf die Problemstellung: Wie...   \n",
       "2048  Finde die Antwort auf die Frage: Mit welchem A...   \n",
       "2049  Ich habe eine Fragestellung zu folgendem Text:...   \n",
       "\n",
       "                                                 output   \n",
       "0                         \"Innsbruck\" ist das Ergebnis.  \\\n",
       "1                                Lösung nicht gefunden.   \n",
       "2               Ende 2017 auf rund 15,8 Milliarden Euro   \n",
       "3                               Keine Antwort gefunden.   \n",
       "4     \"Transferart, Geräteeigenschaften und Busbelas...   \n",
       "...                                                 ...   \n",
       "2045                   Die Lösung wurde nicht gefunden.   \n",
       "2046  \"aufgrund der gemeinsamen Kolonialgeschichte\" ...   \n",
       "2047                            Keine Antwort gefunden.   \n",
       "2048  Die Antwort ist: \"einen Elektromotor oder eine...   \n",
       "2049                             Keine Lösung gefunden.   \n",
       "\n",
       "                                      uuid  \n",
       "0     0a276b4a-a03c-415d-9596-0d13a3fe440a  \n",
       "1     37e8f20e-41f6-4b81-b3f8-0bfe5baaf0bd  \n",
       "2     f6f85cbc-a36c-410e-aa23-61e6340020f3  \n",
       "3     4e47b6c2-0cf7-432d-859b-3ba90aa579e9  \n",
       "4     01b3ad75-6278-47f2-8eef-b4cc690d791e  \n",
       "...                                    ...  \n",
       "2045  1a774b9d-e4c7-4940-ae36-379499d3d0f9  \n",
       "2046  03e8cfa2-fbba-4e09-8fe8-398317def04a  \n",
       "2047  43cda5e7-3dc3-4986-b06c-2a41f5461265  \n",
       "2048  1ea276bf-e81c-4a8b-8a93-3f3464b0130e  \n",
       "2049  718c3490-2783-4cba-9bfc-7e930892d0c0  \n",
       "\n",
       "[2050 rows x 3 columns]"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_df = pd.DataFrame({\"input\": inpus_test, \"output\": outputs_test})\n",
    "test_df[\"uuid\"] = [uuid.uuid4() for _ in range(len(test_df))]\n",
    "test_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "a6ec4338-aedc-4299-a16c-a1ba849c705f",
   "metadata": {},
   "outputs": [],
   "source": [
    "test_df.to_csv(f\"./instruct_data/{DATASET_NAME_AND_VERSION}_test.csv\", index=False)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python [conda env:selenium-openai]",
   "language": "python",
   "name": "conda-env-selenium-openai-py"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.16"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}