90%_synthetic_dataset_generation.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "a66cfe13",
   "metadata": {},
   "source": [
    "Importing necessary libraries and API key for using Chat GPT"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "81e81fe5",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "f2af7e77",
   "metadata": {},
   "outputs": [],
   "source": [
    "import openai\n",
    "Preste_key = \"Your API\"\n",
    "openai.api_key = Preste_key"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "66253ac4",
   "metadata": {},
   "source": [
    "Form requests that can generate us sentences with necessary intentions"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "2dda2c93",
   "metadata": {},
   "outputs": [],
   "source": [
    "request_transfert = f\"écris 90 phrases qui contiennent l'intention de demander un transfert bancaire. Par exemple: 'Je voudrais faire un transfert', 'prenez cent cinquante dollars de mon compte courant wells fargo et mettez-le dans mon compte d’épargne wells fargo', 'déplacer deux cents dollars sur mon compte d’épargne chase vers mon compte courant wells fargo', 'transférer un dollar de mes chèques à mes économies', 'pouvez-vous transférer mon argent à mes économies', 'envoyer 100 dollars de mon marché monétaire d’avant-garde à mes puits fargo économies', 'envoyer de l’argent d’un compte à un autre', 'J’ai besoin de déplacer de l’argent d’un compte à un autre', 's’il vous plaît transférer 100 dollars entre mes paiements amazon et comptes d’épargne', 'transférer deux cents dollars entre mon portefeuille et mon compte du marché monétaire'. N'inclus pas l'information supplémentaire. Seulement l'intention de demander un transfert bancaire\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_cancel = f\"écris 90 phrases qui contiennent l'intention d'annuler la réservation d'une chambre d'hôtel. Par exemple: 'Je veux annuler ma réservation pour 5 à red robin', 'Je dois annuler ma réservation après tout, s’il vous plaît', 'Je souhaite annuler ma réservation pour fred à red robin', 'Je voudrais que vous annuliez la réservation du dîner pour williams au palais ce soir', 'Je dois annuler ma réservation après tout, s’il vous plaît', 'Je n’ai plus besoin de ma réservation', 'pouvez-vous annuler ma réservation de dîner', 's’il vous plaît supprimer la réservation pour 3 personnes à outback', 'pourriez-vous s’il vous plaît annuler ma réservation pour 5 à red robin', 'la réservation que j’ai créée n’est plus nécessaire'. N'inclus pas l'information supplémentaire. Seulement l'intention d'annuler la réservation d'une chambre d'hôtel.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_bagage_perdu = f\"écris 90 phrases qui contiennent l'intention de trouver un bagage perdu. Par exemple: 'à qui dois-je me plaindre de mes bagages n’arrivant pas à l’aéroport', 'Je viens de voler sur le vol ab123 d’American Airlines de Chicago et je ne trouve pas mes bagages', 'Je pense que mes bagages étaient égarés ou ont été perdus', 'à qui dois-je aller pour trouver les bagages perdus', 'comment puis-je gérer la situation si j’ai perdu mes bagages', 'vers qui puis-je me tourner si j’ai perdu mes bagages', 'mes bagages manquent, je pense', 'quelle étape dois-je prendre si mon sac s’est perdu sur le vol', 'il semble que mes bagages ont disparu', 'comment puis-je trouver les bagages perdus'. N'inclus pas l'information supplémentaire. Seulement l'intention de trouver un bagage perdu.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_voyage = f\"écris 90 phrases qui contiennent l'intention de suggérer un voyage. Par exemple: 'où dois-je voyager si je veux visiter des musées d’histoire', 'quelles sont les destinations de voyage chaudes', 'quel type de divertissement est disponible à Chicago', 'quelles sont les principales attractions à gatlinburg', 'quelles sont les choses amusantes auxquelles je peux participer à Atlanta', 'aidez-moi à trouver des choses à faire à Nashville', 's’il vous plaît suggérer quelques activités touristiques amusantes à Tokyo', 'quel est un bon endroit pour voyager', 'pouvez-vous me donner quelques suggestions pour aller sur le site voir quand j’y arrive', 'donnez-moi des destinations de voyage géniales'. N'inclus pas l'information supplémentaire. Seulement l'intention de suggérer un voyage.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_hotel = f\"écris 90 phrases qui contiennent l'intention de réserver une chambre d'hôtel. Par exemple: 'quel est un bon hôtel pour séjourner à chicago', 'montrez-moi un hôtel bien noté à evans', 'Je veux une chambre d’hôtel pour 6 du 1er au 3 à Seattle', 'J’ai besoin d’une chambre à Londres pour 2 personnes du 1er au 3 mars', 'me trouverez-vous un endroit où séjourner à Casper du 5 au 11 mars', 'réservez-moi un hôtel à st louis près de l’arche du 2 au 5 mars', 'Je veux une chambre d’hôtel pour 6 du 1er au 3 à Seattle', 'J’ai besoin d’une chambre à Indianapolis près de la piste du 2 au 5 mai', 'J’ai besoin d’un hôtel bien noté à Vegas', 'Je voudrais réserver une chambre d’hôtel qui accueille 10 personnes du lundi au mardi à Manhattan'. N'inclus pas l'information supplémentaire. Seulement l'intention de réserver une chambre d'hôtel.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_resto = f\"écris 90 phrases qui contiennent l'intention de réserver une table au restaurant. Par exemple: 'pouvez-vous réserver une table au restaurant pour moi et mon mari', 'puis-je faire une réservation pour 2 à l’oiseau de l’état pour 7:30, s’il vous plaît', 'J’aimerais une réservation pour 2 à olive garden pour 5 pm aujourd’hui', 'faites-moi une réservation pour 5 à coral pour 22 heures immédiatement', 'Je veux réserver une table à 8 à long john silver sous le nom freddie', 'bonjour, je voudrais une réservation pour deux à l’oliveraie à six ce soir', 'faites une réservation à 17 heures aujourd’hui pour 2 à olive garden', 'il faut réserver une table pour 4 au rouge-gorge sous le nom de kevin à 7', 's’il vous plaît réserver une table pour deux à rouge pour 19h00', 'est-il possible d’obtenir une table pour 4 à l’auberge du village vers 10h'. N'inclus pas l'information supplémentaire. Seulement l'intention de réserver une table au restaurant.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_flight = f\"écris 90 phrases qui contiennent l'intention de réserver un vol. Par exemple: 'pourriez-vous me procurer un vol delta de Sioux Falls à Philadelphie pour moins de 400 $', 'quelles compagnies aériennes ont des vols aller-retour du 1er au 7 avril de laxiste à sfo', 'pour les dates du 1er au 7 avril, trouvez-moi des billets d’avion aller-retour de la à sfo', 'pouvez-vous me montrer des vols aller-retour de dallas à los angeles du 2 au 10 mars', 'pourriez-vous faire une réservation de vol avec air emirates d’Orlando à Londres', 'Je suis à la recherche d’un vol de billings à cleveland le 2 mai et un retour le 9 mai', 'J’ai besoin d’un vol pour moins de 300 de pittsburgh à atlanta', 'réserver un vol de new york à la pour moins de 200 dollars', 'Je veux un vol de New York à San Francisco en utilisant delta', 'quels vols aller-retour d’Orlando à Vegas sont disponibles du jeudi au lundi'. N'inclus pas l'information supplémentaire. Seulement l'intention de réserver un vol.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_info_flight = f\"écris 90 phrases qui contiennent l'intention de se renseigner sur un vol. Par exemple: 'cela vous dérange-t-il de m’informer de l’état de mon vol sud-ouest', 'mon vol delta partira-t-il à l’heure?', 'quel est l’eta de mon vol', 'donnez-moi le statut du vol dl123', 'y a-t-il une mise à jour sur le vol dl123', 'à quelle heure mon vol sera-t-il embarqué', 'quand le vol devrait-il atterrir', 'est mon vol delta à l’heure', 'J’ai besoin de connaître l’état de mon vol aérien en Alaska', 's’il vous plaît dites-moi l’état de mon vol sud-ouest'. N'inclus pas l'information supplémentaire. Seulement l'intention de se renseigner sur un vol.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_visa = f\"écris 90 phrases qui contiennent l'intention de se renseigner sur le visa. Par exemple: 'dois-je demander un visa pour visiter dnipro' 'dites-moi si j’ai besoin d’un visa international pour aller au Mexique', 'devrai-je demander un visa si je veux visiter le Mexique', 'les voyages internationaux nécessitent-ils toujours un visa?', 'dois-je apporter un visa lorsque je vais au Canada le mois prochain', 'Je veux voir paris j’ai besoin d’un visa international', 'ai-je besoin d’obtenir un visa de voyage pour partir en vacances dans des endroits en Europe de l’Est', 'aurais-je besoin d’un visa touristique pour le Brésil', 'pour visiter le Cambodge, ai-je besoin d’un visa international', 'si je prévoit d’aller au Royaume-Uni, ai-je besoin d’un visa', 'Je suis en vacances en Israël ai-je besoin d’un visa'. N'inclus pas l'information supplémentaire. Seulement l'intention de se renseigner sur le visa.\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "request_car = f\"écris 90 phrases qui contiennent l'intention de louer un véhicule (voiture, vélo, scooter etc.). Par exemple: 'pourrais-je louer une voiture de dallas du 1er au 10 avril', 'vais-je être en mesure de louer une voiture à boston de Mars 2 à Mars 4', 's’il vous plaît vérifier si je peux faire une location de voiture de l’aéroport de Charlotte Douglas du lundi au mercredi', 'trouvez-moi une voiture de location du 3/6 - 3/9 à port charles', 'J’aurai besoin d’une voiture de location de 3/6 - 3/19 à san jose', 'Je veux louer la voiture la moins chère pour charlottesville, virginie pour mars 7th à 10th, c’est lundi, mardi, mercredi et jeudi', 'aidez-moi à obtenir une voiture de location', 'pouvez-vous m’aider à réserver une voiture de location pour mon voyage à dallas', 'où puis-je louer une voiture bientôt', 'J’ai besoin de faire une location de voiture'. N'inclus pas l'information supplémentaire. Seulement l'intention de louer un véhicule (voiture, vélo, scooter etc.).\" \\\n",
    "                        'Exemple de sortie: [\"phrase_1\", \"phrase_2\"]'\n",
    "all_requests = [request_transfert, request_cancel, request_bagage_perdu, request_voyage, request_hotel, request_resto, request_flight, request_info_flight, request_visa, request_car]"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8828b340",
   "metadata": {},
   "source": [
    "Add real intents from bencmark dataset to the synthetic requests"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "15ca6285",
   "metadata": {},
   "outputs": [],
   "source": [
    "example_car = ['pourrais-je louer une voiture de dallas du 1er au 10 avril', 'vais-je être en mesure de louer une voiture à boston de Mars 2 à Mars 4', 's’il vous plaît vérifier si je peux faire une location de voiture de l’aéroport de Charlotte Douglas du lundi au mercredi', 'trouvez-moi une voiture de location du 3/6 - 3/9 à port charles', 'J’aurai besoin d’une voiture de location de 3/6 - 3/19 à san jose', 'Je veux louer la voiture la moins chère pour charlottesville, virginie pour mars 7th à 10th, c’est lundi, mardi, mercredi et jeudi', 'aidez-moi à obtenir une voiture de location', 'pouvez-vous m’aider à réserver une voiture de location pour mon voyage à dallas', 'où puis-je louer une voiture bientôt', 'J’ai besoin de faire une location de voiture']\n",
    "example_visa = ['dois-je demander un visa pour visiter dnipro' 'dites-moi si j’ai besoin d’un visa international pour aller au Mexique', 'devrai-je demander un visa si je veux visiter le Mexique', 'les voyages internationaux nécessitent-ils toujours un visa?', 'dois-je apporter un visa lorsque je vais au Canada le mois prochain', 'Je veux voir paris j’ai besoin d’un visa international', 'ai-je besoin d’obtenir un visa de voyage pour partir en vacances dans des endroits en Europe de l’Est', 'aurais-je besoin d’un visa touristique pour le Brésil', 'pour visiter le Cambodge, ai-je besoin d’un visa international', 'si je prévoit d’aller au Royaume-Uni, ai-je besoin d’un visa', 'Je suis en vacances en Israël ai-je besoin d’un visa']\n",
    "example_info_flight = ['cela vous dérange-t-il de m’informer de l’état de mon vol sud-ouest', 'mon vol delta partira-t-il à l’heure?', 'quel est l’eta de mon vol', 'donnez-moi le statut du vol dl123', 'y a-t-il une mise à jour sur le vol dl123', 'à quelle heure mon vol sera-t-il embarqué', 'quand le vol devrait-il atterrir', 'est mon vol delta à l’heure', 'J’ai besoin de connaître l’état de mon vol aérien en Alaska', 's’il vous plaît dites-moi l’état de mon vol sud-ouest']\n",
    "example_flight = ['Je suis à la recherche d’un vol de billings à cleveland le 2 mai et un retour le 9 mai', 'J’ai besoin d’un vol pour moins de 300 de pittsburgh à atlanta', 'réserver un vol de new york à la pour moins de 200 dollars', 'Je veux un vol de New York à San Francisco en utilisant delta', 'quels vols aller-retour d’Orlando à Vegas sont disponibles du jeudi au lundi', 'pourriez-vous me procurer un vol delta de Sioux Falls à Philadelphie pour moins de 400 $', 'quelles compagnies aériennes ont des vols aller-retour du 1er au 7 avril de laxiste à sfo', 'pour les dates du 1er au 7 avril, trouvez-moi des billets d’avion aller-retour de la à sfo', 'pouvez-vous me montrer des vols aller-retour de dallas à los angeles du 2 au 10 mars', 'pourriez-vous faire une réservation de vol avec air emirates d’Orlando à Londres']\n",
    "example_resto = ['bonjour, je voudrais une réservation pour deux à l’oliveraie à six ce soir', 'faites une réservation à 17 heures aujourd’hui pour 2 à olive garden', 'il faut réserver une table pour 4 au rouge-gorge sous le nom de kevin à 7', 's’il vous plaît réserver une table pour deux à rouge pour 19h00', 'est-il possible d’obtenir une table pour 4 à l’auberge du village vers 10h', 'pouvez-vous réserver une table au restaurant pour moi et mon mari', 'puis-je faire une réservation pour 2 à l’oiseau de l’état pour 7:30, s’il vous plaît', 'J’aimerais une réservation pour 2 à olive garden pour 5 pm aujourd’hui', 'faites-moi une réservation pour 5 à coral pour 22 heures immédiatement', 'Je veux réserver une table à 8 à long john silver sous le nom freddie']\n",
    "example_hotel = ['quel est un bon hôtel pour séjourner à chicago', 'montrez-moi un hôtel bien noté à evans', 'Je veux une chambre d’hôtel pour 6 du 1er au 3 à Seattle', 'J’ai besoin d’une chambre à Londres pour 2 personnes du 1er au 3 mars', 'me trouverez-vous un endroit où séjourner à Casper du 5 au 11 mars', 'réservez-moi un hôtel à st louis près de l’arche du 2 au 5 mars', 'Je veux une chambre d’hôtel pour 6 du 1er au 3 à Seattle', 'J’ai besoin d’une chambre à Indianapolis près de la piste du 2 au 5 mai', 'J’ai besoin d’un hôtel bien noté à Vegas', 'Je voudrais réserver une chambre d’hôtel qui accueille 10 personnes du lundi au mardi à Manhattan']\n",
    "example_transfert = ['Je voudrais faire un transfert', 'prenez cent cinquante dollars de mon compte courant wells fargo et mettez-le dans mon compte d’épargne wells fargo', 'déplacer deux cents dollars sur mon compte d’épargne chase vers mon compte courant wells fargo', 'transférer un dollar de mes chèques à mes économies', 'pouvez-vous transférer mon argent à mes économies', 'envoyer 100 dollars de mon marché monétaire d’avant-garde à mes puits fargo économies', 'envoyer de l’argent d’un compte à un autre', 'J’ai besoin de déplacer de l’argent d’un compte à un autre', 's’il vous plaît transférer 100 dollars entre mes paiements amazon et comptes d’épargne', 'transférer deux cents dollars entre mon portefeuille et mon compte du marché monétaire']\n",
    "example_cancel = ['Je veux annuler ma réservation pour 5 à red robin', 'Je dois annuler ma réservation après tout, s’il vous plaît', 'Je souhaite annuler ma réservation pour fred à red robin', 'Je voudrais que vous annuliez la réservation du dîner pour williams au palais ce soir', 'Je dois annuler ma réservation après tout, s’il vous plaît', 'Je n’ai plus besoin de ma réservation', 'pouvez-vous annuler ma réservation de dîner', 's’il vous plaît supprimer la réservation pour 3 personnes à outback', 'pourriez-vous s’il vous plaît annuler ma réservation pour 5 à red robin', 'la réservation que j’ai créée n’est plus nécessaire']\n",
    "example_lost = ['à qui dois-je me plaindre de mes bagages n’arrivant pas à l’aéroport', 'Je viens de voler sur le vol ab123 d’American Airlines de Chicago et je ne trouve pas mes bagages', 'Je pense que mes bagages étaient égarés ou ont été perdus', 'à qui dois-je aller pour trouver les bagages perdus', 'comment puis-je gérer la situation si j’ai perdu mes bagages', 'vers qui puis-je me tourner si j’ai perdu mes bagages', 'mes bagages manquent, je pense', 'quelle étape dois-je prendre si mon sac s’est perdu sur le vol', 'il semble que mes bagages ont disparu', 'comment puis-je trouver les bagages perdus']\n",
    "example_voyage = ['où dois-je voyager si je veux visiter des musées d’histoire', 'quelles sont les destinations de voyage chaudes', 'quel type de divertissement est disponible à Chicago', 'quelles sont les principales attractions à gatlinburg', 'quelles sont les choses amusantes auxquelles je peux participer à Atlanta', 'aidez-moi à trouver des choses à faire à Nashville', 's’il vous plaît suggérer quelques activités touristiques amusantes à Tokyo', 'quel est un bon endroit pour voyager', 'pouvez-vous me donner quelques suggestions pour aller sur le site voir quand j’y arrive', 'donnez-moi des destinations de voyage géniales']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "5e647ad2",
   "metadata": {},
   "outputs": [],
   "source": [
    "example_all = example_car + example_visa + example_info_flight + example_flight + example_resto + example_hotel + example_transfert + example_cancel + example_lost + example_voyage"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "3ce659ef",
   "metadata": {},
   "outputs": [],
   "source": [
    "all_requests = example_all + all_requests"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "21a3dda6",
   "metadata": {},
   "source": [
    "Generate requests for Chat GPT"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "0dc84453",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_phrases(request):\n",
    "    completion = openai.ChatCompletion.create(model=\"gpt-3.5-turbo\",\n",
    "                                            messages=[{\"role\": \"user\", \"content\": request}]\n",
    "                                            )\n",
    "                #print(completion.choices[0].message.content)\n",
    "\n",
    "    tmp_res = completion.choices[0].message.content\n",
    "    return tmp_res"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4667e5cd",
   "metadata": {},
   "source": [
    "Preprocessing of Chat GPT outputs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "b7afc219",
   "metadata": {},
   "outputs": [],
   "source": [
    "def preprocess_phrases(tmp_res):\n",
    "    lst_of_sent = tmp_res.split(\"\\n\")\n",
    "    lst_of_sent_nodigits = []\n",
    "    for snt in lst_of_sent:\n",
    "        result = ''.join([i for i in snt if not i.isdigit()])\n",
    "        lst_of_sent_nodigits.append(result)\n",
    "    #print(lst_of_sent_nodigits)\n",
    "    lst_of_sentences = []\n",
    "    for snt in lst_of_sent_nodigits:\n",
    "        snt = snt.lstrip(\".\")\n",
    "        lst_of_sentences.append(snt)\n",
    "    return lst_of_sentences"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6088a6f4",
   "metadata": {},
   "source": [
    "Generate sentences with requested intents"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "757185e8",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_all_phrases(all_requests):\n",
    "    lst_phrases = []\n",
    "    for request in all_requests:\n",
    "        tmp_res = generate_phrases(request)\n",
    "        lst_phrases.append(preprocess_phrases(tmp_res))\n",
    "    return lst_phrases       "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "3dc20034",
   "metadata": {},
   "outputs": [],
   "source": [
    "all_phrases = generate_all_phrases(all_requests)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "57b22229",
   "metadata": {},
   "source": [
    "Form request to generate labels and rationals"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "0d870b05",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_request(phrase):\n",
    "\n",
    "    request = f\"phrase: {phrase}.\\n\" \\\n",
    "                \"définis l'intention de cette phrase. Exemple: transfert bancaire, bagage perdu, réservation d'hôtel, réservation de restaurant, réservation de vol, annulation de réservation, location de voiture, suggestion de voyage, visa international, état du vol\" \\\n",
    "                \"explique pourquoi tu as choisi cette intention. Exemple: j'ai défini cette intention parce que + explication.\\n\" \\\n",
    "                'output as a dictionary. No additional text. Use template\\n' \\\n",
    "                '{\"phrase\":phrase, \"label\":intention, \"explication\":explication.'\n",
    "    return request"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4c17b208",
   "metadata": {},
   "source": [
    "Generate labels and rationals with Chat GPT"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "b04a37e1",
   "metadata": {},
   "outputs": [],
   "source": [
    "def generate_rationals(lst_of_sentences):\n",
    "    #all_info_lst = []\n",
    "    all_info_sent = []\n",
    "    for lst in lst_of_sentences:\n",
    "        for sent in lst:\n",
    "            tmp_req = generate_request(lst)\n",
    "                # print(tmp_req)\n",
    "            completion = openai.ChatCompletion.create(\n",
    "                  model=\"gpt-3.5-turbo\",\n",
    "                  messages=[\n",
    "                    {\"role\": \"user\", \"content\": tmp_req}\n",
    "                  ]\n",
    "                )\n",
    "            #print(completion.choices[0].message.content)\n",
    "\n",
    "            tmp_res = completion.choices[0].message.content\n",
    "\n",
    "            all_info_sent.append(tmp_res)\n",
    "    #all_info_lst.append(all_info_sent)\n",
    "    return all_info_sent"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "49aa874a",
   "metadata": {},
   "outputs": [],
   "source": [
    "lst_labels_rationals = generate_rationals(all_phrases)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ba273eb0",
   "metadata": {},
   "source": [
    "Dataset transformation in dataframe"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "id": "dfb874cb",
   "metadata": {},
   "outputs": [],
   "source": [
    "def dataset_formation(lst_labels_rationals):\n",
    "    lst_phrases = []\n",
    "    lst_labels = []\n",
    "    lst_rationals = []\n",
    "    for dct in lst_labels_rationals:\n",
    "        try:\n",
    "            dct = eval(dct)\n",
    "        except SyntaxError:\n",
    "            #print(dct)\n",
    "            continue\n",
    "        for sent in dct[\"phrase\"]:\n",
    "            #print(sent)\n",
    "            lst_phrases.append(sent)\n",
    "            lst_labels.append(dct[\"label\"])\n",
    "            lst_rationals.append(dct[\"explication\"])\n",
    "    data = {\"Phrases\": lst_phrases, \"Labels\": lst_labels, \"Rationals\": lst_rationals}\n",
    "    df = pd.DataFrame(data)\n",
    "    return df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "id": "96ffdb29",
   "metadata": {},
   "outputs": [],
   "source": [
    "generated_dataset = dataset_formation(lst_labels_rationals)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7fb32a93",
   "metadata": {},
   "source": [
    "Saving to csv"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "6e32e848",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Phrases</th>\n",
       "      <th>Labels</th>\n",
       "      <th>Rationals</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Est-il possible de demander un transfert banc...</td>\n",
       "      <td>transfert bancaire</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Pourrais-je obtenir les informations nécessai...</td>\n",
       "      <td>transfert bancaire</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Pourriez-vous m'indiquer les étapes à suivre ...</td>\n",
       "      <td>transfert bancaire</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Serait-il faisable de solliciter un transfert...</td>\n",
       "      <td>transfert bancaire</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Pourriez-vous m'aider à procéder à un transfe...</td>\n",
       "      <td>transfert bancaire</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>215</th>\n",
       "      <td>Je souhaite louer un véhicule pour me déplacer...</td>\n",
       "      <td>location de voiture</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>216</th>\n",
       "      <td>J'aimerais réserver un véhicule pour mes vacan...</td>\n",
       "      <td>location de voiture</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>217</th>\n",
       "      <td>Je suis intéressé(e) par la location d'un moye...</td>\n",
       "      <td>location de voiture</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>218</th>\n",
       "      <td>Je prévois de louer une voiture pour mon dépla...</td>\n",
       "      <td>location de voiture</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>219</th>\n",
       "      <td>Je recherche un vélo à louer pour faire du tou...</td>\n",
       "      <td>location de voiture</td>\n",
       "      <td>J'ai choisi cette intention car toutes les phr...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>220 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               Phrases               Labels  \\\n",
       "0     Est-il possible de demander un transfert banc...   transfert bancaire   \n",
       "1     Pourrais-je obtenir les informations nécessai...   transfert bancaire   \n",
       "2     Pourriez-vous m'indiquer les étapes à suivre ...   transfert bancaire   \n",
       "3     Serait-il faisable de solliciter un transfert...   transfert bancaire   \n",
       "4     Pourriez-vous m'aider à procéder à un transfe...   transfert bancaire   \n",
       "..                                                 ...                  ...   \n",
       "215  Je souhaite louer un véhicule pour me déplacer...  location de voiture   \n",
       "216  J'aimerais réserver un véhicule pour mes vacan...  location de voiture   \n",
       "217  Je suis intéressé(e) par la location d'un moye...  location de voiture   \n",
       "218  Je prévois de louer une voiture pour mon dépla...  location de voiture   \n",
       "219  Je recherche un vélo à louer pour faire du tou...  location de voiture   \n",
       "\n",
       "                                             Rationals  \n",
       "0    J'ai choisi cette intention car toutes les phr...  \n",
       "1    J'ai choisi cette intention car toutes les phr...  \n",
       "2    J'ai choisi cette intention car toutes les phr...  \n",
       "3    J'ai choisi cette intention car toutes les phr...  \n",
       "4    J'ai choisi cette intention car toutes les phr...  \n",
       "..                                                 ...  \n",
       "215  J'ai choisi cette intention car toutes les phr...  \n",
       "216  J'ai choisi cette intention car toutes les phr...  \n",
       "217  J'ai choisi cette intention car toutes les phr...  \n",
       "218  J'ai choisi cette intention car toutes les phr...  \n",
       "219  J'ai choisi cette intention car toutes les phr...  \n",
       "\n",
       "[220 rows x 3 columns]"
      ]
     },
     "execution_count": 68,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "generated_dataset.to_csv(\"dataset.csv\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4b325a6f",
   "metadata": {},
   "source": [
    "!NB: Note that you may have some additional preprocessing according to the output you may have from Chat GPT. For example: it can add some addiotional symbols that you don't need and may need to remove. Also Chat GPT can produce some API errors, so you may need to wait in order to have a good output."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ae05ca9b",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}