2_report_extracting_using_LLM.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# **Trích xuất các thuộc tính khác từ mô tả bài đăng với mô hình LLM**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Mô hình ngôn ngữ lớn là một loại thuật toán trí tuệ nhân tạo áp dụng các kỹ thuật mạng thần kinh với nhiều tham số để xử lý và hiểu ngôn ngữ hoặc văn bản của con người bằng kỹ thuật học tự giám sát. \n",
    "\n",
    "LLM API  là sự tương tác kỹ thuật với các hệ thống AI phức tạp có khả năng xử lý, hiểu và tạo ra ngôn ngữ của con người. Các API này hoạt động như một kênh giữa các thuật toán phức tạp về hiệu suất LLM và các ứng dụng khác nhau, cho phép tích hợp liền mạch các chức năng xử lý ngôn ngữ vào các giải pháp phần mềm."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Mục đích** \\\n",
    "Sử dụng mô hình LLM để trích xuất các thuộc tính sau từ nội dung mô tả của bài đăng:\n",
    "* is_real_estate_post -> Nhằm phân biệt với các bài viết spam, mặc định None\n",
    "* area_LLM -> diện tích, mặc định None\n",
    "* bedroom_LLM -> số phòng ngủ, mặc định None\n",
    "* wc_LLM -> số phòng vệ sinh, mặc định None\n",
    "* count_conveniences -> số tiện ích xung quanh, mặc định None\n",
    "* alleyway_property -> trong hẻm, mặc định là None\n",
    "* under_mortgage -> có đang bị thế chấp không, mặc định None -> thể hiện sự ownership\n",
    "* residential_purpose -> Chắc chắn nằm trên đất thổ cư, mặc định None\n",
    "* furnished -> bán nhà có bán kèm nột thất không, mặc định None\n",
    "* has_lowerlevel -> tầng hầm, default None\n",
    "* has_rooftop -> sân thượng, mặc định None\n",
    "* numbers_of_floors -> số tầng, không tính tầng trệt, sân thượng, mặc định 0\n",
    "* street_name -> tên đường, mặc định None\n",
    "\n",
    "**Prompt**\n",
    "Xem file prompt_for_extracting trong thư mục crawl_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Sử dụng LLM API trên AnyScale web\n",
    "#import re\n",
    "def crawl_data(text_required):\n",
    "    with requests.Session() as s:\n",
    "        # thử lại 5 lần nếu truy cập vào web bị lỗi ,backoff_factor quy định thời gian chờ\n",
    "        retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504])\n",
    "        s.mount(\"https://\", HTTPAdapter(max_retries=retries))\n",
    "        api_base = \"https://api.endpoints.anyscale.com/v1\"\n",
    "        token = \"esecret_c3bs9hkq93mbayfhaqht59qd1m\"\n",
    "        url = f\"{api_base}/chat/completions\"\n",
    "        body = {\n",
    "            \"model\": \"meta-llama/Meta-Llama-3-70B-Instruct\",\n",
    "            \"messages\": [{\n",
    "              \"role\": \"system\",\n",
    "              \"content\": (\"You are a data scientist, and I want to extract useful data from a description in a Vietnamese real estate post. I’ll provide you with that description, and you must only return the keys and values in JSON format without any introduction. The response mustn't contain any explanation. The keys contain those properties: is_real_estate_post, area_LLM, bedroom_LLM, total_room_LLm, wc_LLM, count_conveniences, alleyway_property, under_mortgage, residential_purpose, furnished, has_lowerlevel, has_rooftop, numbers_of_floors, street_name. is_real_estate_post is boolean value (1/0), default is null. area_LLM is a float number, converted into m2 unit, greater than 0, default is null. bedroom_LLM is an integer number, greater than 0, default is null. wc_LLM is an integer number, greater than 0, default is null. count_conveniences is an integer number, greater or equal 0, default is 0. The list of convenience-related words is defined as:a = ('school', 'hospital', 'supermarket', 'shopping center', 'market', 'mall', 'mart').For each word from this list that appears in the description, increment the count_conveniences by 1.If none of the words from the list are found in the description, then the value of count_conveniences remains unchanged Alleyway_property is boolean value (1/0), default is null. under_mortgage is boolean value (1/0), default is null. residential_purpose is boolean value (1/0), default value is null, it ensures the buyer have full ownership rights for residential purposes. has_basement, has_rooftop, furnished are boolean values (1/0), default is null. numbers_of_floors is an integer number, greater or equal 0, default is 0, doesn't include the ground floor and rooftoop floor. street_name is a string, default is null, it represents the name of the street where the property is located in Ho Chi Minh City, Viet Name. If the description doesn't contain enough information to determine the value of a property, the corresponding value in the dictionary should be set to default value.\")\n",
    "            },\n",
    "                {\"role\": \"user\", \"content\": f\"{text_required}\"}],\n",
    "            \"temperature\": 0.2, # kiểm soát sự ngẫu nhiên của output\n",
    "            \"max_tokens\": 256,\n",
    "            \"top_p\": 1,   # kiểm soát tính đa dạng của đầu ra\n",
    "            \"frequency_penalty\": 0 # kiểm soát sự lặp từ\n",
    "        }\n",
    "        headers = {\"Authorization\": f\"Bearer {token}\",\"Content-Type\": \"application/json\"}\n",
    "        try:\n",
    "            response = s.post(url, headers=headers, json=body)\n",
    "            response.raise_for_status() # kiểm tra xem yêu cầu có được chấp thuận không\n",
    "            data = response.json()  # chuyển sang dictionary\n",
    "            if \"choices\" in data and len(data[\"choices\"]) > 0: # kiểm tra xem dữ liệu có tồn tại hay không\n",
    "                return re.sub('\\n', '',data[\"choices\"][0][\"message\"][\"content\"]) # trả về lời nhắn đầu tiên\n",
    "            else:\n",
    "                return \"{}\"\n",
    "        except requests.exceptions.RequestException as e:\n",
    "            print(f\"An error occurred: {e}\") # xuất ra lỗi\n",
    "            return \"{}\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def ensure_key_present(text, key):\n",
    "    if f\"'{key}'\" not in text and f'\"{key}\"' not in text:\n",
    "        text = re.sub(r'(\\{)', rf'\\1\\n    \"{key}\": {0},', text)\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# xử lý chuỗi bằng regrex\n",
    "\n",
    "def remove_fault(text):\n",
    "    # xử lý chuỗi trước và sau dấu ngoặc nhọn\n",
    "    text = re.sub(r'^.*?{', '{', text, flags=re.DOTALL)\n",
    "    text = re.sub(r'}.*$', '}', text, flags=re.DOTALL)\n",
    "    # xử lý khi 1 chuỗi trả về giá None, thay vào đó là giá trị 0\n",
    "    none_pattern = r'None'\n",
    "    cleaned_text = re.sub(none_pattern, '0', text)\n",
    "    # xử lý khi bị lỗi trả về float(\"NaN\"),thay vào đó là giá trị null\n",
    "    cleaned_text = re.sub(r'float\\(\"NaN\"\\)', 'null', cleaned_text)\n",
    "    # xử lý khi trả '', thay vào đó là \"\"\n",
    "    cleaned_text = re.sub(r\"'([^']*)'\", r'\"\\1\"', cleaned_text)\n",
    "    # xử lý khi chuỗi có xuống dòng\n",
    "    cleaned_text = re.sub(r'\\n', '', cleaned_text)\n",
    "    # xử lý khi LLM không trả về đủ các key\n",
    "    key=['is_real_estate_post', 'area_LLM', 'bedroom_LLM', 'wc_LLM', 'count_conveniences', 'alleyway_property', 'under_mortgage', 'residential_purpose', 'numbers_of_floors' ,'has_rooftop', 'furnished','street_name']\n",
    "    for k in key:\n",
    "        cleaned_text = ensure_key_present(cleaned_text, k)\n",
    "    # xử lý khi LLM trả về có dấu phẩy ở cuối\n",
    "    pattern = re.compile(r',\\s*([}\\]])')\n",
    "    cleaned_text = pattern.sub(r'\\1', cleaned_text)\n",
    "\n",
    "    return cleaned_text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "def process_text(input):\n",
    "    text_required, article_id = input\n",
    "    output = crawl_data(text_required)\n",
    "    output = remove_fault(output)\n",
    "    # Kiểm tra tính hợp lệ dạng JSON\n",
    "    try:\n",
    "        result = json.loads(output)\n",
    "        result['article_id'] = article_id\n",
    "    except (json.JSONDecodeError, TypeError) as e:\n",
    "        print(f\"Error decoding JSON for index {0}: {e}\")\n",
    "        print(output)\n",
    "        return None\n",
    "    return result"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import multiprocessing as mp\n",
    "import json\n",
    "# Text nhập vào, việc mô tả hợp lí, rõ ràng giúp cho câu trả lời có chất lượng tốt hơn\n",
    "result_list = []\n",
    "inputs = []\n",
    "for i in range(raw_data.shape[0]):\n",
    "    text_required = \"This is the description in Vietnamese:\"\n",
    "    text_required += str(raw_data['title'][i]) + ' ' + str(raw_data['description'][i]) + '.'\n",
    "    inputs.append((text_required, raw_data['article_id'][i]))\n",
    "\n",
    "# Xử lý đa luồng với số luồng là 20, giúp tăng tốc độ, với cách xử lí này các câu trả lời không bị đảo thứ tự cho nhau, mà vẫn thêm đúng như thứ tự đã nhập vào ban đầu.\n",
    "with mp.Pool(processes=20) as pool:\n",
    "    results = pool.map(process_text, inputs)\n",
    "# Tăng tốc độ xử lý ,Tăng khả năng đa nhiệm: Multiprocessing cho phép thực hiện nhiều tác vụ đồng thời, làm tăng khả năng đa nhiệm của ứng dụng, phân phối công việc: bạn có thể phân chia công việc thành các tiến trình riêng biệt, giúp tận dụng tối đa tài nguyên hệ thống., Isolation: Mỗi tiến trình trong multiprocessing có môi trường thực thi riêng của nó, giúp tránh tình trạng xung đột dữ liệu và lỗi do tài nguyên được chia sẻ không an toàn.\n",
    "\n",
    "# Thêm kết quả vào mảng\n",
    "result_df = pd.DataFrame(results)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from google.colab import drive\n",
    "drive.mount('/content/drive')\n",
    "result_df.to_csv('/content/drive/My Drive/raw_data_3_extracted_by_LLM.csv', index=False)"
   ]
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}