7_1&2_Crawling.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 7.1  데이터 수집 1 – 한 페이지 크롤링"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.1.2 다나와 검색 페이지 접속"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# 예제 7-1 selenium으로 다나와 검색 결과 URL에 접속\n",
    "from selenium import webdriver\n",
    "driver = webdriver.Chrome('./chromedriver.exe')\n",
    "url = \"http://search.danawa.com/dsearch.php?query=복합기&tab=main\"\n",
    "driver.get(url)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.1.3 다나와 검색 웹 페이지에서 상품 정보 가져오기"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "from bs4 import BeautifulSoup\n",
    "\n",
    "# 예제 7-2 웹 페이지의 HTML 정보 가져오기\n",
    "html = driver.page_source\n",
    "soup = BeautifulSoup(html, 'html.parser')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "44"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 예제 7-3 1페이지에 대한 무선청소기 정보 가져오기 1\n",
    "prod_items = soup.select('li.prod_item')\n",
    "len(prod_items)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "44"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 예제 7-4 1페이지에 대한 무선청소기 정보 가져오기 2\n",
    "prod_items = soup.select('ul.product_list > li.prod_item')\n",
    "len(prod_items)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "44"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 예제 7-5 1페이지에 대한 무선청소기 정보 가져오기 3\n",
    "prod_items = soup.select('div.main_prodlist > ul.product_list > li.prod_item')\n",
    "len(prod_items)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "삼성전자 SL-P7500LX\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-6 상품명 정보 가져오기\n",
    "title = prod_items[0].select('p.prod_name > a')[0].text.strip()\n",
    "print(title)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "컬러 디지털 복합기 / 잉크젯 / 인쇄 / 복사 / 스캔 / 컬러 속도: 50ppm / 흑백 속도: 50ppm / 인쇄 해상도: 1200 x 1200dpi / 자동양면인쇄 / 자동급지장치 / 기본 급지용량: 650매 / 최대 4단 용지함 / A3 출력,스캔 / 연속복사: 9999매 / 2GB / 320GB / 컬러터치LCD / 가로: 604mm / 세로: 652mm / 높이: 664mm / 무게: 66.6kg\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-7 스펙 목록 정보 가져오기\n",
    "spec_list = prod_items[0].select('div.spec_list')[0].text.strip()\n",
    "print(spec_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "3100000\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-8 가격 정보 가져오기\n",
    "price = prod_items[0].select('li.rank_one > p.price_sect > a > strong')[0].text.strip().replace(\",\",\"\")\n",
    "print(price)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "44\n",
      "[['Canon iR2022i(FD)', '흑백 디지털 복합기 / 인쇄 / 복사 / 스캔 / 흑백 속도: 22ppm / 인쇄 해상도: 1200 x 600dpi / 자동급지장치 / 기본 급지용량: 580매 / 최대 4단 용지함 / A3 출력,스캔 / 연속복사: 99매 / 연결방식: USB, 유선랜(RJ-45) / 256MB / 터치LCD / 가로: 622mm / 세로: 668mm / 높이: 757mm / 무게: 46kg', 0], ['신도리코 Aficio MPC2030(AF)', '컬러 속도: 11~20매ppm / 흑백 속도: 11~20매ppm / 인쇄 해상도: 1200dpi / 메모리: 512MB / 자동원고 이송장치', 0], ['신도리코 Aficio MPC2030(A)', '컬러 속도: 11~20매ppm / 흑백 속도: 11~20매ppm / 인쇄 해상도: 1200dpi / 메모리: 512MB / 자동원고 이송장치', 0], ['HP 포토스마트 B109A', '복합기 / 잉크젯 / 포토프린터 / 거치형 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 4,800dpi / 연결방식: USB / 메모리 리더기 / Mac 지원 / RAM: 64MB / 메모리: 64MB / 3.68cm LCD 터치 스크린 / CB316WA(CB321WA,BK), CB318WA(CB323WA,C), CB319WA(CB324WA,M), CB320WA(CB325WA,Y) 잉크 호환', 0], ['신도리코 MF-2350', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 흑백 속도: 33ppm / 첫 장 인쇄: 7초 / 인쇄 해상도: 1200 x 1200dpi / 자동양면인쇄 / 자동급지장치 / 용지함 용량: 250매 / A4 출력 / 카트리지 구성: 흑백 1개 / 연결방식: USB, 유선랜(RJ-45) / RAM: 128MB / 일반LCD / 월 최대 인쇄량: 80000매 / 가로: 427mm / 세로: 406mm / 높이: 470mm / 소모품 : MF 2300/2350 9K(BK, 약 9,000매), MF 2300/2350/2400 드럼(BK, 약 30,000매)', 0], ['JlaMtB4qDs', 'JlaMtB4qDs388133', '388133'], ['', '', 0], ['Lexmark X658dme', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 1,200dpi / 자동양면인쇄 / 자동급지장치 / 연결방식: USB, 유선랜(RJ-45) / 메모리 리더기 / Mac 지원 / RAM: 256MB / 메모리: 256MB / 550매 입력 용지함 / 4-Bin Mailbox / X651A21P(X651H21P,X654X21P)BK 토너 호환', 0], ['Lexmark X658dfe', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 1,200dpi / 자동양면인쇄 / 자동급지장치 / 연결방식: USB, 유선랜(RJ-45) / 메모리 리더기 / Mac 지원 / RAM: 256MB / 메모리: 256MB / 550매 입력 용지함 / StapleSmart II Finisher / X651A21P(X651H21P,X654X21P)BK 토너 호환', 0], ['Epson Stylus TX112', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 5,760dpi / 카트리지 구성: 흑백1 + 컬러3 / 연결방식: USB / Mac 지원 / 73N 호환잉크 / 4색 개별 잉크 지원', 0], ['LG전자 LIP2610', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 4,800dpi / 카트리지 구성: 흑백1 + 컬러1 / 연결방식: USB / 여백최소화 인쇄 / LIP2610S2K(BK), LIP2610S2P(color) 잉크 호환', 0], ['LG전자 LIP3310', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 4,800dpi / 카트리지 구성: 흑백1 + 컬러3 / 연결방식: USB, WiFi / 픽트브리지 / 메모리 리더기 / Mac 지원 / 여백최소화 인쇄 / 소모품 : 대용량(LIP3310S5K(BK), LIP3310S6C(C), LIP3310S6M(M), LIP3310S6Y(Y)), 표준용량(LIP3310S2K(BK), LIP3310S2C(C), LIP3310S2M(M), LIP3310S2Y(Y))', 0], ['', '', 0], ['LG전자 LIP3320', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 4,800dpi / 자동급지장치 / 카트리지 구성: 흑백1 + 컬러3 / 연결방식: USB, WiFi / 픽트브리지 / 여백최소화 인쇄 / Wi-Fi 지원 / LIP3310S2K(LIP3310S5K,BK), LIP3310S2C(LIP3310S6C,C), LIP3310S2M(LIP3310S6M,M), LIP3310S2Y(LIP3310S6Y) 잉크 호환', 0], ['LG전자 LIP3370', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 4,800dpi / 자동양면인쇄 / 자동급지장치 / 카트리지 구성: 흑백1 + 컬러3 / 연결방식: USB, WiFi / 픽트브리지 / 메모리 리더기 / 여백최소화 인쇄 / Wi-Fi 지원 / LIP3310S2K(LIP3310S5K,BK), LIP3310S2C(LIP3310S6C,C), LIP3310S2M(LIP3310S6M,M), LIP3310S2Y(LIP3310S6Y) 잉크 호환', 0], ['Epson Stylus TX113', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 5,760dpi / 연결방식: USB / Mac 지원 / 73N 호환잉크 / 4색 개별 잉크 지원', '단종'], ['Epson Stylus TX213', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 5,760dpi / 카트리지 구성: 흑백1 + 컬러3 / 연결방식: USB / 메모리 리더기 / Mac 지원 / 73N 호환잉크 / 4색 개별 잉크 지원', '단종'], ['HP 레이저젯 CM8050 MFP', '컬러 속도: 31~40매ppm / 흑백 속도: 36매 이상ppm / 엣지라인 / 메모리: 1GB / HDD 80GB / 4,000매 대용량 입력 용지함 / C8750A(BK), C8751A(C), C8752A(M), C8753A(Y), C8754A(접착제)', 0], ['', '', 0], ['삼성전자 CLX-3175K', '복합기 / 레이저 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 2,400dpi / 카트리지 구성: 흑백1 + 컬러3 / 연결방식: USB / Mac 지원 / RAM: 128MB / CLT-K409S/CLT-C409S/CLT-M409S/CLT-Y409S 토너 호환 / 이벤트 확인 필요!', '단종'], ['삼성전자 CLX-3175WK', '복합기 / 레이저 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 2,400dpi / 카트리지 구성: 흑백1 + 컬러3 / 연결방식: USB, 유선랜(RJ-45), WiFi / Mac 지원 / 모바일 프린팅 / RAM: 128MB / CLT-K/C/M/Y 409S 토너 호환 / 무선 IEEE 802.11b/g 지원 / 이벤트 확인 필요!', '단종'], ['삼성전자 CLX-6220FXK', '복합기 / 레이저 / 컬러 출력 / 복사 / 스캔 / 팩스 / 컬러 속도: 20ppm / 흑백 속도: 20ppm / 인쇄 해상도: 9600 x 600dpi / 자동양면인쇄 / 자동급지장치 / 용지함 용량: 250매 / A4 출력 / 카트리지 구성: 흑백1 + 컬러3 / 광학 스캔 해상도: 600dpi / 연결방식: USB, 유선랜(RJ-45) / Mac 지원 / RAM: 256MB / 일반LCD / 월 최대 인쇄량: 65000매 / 가로: 468mm / 세로: 498mm / 높이: 651mm', 0], ['Canon MF-4353D', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 1,200dpi / 자동급지장치 / 카트리지 구성: 흑백 1개 / 연결방식: USB / RAM: 32MB / 메모리: 32MB / FX-9 토너호환 / ADF원고세트: 35매', 0], ['신도리코 Aficio MP7000', '흑백 속도: 36매 이상ppm / 인쇄 해상도: 1200dpi / 메모리: 512MB / HDD: 80GB / 8½WVGA 터치 판넬 화면 / 원고이송장치', 0], ['신도리코 Aficio MP5000', '흑백 속도: 36매 이상ppm / 인쇄 해상도: 2400dpi / 메모리: 768MB / HDD: 40GB / 원고이송장치', 0], ['신도리코 Aficio MP8000', '흑백 속도: 36매 이상ppm / 인쇄 해상도: 1200dpi / 메모리: 512MB / HDD: 80GB / 8½WVGA 터치 판넬 화면 / 원고이송장치', 0], ['신도리코 Aficio MP6000', '흑백 속도: 36매 이상ppm / 메모리: 512MB / HDD: 80GB / 8½WVGA 터치 판넬 화면 / 원고이송장치', 0], ['삼성전자 CLX-7285', '컬러 속도: 11~20매ppm / 흑백 속도: 26~30매ppm / 인쇄 해상도: 2400dpi / 메모리: 258MB / HDD: 80GB / CLT-7450K/C/M/Y(토너) 호환 제품', 0], ['신도리코 MF-3200', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 600dpi / 자동급지장치 / 카트리지 구성: 흑백 1개 / 연결방식: USB / RAM: 32MB', 0], ['삼성전자 CLX-7285 (F)', '복합기 / 레이저 / 컬러 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 2,400dpi / A3 출력 / 연결방식: USB, 유선랜(RJ-45) / Mac 지원 / 메모리: 258MB / HDD: 80GB / CLT-7450K/C/M/Y(토너) 호환 제품', 0], ['ApeosPort-III C3300', '흑백 속도: 31~35매ppm / 인쇄 해상도: 1200dpi / 메모리: 768MB / LED 프린터 헤드', 0], ['Phaser 3100 MFP', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 600dpi / 연결방식: USB / Mac 지원 / RAM: 32MB / USB 다이렉트 인쇄 / 소모품 : CWAA0758(BK, 약 4,000매)', 0], ['삼성전자 SCX-4623FNK', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 1,200dpi / 자동급지장치 / 연결방식: USB, 유선랜(RJ-45) / Mac 지원 / RAM: 128MB / 월 최대 인쇄량: 10,001~30,000매매 / 메모리: 128MB / 디스플레이', 0], ['삼성전자 SCX-4824FHNK', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 1,200dpi / 자동급지장치 / 카트리지 구성: 흑백 1개 / 연결방식: USB, 유선랜(RJ-45), 패러렐 / Mac 지원 / RAM: 128MB / 메모리: 128MB / LCD / 소모품 : MLT-D209S (약 2,000매), MLT-D209L (약 5,000매)', 0], ['Canon iR2022i', '흑백 디지털 복합기 / 인쇄 / 복사 / 스캔 / 흑백 속도: 22ppm / 인쇄 해상도: 1200 x 600dpi / 자동급지장치 / 기본 급지용량: 580매 / 최대 4단 용지함 / A3 출력,스캔 / 연속복사: 99매 / 연결방식: USB, 유선랜(RJ-45) / 256MB / 터치LCD / 가로: 622mm / 세로: 668mm / 높이: 757mm / 무게: 46kg', '단종'], ['HP 포토스마트 C4780', '복합기 / 잉크젯 / 포토프린터 / 거치형 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 4,800dpi / 카트리지 구성: 흑백1 + 컬러1 / 연결방식: USB, WiFi / 메모리 리더기 / Mac 지원 / 3.68cm 터치 LCD / 용지 유형 자동 감지 기능 / CC640WA(CC641WA,BK), CC643WA(CC644WA,3색) 잉크 호환', 0], ['Canon PIXMA MP996', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 인쇄 해상도: 9,600dpi / 카트리지 구성: 흑백1 + 컬러4 / 연결방식: USB, 유선랜(RJ-45), WiFi / 픽트브리지 / 메모리 리더기 / Mac 지원 / CD 표면인쇄 / 모바일 프린팅 / IEEE802.11b/g 무선랜 지원 / 9.5 cm TFT LCD / 필름스캔 기능 / PGI-820/1BK CLI-821C/M/Y/GY 호환', 0], ['삼성전자 SCX-4610K', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 인쇄 해상도: 1,200dpi / 카트리지 구성: 흑백 1개 / 연결방식: USB / Mac 지원 / RAM: 64MB / 메모리: 64MB / 디스플레이 / MLT-D105S(MLT-D105L) 호환 제품', 0], ['HP 오피스젯 프로 무선 8500 Series', '복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 4,800dpi / 자동급지장치 / 연결방식: USB, 유선랜(RJ-45), WiFi / 픽트브리지 / 메모리 리더기 / Mac 지원 / RAM: 128MB / 메모리: 128MB / C4902AA(C4906AA)BK, C4907AA(C), C4908AA(M), C4909AA(Y) 잉크 호환', 0], ['Canon ICD1153', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 팩스 / 인쇄 해상도: 1,200dpi / 자동급지장치 / 카트리지 구성: 흑백 1개 / 연결방식: USB, 유선랜(RJ-45) / RAM: 128MB / 메모리: 128MB / 소모품 : CRG-320 (BK, 약 5,000매)', 0], ['삼성전자 CLX-9035', '컬러 디지털 복합기 / 인쇄 / 복사 / 스캔 / 컬러 속도: 31~40매ppm / 흑백 속도: 31~35매ppm / 인쇄 해상도: 600dpi / A3 출력,스캔 / 자동양면복사 / 1.5GB / 80GB / 터치LCD / 소모품 : CLT-K608S(약 29,000매, 토너), CLT-C/M/Y608S(약 24,000매, 토너), CLT-DK608(약 70,000매, 현상제), CLT-C/M/Y608S(약 70,000매, 현상제), CLT-R608(약 70,000매, 이미징 유니트), CLT-W608(약 112,000매, 페토너통)', 0], ['삼성전자 SCX-6545N', '복합기 / 레이저 / 흑백(모노) 출력 / 복사 / 스캔 / 흑백 속도: 43ppm / 흑백 속도(ISO): 38ipm / 첫 장 인쇄: 8초 / 인쇄 해상도: 1200 x 1200dpi / 자동양면인쇄 / 자동급지장치 / 용지함 용량: 520매 / A4 출력 / 카트리지 구성: 흑백 1개 / 광학 스캔 해상도: 600dpi / 연결방식: USB, 유선랜(RJ-45) / Mac 지원 / RAM: 256MB / 터치스크린LCD / 월 최대 인쇄량: 200000매 / 가로: 633mm / 세로: 506mm / 높이: 641mm', 0], ['DocuCentre-III 3007CP', '흑백 디지털 복합기 / 인쇄 해상도: 1200dpi / 512MB / RAM: 512MB / 복사: A4: 흑백(30ppm). A3: 흑백(15ppm)', 0], ['DocuCentre-III 2007CPS', '흑백 디지털 복합기 / 복사 / 스캔 / 흑백 속도: 25ppm / 인쇄 해상도: 1200 x 1200dpi / 자동급지장치 / 기본 급지용량: 1,095매 / 최대 4단 용지함 / A3 출력,스캔 / 연결방식: USB, 유선랜(RJ-45) / 512MB / 가로: 640mm / 세로: 652mm / 높이: 832mm / 무게: 77.5kg', 0]]\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-9 반복문으로 검색 결과의 1페이지에 대한 상품 정보 추출\n",
    "prod_data = []\n",
    "for prod_item in prod_items:\n",
    "    try: # ① 상품명 가져오기\n",
    "        title = prod_item.select('p.prod_name > a')[0].text.strip()\n",
    "    except:\n",
    "        title = ''\n",
    "    try: # ② 스펙 목록 가져오기\n",
    "        spec_list = prod_item.select('div.spec_list')[0].text.strip()\n",
    "    except:\n",
    "        spec_list = ''\n",
    "    try: # ③ 가격 정보 가져오기 \n",
    "        price = prod_item.select('li.rank_one > p.price_sect > a > strong')[0].text.strip().replace(\",\",\"\")\n",
    "    except:\n",
    "        price = 0\n",
    "    prod_data.append([title, spec_list, price])\n",
    "    \n",
    "print(len(prod_data))\n",
    "print(prod_data)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 예제 7-10 상품 정보 태그에서 원하는 정보를 추출하는 함수\n",
    "def get_prod_items(prod_items):\n",
    "    prod_data = []\n",
    "    \n",
    "    for prod_item in prod_items:\n",
    "        # ① 상품명 가져오기\n",
    "        try:\n",
    "            title = prod_item.select('p.prod_name > a')[0].text.strip()\n",
    "        except:\n",
    "            title = ''\n",
    "        # ② 스펙 목록 가져오기\n",
    "        try: \n",
    "            spec_list = prod_item.select('div.spec_list')[0].text.strip()\n",
    "        except:\n",
    "            spec_list = ''\n",
    "        # ③ 가격 정보 가져오기 \n",
    "        try: \n",
    "            price = int(prod_item.select('li.rank_one > p.price_sect > a > strong')[0].text.strip().replace(\",\",\"\"))\n",
    "        except:\n",
    "            price = 0\n",
    "        prod_data.append([title, spec_list, price])\n",
    "        \n",
    "    return prod_data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "44\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-11 상품 정보를 가져오는 함수 테스트\n",
    "prod_items = soup.select('div.main_prodlist > ul.product_list > li.prod_item')\n",
    "prod_data = get_prod_items(prod_items)\n",
    "print(len(prod_data))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# 7.2  데이터 수집 2 - 여러 페이지에 걸친 다나와 검색 페이지 크롤링"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.2.1 다나와 검색 결과 페이지 URL 분석"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "http://search.danawa.com/dsearch.php?query=복합기&volumeType=allvs&page=9998&limit=30&sort=saveDESC&list=list&boost=true&addDelivery=N&tab=goods&tab=goods\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-12 다나와 검색 URL을 만들어주는 함수 \n",
    "def get_search_page_url(keyword, page):\n",
    "    return 'http://search.danawa.com/dsearch.php?query={}&volumeType=allvs&page={}&limit=30&sort=saveDESC&list=list&boost=true&addDelivery=N&tab=goods&tab=goods'.format(keyword, page)\n",
    "\n",
    "keyword = '복합기'\n",
    "page = 9998\n",
    "url = get_search_page_url(keyword, page)\n",
    "print(url)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.2.2 주피터 노트북의 진행표시줄 처리 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Requirement already satisfied: tqdm in c:\\users\\jun young\\anaconda3\\lib\\site-packages (4.50.2)\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-13 tqdm 라이브러리 설치 \n",
    "! pip install tqdm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "<ipython-input-57-0f97b229b65b>:5: TqdmDeprecationWarning: This function will be removed in tqdm==5.0.0\n",
      "Please use `tqdm.notebook.tqdm` instead of `tqdm.tqdm_notebook`\n",
      "  for page in tqdm_notebook(range(1, total_page + 1)):\n"
     ]
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "c88f2c5892174b94bc611d7f8ed3499c",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=13000.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-57-0f97b229b65b>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m      5\u001b[0m \u001b[1;32mfor\u001b[0m \u001b[0mpage\u001b[0m \u001b[1;32min\u001b[0m \u001b[0mtqdm_notebook\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mrange\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m1\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0mtotal_page\u001b[0m \u001b[1;33m+\u001b[0m \u001b[1;36m1\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m      6\u001b[0m     \u001b[1;31m# 페이지가 로딩 완료되기 위한 시간을 5초로 준다.\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 7\u001b[1;33m     \u001b[0mtime\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0msleep\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;36m3\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "# 예제 7-14 tqdm 사용법 \n",
    "import time\n",
    "from tqdm import tqdm_notebook\n",
    "total_page = 13000\n",
    "for page in tqdm_notebook(range(1, total_page + 1)):\n",
    "    # 페이지가 로딩 완료되기 위한 시간을 5초로 준다. \n",
    "    time.sleep(3)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.2.3 여러 페이지에 걸친 상품 정보 수집"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "2e3841441bad4ce5a1a69afceef36e7e",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "HBox(children=(HTML(value=''), FloatProgress(value=0.0, max=13.0), HTML(value='')))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "9999\n",
      "10000\n",
      "10001\n",
      "10002\n",
      "10003\n",
      "10004\n",
      "10005\n",
      "10006\n",
      "10007\n",
      "10008\n",
      "10009\n",
      "10010\n",
      "10011\n",
      "\n"
     ]
    }
   ],
   "source": [
    "\n",
    "# 예제 7-15 실전 다나와 크롤링\n",
    "from selenium import webdriver\n",
    "import time\n",
    "from bs4 import BeautifulSoup\n",
    "from tqdm.notebook import tqdm\n",
    "\n",
    "driver = webdriver.Chrome('./chromedriver.exe')\n",
    "# 암묵적으로 웹 자원 로드를 위해 3초까지 기다림\n",
    "driver.implicitly_wait(2)\n",
    "\n",
    "\n",
    "keyword = '복합기'\n",
    "total_page = 10011\n",
    "prod_data_total = []\n",
    "\n",
    "\n",
    "\n",
    "# 진행 정도를 표현하는 tqdm을 적용 \n",
    "for page in tqdm(range(9999, total_page + 1)):\n",
    "    print(page)\n",
    "    if(page<=9999):\n",
    "        # ① 검색 페이지 이동\n",
    "        url = get_search_page_url(keyword, page)\n",
    "        driver.get(url)\n",
    "        # 페이지가 로딩 완료되기 위한 시간으로 5초를 할당\n",
    "        time.sleep(3)\n",
    "        SCROLL_PAUSE_TIME = 2\n",
    "        last_height = driver.execute_script(\"return document.body.scrollHeight\")    \n",
    "    elif(page==10000):\n",
    "        driver.execute_script('getPage(10000)')\n",
    "    else:\n",
    "        temp_page = page%10\n",
    "        if(temp_page==1):\n",
    "            driver.find_element_by_xpath(\"//*[@id='productListArea']/div[4]/div/a[2]\").click()\n",
    "        else:\n",
    "            script = \"getPage('{}')\".format(page)\n",
    "            driver.execute_script(script)\n",
    "            \n",
    "\n",
    "    \n",
    "    while True:\n",
    "        # Scroll down to bottom                                                      \n",
    "        driver.execute_script(\"window.scrollTo(0, document.body.scrollHeight);\")\n",
    "\n",
    "        # Wait to load page\n",
    "        time.sleep(SCROLL_PAUSE_TIME)                                                \n",
    "        driver.execute_script(\"window.scrollTo(0, document.body.scrollHeight-50);\")  \n",
    "        time.sleep(SCROLL_PAUSE_TIME)\n",
    "\n",
    "        # Calculate new scroll height and compare with last scroll height            \n",
    "        new_height = driver.execute_script(\"return document.body.scrollHeight\")\n",
    "\n",
    "        if new_height == last_height:                                                \n",
    "            break\n",
    "\n",
    "        last_height = new_height\n",
    "\n",
    "    \n",
    "    \n",
    "    # ② 현재 페이지의 HTML 정보 가져오기\n",
    "    html = driver.page_source\n",
    "    soup = BeautifulSoup(html, 'html.parser')\n",
    "    \n",
    "    # ③ 상품 정보 추출\n",
    "    prod_items = soup.select('div#productListArea > div.main_prodlist > ul.product_list > li.prod_item')\n",
    "    prod_item_list = get_prod_items(prod_items)\n",
    "    \n",
    "    # ④ 추출 데이터 저장\n",
    "    prod_data_total = prod_data_total + prod_item_list\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.2.4 수집 데이터 저장 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 89,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 예제 7-16 데이터 저장\n",
    "import pandas as pd\n",
    "data = pd.DataFrame(prod_data_total)\n",
    "data.columns = ['상품명', '스펙 목록', '가격']\n",
    "data.to_excel('C:/Users/Jun young/Desktop/crawling/1_danawa_crawling_result_nonscroll.xlsx', index = False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.3.1 다나와 크롤링 데이터 불러오기 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'pandas.core.frame.DataFrame'>\n",
      "RangeIndex: 400 entries, 0 to 399\n",
      "Data columns (total 3 columns):\n",
      " #   Column  Non-Null Count  Dtype \n",
      "---  ------  --------------  ----- \n",
      " 0   상품명     400 non-null    object\n",
      " 1   스펙 목록   400 non-null    object\n",
      " 2   가격      400 non-null    int64 \n",
      "dtypes: int64(1), object(2)\n",
      "memory usage: 9.5+ KB\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>상품명</th>\n",
       "      <th>스펙 목록</th>\n",
       "      <th>가격</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>삼성전자 MultiXpress SL-X4225RX</td>\n",
       "      <td>컬러 디지털 복합기 / 인쇄 / 복사 / 스캔 / 팩스 / 컬러 속도: 22ppm ...</td>\n",
       "      <td>1987730</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>삼성전자 잉크젯 플러스S 정품 무한 SL-T1670W</td>\n",
       "      <td>복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 컬러 속도: 16ppm / 흑...</td>\n",
       "      <td>206290</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>삼성전자 MultiXpress SL-K3250NR</td>\n",
       "      <td>흑백 디지털 복합기 / 인쇄 / 복사 / 스캔 / 흑백 속도: 25ppm / 인쇄 ...</td>\n",
       "      <td>1151820</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>삼성전자 MultiXpress SL-K4255RX</td>\n",
       "      <td>흑백 디지털 복합기 / 인쇄 / 복사 / 스캔 / 팩스 / 흑백 속도: 25ppm ...</td>\n",
       "      <td>1513450</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>삼성전자 SL-C563FW</td>\n",
       "      <td>복합기 / 레이저 / 컬러 출력 / 복사 / 스캔 / 팩스 / 컬러 속도: 4ppm...</td>\n",
       "      <td>352400</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                             상품명  \\\n",
       "0    삼성전자 MultiXpress SL-X4225RX   \n",
       "1  삼성전자 잉크젯 플러스S 정품 무한 SL-T1670W   \n",
       "2    삼성전자 MultiXpress SL-K3250NR   \n",
       "3    삼성전자 MultiXpress SL-K4255RX   \n",
       "4                 삼성전자 SL-C563FW   \n",
       "\n",
       "                                               스펙 목록       가격  \n",
       "0  컬러 디지털 복합기 / 인쇄 / 복사 / 스캔 / 팩스 / 컬러 속도: 22ppm ...  1987730  \n",
       "1  복합기 / 잉크젯 / 컬러 출력 / 복사 / 스캔 / 컬러 속도: 16ppm / 흑...   206290  \n",
       "2  흑백 디지털 복합기 / 인쇄 / 복사 / 스캔 / 흑백 속도: 25ppm / 인쇄 ...  1151820  \n",
       "3  흑백 디지털 복합기 / 인쇄 / 복사 / 스캔 / 팩스 / 흑백 속도: 25ppm ...  1513450  \n",
       "4  복합기 / 레이저 / 컬러 출력 / 복사 / 스캔 / 팩스 / 컬러 속도: 4ppm...   352400  "
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 예제 7-17 다나와 크롤링 결과 가져오기 \n",
    "import pandas as pd\n",
    "data = pd.read_excel('./files/1_danawa_crawling_result.xlsx')\n",
    "data.info()\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.3.2 회사명, 모델명 정리 "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 예제 7-18 회사명 + 모델명 분리\n",
    "company_list = []\n",
    "product_list = []\n",
    "for title in data['상품명']:\n",
    "    title_info = title.split(' ', 1)\n",
    "    company_name = title_info[0]\n",
    "    product_name = title_info[1]\n",
    "    company_list.append(company_name)\n",
    "    product_list.append(product_name)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7.3.4 스펙 목록에서 카테고리, 사용시간, 흡입력을 추출해서 정리\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['컬러 디지털 복합기',\n",
       " '인쇄',\n",
       " '복사',\n",
       " '스캔',\n",
       " '팩스',\n",
       " '컬러 속도: 22ppm',\n",
       " '흑백 속도: 22ppm',\n",
       " '인쇄 해상도: 1200 x 1200dpi',\n",
       " '자동양면인쇄',\n",
       " '자동급지장치',\n",
       " '기본 급지용량: 1,140매',\n",
       " '최대 4단 용지함',\n",
       " 'A3 출력,스캔',\n",
       " '연속복사: 9999매',\n",
       " '자동양면복사',\n",
       " '연결방식: USB, 유선랜(RJ-45)',\n",
       " 'SEND기능',\n",
       " '안드로이드OS',\n",
       " 'Mac 지원',\n",
       " '4GB',\n",
       " '320GB',\n",
       " '컬러터치LCD',\n",
       " '소음: 53dBA',\n",
       " '월 권장 인쇄량: 5000매',\n",
       " '가로: 566mm',\n",
       " '세로: 640mm',\n",
       " '높이: 879mm',\n",
       " '무게: 81.2kg']"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 예제 7-19 첫 번째 제품의 스펙 목록 분리\n",
    "spec_list = data['스펙 목록'][0].split(' / ')\n",
    "spec_list "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'컬러 디지털 복합기'"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# 예제 7-20 카테고리 정보 추출\n",
    "category = spec_list[0] \n",
    "category "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "컬러 속도: 22ppm\n",
      "흑백 속도: 22ppm\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-21 ‘사용시간’, ‘흡입력’이 포함된 원소 추출 \n",
    "for spec in spec_list:\n",
    "    if '컬러 속도' in spec: \n",
    "         use_time_spec = spec \n",
    "    elif '흑백 속도' in spec:\n",
    "        suction_spec = spec\n",
    "        \n",
    "print(use_time_spec)\n",
    "print(suction_spec)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "속도:\n",
      "속도:\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-22 정량적인 수치 추출 \n",
    "use_time_value = use_time_spec.split(' ')[1].strip() \n",
    "suction_value = suction_spec.split(' ')[1].strip()\n",
    "\n",
    "print(use_time_value)\n",
    "print(suction_value)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 예제 7-23 카테고리, 사용시간, 흡입력 추출 \n",
    "category_list = []\n",
    "use_time_list = []\n",
    "suction_list = [] \n",
    "\n",
    "for spec_data in data['스펙 목록']:\n",
    "    # ' / ' 기준으로 스펙 분리하기 \n",
    "    spec_list = spec_data.split(' / ')\n",
    "    \n",
    "    # 카테고리 추출하기\n",
    "    category = spec_list[0] \n",
    "    category_list.append(category)\n",
    "    \n",
    "    # 사용시간, 흡입력 추출 \n",
    "    ## 사용시간, 흡입력 정보가 없는 제품을 위해 변수를 생성 \n",
    "    use_time_value = None \n",
    "    suction_value = None \n",
    "    \n",
    "    ## spec_list의 각 원소에서 사용시간, 흡입력 수치 추출\n",
    "    for spec in spec_list:\n",
    "        if '사용시간' in spec: \n",
    "            use_time_value = spec.split(' ')[1].strip()             \n",
    "        if '흡입력' in spec:\n",
    "            suction_value = spec.split(' ')[1].strip() \n",
    "    use_time_list.append(use_time_value)\n",
    "    suction_list.append(suction_value)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "카테고리 400 ['컬러 디지털 복합기', '복합기', '흑백 디지털 복합기', '흑백 디지털 복합기', '복합기']\n",
      "사용시간 400 [None, None, None, None, None]\n",
      "흡입력 400 [None, None, None, None, None]\n"
     ]
    }
   ],
   "source": [
    "# 예제 7-24 카테고리, 사용시간, 흡입력에 대한 전처리 결과 확인\n",
    "print(\"카테고리\", len(category_list), category_list[0:5])\n",
    "print(\"사용시간\", len(use_time_list), use_time_list[0:5])\n",
    "print(\"흡입력\", len(suction_list), suction_list[0:5])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}