selenium 및 beautifulsoup을 활용해서 데이터의 제목 복원하기

[sangHa0411]

1. Target Data

• 제목에서 한자가 많은 경우
• 예시
  

2. Crawling 구조

   1. selenium을 이용해서 네이버 학술 정보에 접근
   2. 네이버 학술 정보에 생략된 제목을 검색해서 원래 제목을 파악하기
      
   3. 검색해서 결과가 나오면 제일 첫 번째 항목의 논문의 제목을 추출해서 교체 및 저장
      

3. 정리

• selenium을 이용해서 네이버 학술 정보에 접근하고 데이터에 있는 제목을 검색하였습니다.
• 검색된 페이지에서 beautifulsoup을 활용해서 논문의 원래 제목을 추출하여 변경하였습니다.
• 현재는 데이터를 복원 중이며 마치는데로 수정된 데이터를 HuggingFace hub에 올리도록 하겠습니다.