[EDA] 논문 요약 데이터 분석

[sangHa0411]

데이터 출처

• 출처 : https://aihub.or.kr/aidata/30712
• 개요 : 논문 요약 데이터

데이터 적용 여부

• 확정

데이터 갯수

• Total : 92051 (중복제거)
• Train : 73620
• Test : 18411
• 8 : 2 비율

EDA 내용

1. 길이
   

   1. Document가 너무 긴 데이터 ( > 2000) = 268개
   2. Title이 너무 짧은 데이터 ( < 5 ) = 9개

2. Tokenizing 한 결과
   

   • 해석 : 대부분의 데이터의 Token 갯수가 512 이하이므로 BigBird, LongFormer 등은 논문 데이터에 한해서는 필요가 없어보입니다.

3. 제목의 핵심 단어들이 본문에 있는 정도
   

   • 정리 : 제목에 있는 핵심 단어들이 본문에 대부분 분포되어 있는 것을 확인했습니다.
   • 해석 : 새로운 단어를 생성요약할 때 추론하는 것이 아니라 본문에 있는 단어들을 사용해서 새롭게 문장을 만드는 문제이므로 엄청 어려운 Task는 아닌 것으로 생각합니다.