New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

bart + doc type embeddings #33

Open

changyong93 opened this issue Dec 13, 2021 · 0 comments

Assignees

Labels

report

Contributor

changyong93 commented Dec 13, 2021

아시다시피, 저희 데이터 셋은 paper, news, magazine 세 가지를 사용하며, 각 데이터 특성에 맞게 제목을 생성하고자 documents type embedding을 추가하자는 결론을 냈습니다.

우선, 적용하여 결론부터 얘기하자면, doc_type embedding은 padding, paper, new, magazine이 포함되어 (4 x dim)의 크기를 가지고 있습니다.

문제는, 해당 embedding에 pretrained weight가 없기에 fine-tuning을 하더라도 저조한 성능을 보였으며, 이 부분은, TAPT 이후 다시 시도해보기로 했습니다.

bart model에 doctype을 구현하기 위해서는, 아래 3개의 모듈에 doc_type 관련 코드를 추가해줘야 합니다.
BartForConditionalGeneration
BartModel
BartEncoder
자세한 내용는 코드를 보고 설명하겠습니다.

changyong93 added the report label

changyong93 self-assigned this

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment