Knowledge Graph Completion (일명 KG Link Prediction)에 관해 석사 논문 연구를 4달간 수행했습니다. 산학 협력 프로젝트로 런던 소재 Streetbees 스타트업과 UCL NLP 연구소와 함께 진행했습니다. 기존의 State-of-the-art 모델 이었던 ComplEx-N3는 주변의 Neighbourhood node를 참고하지 않는 Triple-Learning 기반의 모델이라는 한계를 가지고 있기에 이것을 극복하기 위해서 새로운 ContExt 모델을 제안하였습니다. 제가 새롭게 제안한 ContExt 모델은 최근의 NLP 연구에서 부각되고 있는 Attention 기반의 모델 (예를 들어서 Transformer in Machine Translation, Question Answering)과 LSTM 그리고 GRU의 Gating mechanism에 착안하여 만든 모델입니다. PyTorch를 활용하여 모델을 implement하였습니다. 코드는 https://github.com/jhb115/kgc 에서 참고하실수 있습니다.
Wordnet (WN18RR), Freebase (FB15K-237), YAGO3-10 dataset (benchmark datasets for KG Completion tasks) 으로 실험하였습니다. 제 ContExt 모델은 WN18RR dataset에서 새로운 state-of-the-art 실험 결과를 성취하였고 기존의 state-of-the-art 모델의 실험결과를 15퍼센트 향상시켰습니다 (ContExt 모델: MRR = 0.52, HitsAt10= 0.61, ComplEx-N3: MRR= 0.48, HitsAt10 = 0.57).
현재 이 연구는 UCL NLP Group에서 Dr. Pasquale Minervini와 함께 계속 진행하고 있으며 ACL conference에 기고할 예정입니다.
더보기