ВОПРОС: Датасет в папке datasets_knowledge_embedding/WN18RR/original/ содержит 40943 объекта, как и должно быть согласно статье Dettmers et al. Однако datasets_knowledge_embedding/WN18RR/text/ имеет 41105 сущностей, что означает, что в нём на 162 сущности больше, чем должно. Есть идеи, почему это так?
ОТВЕТ: Вероятно, вы больше этим не занимаетесь, но я думаю, что это проблема самой WN18RR, поскольку она определяет объекты только по их смещению (что приводит к дублированию).
Я провёл некоторую статистику и обнаружил, что с текстовыми данными на 161 объект больше - в 160 случаях 2 имеют одинаковое смещение; в то время как 3 имеют одинаковый идентификатор смещения в 1 случае, что дает 161 объект. Это, конечно, источник ложных срабатываний и шума в данных.