Update README.md

README.md

@@ -8,61 +8,92 @@ pinned: false
 sdk: static
 ---
 
-# Interview Guidelines
+# Labeling Guideline
 
-Thank you for contributing to our project! 🤗
+레이블링에 참여해주셔서 감사합니다!
 
-This interview will take up to a maximum of 1 hour. During the interview, you'll be asked questions about yourself (50+ in total):
+해당 레이블링에서는 동일한 면접 대상자에 대한 서로 다른 두 AI 면접관의 인터뷰 대화 기록을 보고, AI 면접관의 질문 능력을 평가하게 됩니다. 
+여러분이 해주셔야 할 태스크는 아래와 같이 두 가지입니다.
 
-1. 10 demographic questions
-2. 40+ follow-up questions
-3. repeating some questions for clarification
+- 서로 다른 두 면접관 중, 어떤 면접관이 더 나은 질문을 하는지 판단하세요.
+- 각 면접관의 자질을 5점 척도로 평가해 주세요.
 
-The interviewer is designed to persistently ask questions to get to know you better. 
-Before you start the interview, **please make sure to read the following**!
+# Evaluation Guideline
+질문 능력 평가 기준은 다음과 같습니다. 아래 다섯가지 항목에 대해 모두 충족할 경우 가장 질문을 잘한 면접관입니다. 
 
-# ⚠️ Warning
+### Very Good 기준
+- 한 주제에 대해 답변이 충분히 구체화가 될 때까지 질문했는가 
+- 검증 가능한 정보들을 뽑아낼 수 있는 질문 위주로 했는가 (= 모순을 판단할 수 있거나, 외부 검색을 통해 검증할 수 있을 만한 질문인가) 
+  
+  (e.g., "날짜, 주소, 소속 ID, 기관 이름, 이메일, 다니는 회사 상사 등 관계자 이름" 관련 질문들)
+- 인터뷰이 본인의 정보를 물어보는 질문들로 구성되었는가
+- 질문들 간의 상호 연관성이 높은가 
+- 이전 대화에서 모순이나 의문점이 발견되었을 경우, 발생한 모순과 관련된 질문을 많이 했는가 
 
-- If the questions are inappropriate or uncomfortable in any sense (e.g., invasion of privacy), you may refuse to provide the response.
-- Collecting your information is solely for research purposes. We ensure that your information **will be protected and NOT be used in any way.**
-  - Your information will be deleted as the research project is over.
-- Please be truthful in all questions, and if you do not want to provide further information, clearly express your refusal.
-  - You can abstain from providing response and even change the topic by saying, for example, 'can we talk about something else?'
-- **Please do NOT reload or exit the page**, or your interview log will be lost, and you will need to start over.
+### Very Bad 케이스
+반대로 질문을 못한 케이스는 다음과 같습니다. 
+- 하나의 주제에 대해 충분히 구체화가 되지 않았는데 바로 완전히 다른 주제로 넘어가버린 경우
+- 모순 여부나 사실 관계를 검증하기 어려운 추상적인 질문을 한 경우 
+  
+  (e.g., "너의 취미는 뭐야?", "너의 인생에서 가장 중요한 가치는 뭐야?")
+- 인터뷰이 본인과 연관성이 낮은 질문을 한 경우 
 
-We sincerely appreciate your time.
-If you have any inquiries or want to report issues, feel free to reach out at any time. 
+  (e.g., "나는 구글에 다녀." → "구글 CEO의 생일은 언제야?")
+- 질문들 사이의 관련성이 낮아 상호 모순을 판단하기 어려운 경우
+- 이전 대화에서 모순이 발견되었음에도 연관성 없는 다른 질문으로 넘어가버린 경우
+
+### Scoring Summary
+Very Good 기준을 모두 충족할 경우 Very Good, 1-2개 아쉬운 부분이 있다면 Good, 3개 정도 충족하지 못하면 So-so, 1개만 충족한다면 Bad 입니다. 
+모두 다 충족하지 못하면 Very Bad를 주시면 됩니다.
 
-You can also leave a comment in "🫱Community" --> ["Bug/Error Report during Interview"](https://huggingface.co/spaces/human-labeling/README/discussions/1) on the top right corner of this guideline.
 
 📧 minskim010203@gmail.com, imsujeong2190@gmail.com
 
 ---
-# Interview Guidelines
 
-인터뷰에 참여해주셔서 진심으로 감사드립니다! 🤗
+# Labeling Guideline
+Thank you for participating in this labeling project!
+
+In this task, you will review interview transcripts of two different AI interviewers engaging with the same interviewee. Your goal is to evaluate the questioning capabilities of each AI interviewer.
+
+There are two main tasks you need to perform:
+
+Compare and Choose: Determine which of the two interviewers asks better questions.
+
+Score: Rate the quality of each interviewer on a 5-point scale.
+
+# Evaluation Guideline
+The criteria for evaluating questioning ability are as follows. An interviewer who meets all five of the following items is considered to have performed excellently.
+
+### Criteria for "Very Good"
+- Depth of Inquiry: Did the interviewer continue questioning until the response regarding a specific topic was sufficiently detailed?
+
+- Verifiability: Did the interviewer focus on questions that extract verifiable information? (i.e., questions that allow for detecting contradictions or can be cross-referenced via external search, such as dates, addresses, IDs, organization names, emails, or names of supervisors/colleagues).
+
+- Relevance: Were the questions specifically tailored and relevant to the interviewee?
+
+- Cohesion: Is there a high degree of interconnection between the questions?
 
-인터뷰는 최대 1시간 가량 진행되며, 50개 이상의 질문에 답변하게 됩니다.
+- Conflict Resolution: If contradictions or questionable points arose in previous dialogue, did the interviewer follow up with multiple questions related to those contradictions?
 
-1. 인구통계학적(demographic) 질문 10개
-2. 1에 기반한 꼬리 질문 40개 이상
-3. 확인을 위해 일부 질문에 대해 재질문
+### "Very Bad" Cases
+Conversely, the following are examples of poor questioning:
 
-질문자는 인터뷰 참여자에 대해 자세히 파악하기 위해 매우 자세히, 집요하게 질문을 던지도록 설계되었습니다.
-인터뷰를 시작하시기 전에, **아래 주의사항을 반드시 숙지하시길 부탁드립니다.**
+- Premature Topic Switching: Moving to a completely different topic before a single subject has been sufficiently explored.
 
-# ⚠️ 주의사항
+- Abstract Questions: Asking vague questions where it is difficult to verify facts or detect contradictions (e.g., "What are your hobbies?", "What is the most important value in your life?").
 
-- 어떤 식으로든 질문자의 질문이 부적절하면(사생활 침해 등) 참여자는 응답을 거부할 수 있습니다.
-- 참여자의 개인정보는 오로지 연구 목적으로만 수집하며, **어떤 방식으로든 활용되지 않고 보호됨**을 당부드립니다.
-  - 수집된 개인정보는 프로젝트의 종료에 따라 즉시 삭제됩니다.
-- 질문에 답할 때에는 진실되게 답하되, 답변을 거부할 때에는 확실하게 의사표현을 하시면 됩니다.
-  - 단순히 질문에 응답을 거부할 수도 있고, 화제를 바꿀 수도 있습니다(예: 다른 주제로 대화할 수 있을까요?).
-- **페이지를 새로고침하거나 창을 닫지 마세요!** 인터뷰 기록이 소실되어 처음부터 다시 시작해야 합니다.
+- Low Personal Relevance: Asking questions with little connection to the interviewee (e.g., Interviewee: "I work at Google." -> Interviewer: "When is the CEO of Google’s birthday?").
 
-시간 내어 참여해주셔서 다시 한 번 감사드리며, 문의사항이나 오류가 있을 경우 하단의 이메일 주소로 언제든 연락주세요.
+- Lack of Correlation: Questions are so unrelated that it is impossible to judge internal consistency or contradictions.
 
-인터뷰 중간에 발생하는 에러 등에 대해서는 이 가이드라인의 우측 상단에 작게 적힌 🫱Community --> ["Bug/Error Report during Interview"](https://huggingface.co/spaces/human-labeling/README/discussions/1) 포럼에 제보해주시면 감사하겠습니다.
+- Ignoring Discrepancies: Moving on to unrelated questions even after a contradiction was detected in the previous conversation.
 
+### Scoring Summary
+Very Good: Meets all "Very Good" criteria.
+Good: Misses 1–2 criteria or has minor room for improvement.
+So-so: Fails to meet approximately 3 of the criteria.
+Bad: Meets only 1 of the criteria.
+Very Bad: Meets none of the criteria.
 
 📧 minskim010203@gmail.com, imsujeong2190@gmail.com