phammminhhieu/SHINE_LR_V3/data/msc_raw_data/msc - Storage Bucket

Mô tả thư mục msc

Thư mục này là một bộ dữ liệu hội thoại theo kiểu persona-based, được chia thành 2 nhánh chính:

• msc_dialogue/: dữ liệu hội thoại và các file tóm tắt persona theo từng session.
• msc_personasummary/: dữ liệu hội thoại cùng phần persona summary, cũng được chia theo session.

Tổng quan nhanh:

• Có 33 file dữ liệu trong thư mục con này.
• Các file .txt là dữ liệu dạng JSON Lines hoặc JSON theo từng dòng, mỗi dòng thường là một mẫu hội thoại hoàn chỉnh.
• Các file .json lớn như init_persona_all.json, sessionlevel_summaries_subsample5.json, summaries_subsample5.json được lưu gần như trên một dòng duy nhất, nên wc -l có thể trả về 0 dù file vẫn có dữ liệu.

Bảng trường/cột theo file

msc_dialogue/init_persona_all.json

• Dạng dữ liệu: JSON map lồng nhau.
• Khóa cấp trên: mã mẫu như test_588, test_816, test_982.
• Giá trị của mỗi khóa: 2 persona.
• Mỗi persona: một danh sách câu mô tả bản thân.
• Nghĩa của từng phần:
  • phần 1: persona thứ nhất
  • phần 2: persona thứ hai
  • từng phần tử bên trong: một câu persona riêng lẻ

Mẫu dữ liệu thật:

{
    "test_588": [
        [
            "I love to learn new languages. I speak English.",
            "I like to run. Baseball is my favorite activity.",
            "I have a marketing degree. I would like to design ads for Sufjan Stevens."
        ],
        [
            "I speak Spanish. Running is my favorite exercise.",
            "My favorite artist is Sufjan Stevens.",
            "I am a personal accountant for Sufjan Stevens."
        ]
    ]
}

msc_dialogue/sessionlevel_summaries_subsample5.json

• Dạng dữ liệu: JSON map lồng nhau theo session.
• Khóa cấp 1: số session, ví dụ "1".
• Khóa cấp 2: mã mẫu như valid_258, valid_411.
• Giá trị của mỗi mẫu: 2 nhóm summary.
• Mỗi nhóm summary trong file này thường được lưu dưới dạng một mảng chỉ chứa 1 chuỗi dài.
• Nghĩa của từng phần:
  • phần 1: summary phía persona 1
  • phần 2: summary phía persona 2
  • chuỗi bên trong: bản tóm tắt gộp nhiều ý lại thành một đoạn

Mẫu dữ liệu thật:

{
    "valid_258": [
        [
            "I like to eat tofu. I go to the park. My favorite color is blue. I have a husband. I work for the vegetarians with vaginas organization. I run a lot. I am a busy woman. I just finished watching narcos. Pablo is a beautiful man. I sometimes chew up meat and spit it out. I am a vegetarian. I have coworkers. I punch my sister's cat sometimes. I am polygamist."
        ],
        [
            "I love tofu. I love cars. I work at home. I have a great job. I have girl friends. I go to the gym. I love binge watching tv. I am lazy. I love Narcos and Better Call Saul. My boyfriend and his girlfriend are judgemental about food."
        ]
    ]
}

msc_dialogue/summaries_subsample5.json

• Dạng dữ liệu: JSON map lồng nhau theo session.
• Khóa cấp 1: số session, ví dụ "1".
• Khóa cấp 2: mã mẫu như valid_258, valid_411.
• Giá trị của mỗi mẫu: 2 nhóm summary.
• Khác với file session-level ở trên, summary ở đây được tách thành nhiều câu/ngữ đoạn riêng.
• Nghĩa của từng phần:
  • phần 1: danh sách câu summary cho persona thứ nhất
  • phần 2: danh sách câu summary cho persona thứ hai
  • từng chuỗi trong mỗi danh sách: một câu/ý tóm tắt riêng

Mẫu dữ liệu thật:

{
    "valid_258": [
        [
            "I like to eat tofu. I go to the park.",
            "My favorite color is blue. I have a husband.",
            "I work for the vegetarians with vaginas organization.",
            "I run a lot. I am a busy woman.",
            "I just finished watching narcos. Pablo is a beautiful man.",
            "I sometimes chew up meat and spit it out."
        ],
        [
            "I love tofu. I love cars.",
            "I work at home. I have a great job.",
            "I have girl friends. I go to the gym.",
            "I love binge watching tv. I am lazy.",
            "I love Narcos and Better Call Saul.",
            "My boyfriend and his girlfriend are judgemental about food."
        ]
    ]
}

msc_dialogue/session_2 đến msc_dialogue/session_5

• Ba file trong mỗi session: train.txt, valid.txt, test.txt.
• Dạng dữ liệu: JSON Lines, mỗi dòng là một mẫu hội thoại hoàn chỉnh.
• Các cột/trường cấp cao ở mỗi dòng:
  • personas: 2 persona ban đầu của hai phía hội thoại
  • dialog: danh sách lượt hội thoại
  • metadata: thông tin định danh của mẫu
  • previous_dialogs: các đoạn hội thoại trước đó kèm persona đã dùng
  • init_personas: persona khởi tạo, thường lặp lại ở dạng cấu trúc khác
• Các cột/trường bên trong từng phần tử dialog:
  • id: ai đang nói, thường là bot_0 hoặc bot_1
  • text: câu thoại thực tế
  • convai2_id: mã hội thoại gốc
  • persona_text: câu persona đang gắn với lượt đó
  • problem_data: phần persona ở dạng cấu trúc
  • agg_persona_list: danh sách persona đã tích lũy trước đó

Mẫu dữ liệu thật từ msc_dialogue/session_2/train.txt:

{
    "personas": [
        [
            "I've been working a lot of extra hours. I want to break from my non-stop work.",
            "I like going to the beach.",
            "I love brownies."
        ],
        [
            "I served or serve in the military. I've traveled the world.",
            "I've blown things up.",
            "I've never been to Bora Bora.",
            "I love chocolate."
        ]
    ],
    "dialog": [
        {
            "text": "Are you still in the military?",
            "id": "Speaker 1",
            "convai2_id": "train:ordered_3537"
        },
        {
            "text": "No, I have no longer serve in the millitary, I had served up the full term that I signed up for, and now work outside of the millitary.",
            "id": "Speaker 2",
            "convai2_id": "train:ordered_3537"
        }
    ],
    "metadata": {
        "initial_data_id": "train:ordered_3537",
        "session_id": 2
    },
    "previous_dialogs": [
        {
            "personas": [
                [
                    "I've been working a lot of extra hours. I want to break from my non-stop work.",
                    "I like going to the beach.",
                    "I love brownies."
                ],
                [
                    "I served or serve in the military. I've traveled the world.",
                    "I've blown things up.",
                    "I've never been to Bora Bora.",
                    "I love chocolate."
                ]
            ],
            "dialog": [
                {
                    "text": "I need some advice on where to go on vacation, have you been anywhere lately?"
                }
            ]
        }
    ],
    "init_personas": [
        [
            "I've been working a lot of extra hours. I want to break from my non-stop work.",
            "I like going to the beach.",
            "I love brownies."
        ],
        [
            "I served or serve in the military. I've traveled the world.",
            "I've blown things up.",
            "I've never been to Bora Bora.",
            "I love chocolate."
        ]
    ]
}

msc_personasummary/session_1 đến msc_personasummary/session_4

• Cấu trúc file giống hệt nhóm msc_dialogue/session_* ở trên.
• Điểm khác là nội dung đang được xây theo nhánh persona summary.
• Mỗi session vẫn dùng các file train.txt, valid.txt, test.txt.
• Các trường cấp cao và trường con trong dialog vẫn giữ nguyên schema:
  • dialog
  • followup
  • newfact
  • initial_data_id
  • init_personachat
  • cùng các trường con như id, text, convai2_id, persona_text, problem_data, agg_persona_list

Mẫu ghi chú thực tế từ file dạng này:

{
    "followup": "Do you take leto with you when you rock climb?",
    "newfact": "How was your rock climbing expedition with the boys?",
    "initial_data_id": "test_59"
}

Bảng tóm tắt nhanh theo file

File / nhóm file	Trường hoặc cột chính	Dữ liệu mẫu cần nhìn
msc_dialogue/init_persona_all.json	mã mẫu, 2 persona, danh sách câu persona	test_588 với 2 persona ở dạng mảng câu
msc_dialogue/sessionlevel_summaries_subsample5.json	session, sample id, 2 summary block	valid_258 với mỗi block là 1 chuỗi dài
msc_dialogue/summaries_subsample5.json	session, sample id, 2 summary block	valid_258 với summary được tách thành nhiều câu
msc_dialogue/session_2..5/*.txt	personas, dialog, metadata, previous_dialogs, init_personas	bản ghi train:ordered_3537 trong session_2/train.txt
msc_personasummary/session_1..4/*.txt	dialog, followup, newfact, initial_data_id, init_personachat	bản ghi tương tự valid_0 và valid_977

Cấu trúc thư mục

msc/
├── msc_dialogue/
│   ├── init_persona_all.json
│   ├── sessionlevel_summaries_subsample5.json
│   ├── summaries_subsample5.json
│   ├── session_2/
│   │   ├── train.txt
│   │   ├── valid.txt
│   │   └── test.txt
│   ├── session_3/
│   │   ├── train.txt
│   │   ├── valid.txt
│   │   └── test.txt
│   ├── session_4/
│   │   ├── train.txt
│   │   ├── valid.txt
│   │   └── test.txt
│   └── session_5/
│       ├── valid.txt
│       └── test.txt
└── msc_personasummary/
    ├── session_1/
    │   ├── train.txt
    │   ├── valid.txt
    │   └── test.txt
    ├── session_2/
    │   ├── train.txt
    │   ├── valid.txt
    │   └── test.txt
    ├── session_3/
    │   ├── train.txt
    │   ├── valid.txt
    │   └── test.txt
    └── session_4/
        ├── valid.txt
        └── test.txt

Ý nghĩa từng thư mục

msc_dialogue/

Đây là nhánh chứa hội thoại gốc và các file liên quan đến persona, gồm:

• init_persona_all.json: ánh xạ giữa các mẫu dữ liệu và danh sách persona khởi tạo.
• sessionlevel_summaries_subsample5.json: tóm tắt persona ở mức session.
• summaries_subsample5.json: phiên bản tóm tắt persona được tách thành các câu/ngữ đoạn nhỏ hơn.
• session_2/ đến session_5/: các tập train.txt, valid.txt, test.txt cho từng session.

msc_personasummary/

Đây là nhánh chứa dữ liệu theo kiểu persona summary, cũng chia theo session:

• session_1/ đến session_4/
• Mỗi session thường có train.txt, valid.txt, test.txt
• Riêng một số session chỉ có valid.txt và test.txt, không có train.txt

Cấu trúc nội dung file .txt

Các file .txt không phải văn bản tự do, mà là dữ liệu có cấu trúc theo JSON. Mỗi dòng thường tương ứng với một mẫu hội thoại.

Cấu trúc cấp cao

Một bản ghi thường có các trường sau:

• dialog: danh sách các lượt hội thoại
• followup: câu hỏi hoặc nhiệm vụ follow-up
• newfact: thông tin mới được đưa vào sau một khoảng thời gian
• initial_data_id: mã định danh của mẫu dữ liệu gốc
• init_personachat: thông tin persona ban đầu

Bên trong dialog

Mỗi phần tử trong dialog là một lượt nói của một nhân vật, thường có các trường:

• id: định danh người nói, ví dụ bot_0, bot_1
• text: nội dung câu nói
• convai2_id: mã hội thoại gốc
• persona_text: câu persona đang được sử dụng ở lượt đó
• problem_data: phần mô tả persona được gán cho lượt đó
• agg_persona_list: danh sách persona đã tích lũy theo thời gian

Một số lượt chỉ có id, text, convai2_id và agg_persona_list; các trường như persona_text hoặc problem_data có thể vắng mặt nếu lượt đó không gắn persona mới.

Bên trong init_personachat

Trường này thường chứa:

• init_personas: một mảng gồm 2 bộ persona
• Mỗi bộ persona là một danh sách các câu mô tả bản thân
• Mỗi persona thường gồm nhiều câu ngắn, ví dụ sở thích, nghề nghiệp, gia đình, thói quen

Cấu trúc nội dung file .json

Các file JSON ở đầu thư mục có cấu trúc lồng nhau theo dạng:

• tầng 1: khóa theo session hoặc split, ví dụ "1"
• tầng 2: khóa theo sample id, ví dụ valid_258, test_43
• tầng 3: mỗi sample chứa 2 persona/2 nhánh dữ liệu

init_persona_all.json

File này lưu các persona khởi tạo cho toàn bộ dataset. Giá trị thường là:

• một map từ mã sample sang danh sách persona
• mỗi sample chứa 2 persona
• mỗi persona là một danh sách câu mô tả bản thân

sessionlevel_summaries_subsample5.json

File này lưu các summary ở mức session. Quan sát mẫu cho thấy:

• mỗi sample có 2 nhóm summary
• mỗi nhóm summary thường được lưu dưới dạng một chuỗi dài
• nội dung được ghép thành một đoạn thay vì tách thành câu nhỏ

summaries_subsample5.json

File này có cấu trúc rất giống file session-level phía trên, nhưng nội dung summary được tách chi tiết hơn:

• mỗi nhóm summary vẫn gắn với một sample
• thay vì một đoạn dài, summary thường được tách thành nhiều câu/ngữ đoạn riêng

Ghi chú thực tế khi đọc dữ liệu

• Các file lớn có thể rất nặng, nên mở bằng công cụ đọc theo đoạn hoặc parser JSON thay vì mở toàn bộ bằng editor.
• Những file .txt theo session có số dòng lớn, thường tương ứng với nhiều mẫu hội thoại khác nhau.
• Dữ liệu mang tính persona-based dialog, nên phần persona ở đầu và phần hội thoại sau đó thường có liên hệ chặt chẽ.

Tóm tắt ngắn

Nếu cần nhớ nhanh, thư mục này gồm:

• hội thoại theo session
• persona khởi tạo
• summary persona ở nhiều mức độ chi tiết
• dữ liệu được tổ chức để phục vụ huấn luyện, validation và test cho mô hình hội thoại có persona

Phụ lục: mẫu theo từng file

Phần này liệt kê từng file trong folder và một mẫu xem trước ngắn. Các file .built là file đánh dấu rỗng nên không có dữ liệu để trích mẫu.

msc_dialogue/

• init_persona_all.json — mẫu xem trước: {"train:ordered_0": {"personas": [["I chase cheetahs to stay in shape.", "I like to do canning and whittling for hobbies.", ...
• session_2/.built — empty marker file
• session_2/test.txt — mẫu xem trước: {"personas": [["I own a Jeep.", "I enjoy exercising at the gym.", "I have a marketing job.", ...
• session_2/train.txt — mẫu xem trước: {"personas": [["I've been working a lot of extra hours. I want to break from my non-stop work.", "I like going to the beach.", ...
• session_2/valid.txt — mẫu xem trước: {"personas": [["I watch horror movies.", "I like cooler weather.", "My son is in junior high.", ...
• session_3/.built — empty marker file
• session_3/test.txt — mẫu xem trước: {"personas": [["I own a Jeep.", "I enjoy exercising at the gym.", "I have a marketing job.", ...
• session_3/train.txt — mẫu xem trước: {"personas": [["I am a mechanical engineer. I've been working a lot of extra hours.", "I like going to the beach.", ...
• session_3/valid.txt — mẫu xem trước: {"personas": [["I like cooler weather.", "My son is in junior high.", "I used to work in human services.", ...
• session_4/.built — empty marker file
• session_4/test.txt — mẫu xem trước: {"personas": [["I own a Jeep.", "I enjoy exercising at the gym.", "I have a marketing job. I do not find my job very interesting.", ...
• session_4/train.txt — mẫu xem trước: {"personas": [["My name is Brian.", "I like to draw instead of taking notes in class.", "I'm in the Griffindore house of Harry Potter.", ...
• session_4/valid.txt — mẫu xem trước: {"personas": [["I like cooler weather.", "My son is in junior high.", "I used to work in human services.", ...
• session_5/.built — empty marker file
• session_5/test.txt — mẫu xem trước: {"personas": [["I own a Jeep.", "I enjoy exercising at the gym.", "I have a marketing job. I do not find my job very interesting.", ...
• session_5/valid.txt — mẫu xem trước: {"personas": [["I like cooler weather.", "My son is in junior high.", "I used to work in human services.", ...
• sessionlevel_summaries_subsample5.json — mẫu xem trước: {"1": {"valid_258": [["I like to eat tofu. I go to the park. My favorite color is blue. I have a husband. ...
• summaries_subsample5.json — mẫu xem trước: {"1": {"valid_258": [["I like to eat tofu. I go to the park.", "My favorite color is blue. I have a husband.", ...

msc_personasummary/

• session_1/.built — empty marker file
• session_1/test.txt — mẫu xem trước: {"dialog": [{"id": "bot_0", "text": "What kind of car do you own? I have a jeep.", "convai2_id": "test_0", ...
• session_1/train.txt — mẫu xem trước: {"dialog": [{"id": "bot_0", "text": "I need some advice on where to go on vacation, have you been anywhere lately?", ...
• session_1/valid.txt — mẫu xem trước: {"dialog": [{"id": "bot_0", "text": "Hello what are doing today?", "convai2_id": "valid_0", ...
• session_2/.built — empty marker file
• session_2/test.txt — mẫu xem trước: {"dialog": [{"text": "Did you manage to go out on a run today?", "id": "bot_0", "convai2_id": "test_0", ...
• session_2/train.txt — mẫu xem trước: {"dialog": [{"text": "Are you still in the military?", "id": "bot_0", "convai2_id": "train:ordered_3537", ...
• session_2/valid.txt — mẫu xem trước: {"dialog": [{"text": "I've heard they're making a new Stephen King adaptation - I bet I end up going to see it!", ...
• session_3/.built — empty marker file
• session_3/test.txt — mẫu xem trước: {"dialog": [{"text": "Did you check out that new gym in town?", "id": "bot_0", "convai2_id": "test_0", ...
• session_3/train.txt — mẫu xem trước: {"dialog": [{"id": "bot_0", "text": "Hey just wanted to tell you I just arrived in Australia.", "convai2_id": "train:ordered_136", ...
• session_3/valid.txt — mẫu xem trước: {"dialog": [{"text": "What other books have you read in your life that really stand out to you?", "id": "bot_0", ...
• session_4/.built — empty marker file
• session_4/test.txt — mẫu xem trước: {"dialog": [{"text": "Any luck with the search for a new gym?", "id": "bot_0", "convai2_id": "test_0", ...
• session_4/valid.txt — mẫu xem trước: {"dialog": [{"text": "Do you have any new stunt double jobs coming up?", "id": "bot_0", "convai2_id": "valid_0", ...