| --- |
| dataset_info: |
| features: |
| - name: check_id |
| dtype: string |
| - name: clinic_id |
| dtype: string |
| - name: patient_id |
| dtype: string |
| - name: messages |
| list: |
| - name: role |
| dtype: string |
| - name: content |
| dtype: string |
| - name: images |
| list: image |
| - name: problem |
| dtype: string |
| - name: answer |
| dtype: string |
| - name: label |
| list: string |
| splits: |
| - name: train |
| configs: |
| - config_name: default |
| data_files: |
| - split: train |
| path: data/train-* |
| --- |
| |
|
|
|
|
|
|
|
|
| # cotdata_testset_0727.json 数据说明 |
|
|
| ## 0727版本测试集数据统计： |
|
|
| | 标签 | 数量 | 占比 | |
| | ----------- | --- | ------ | |
| | 颞窗穿透不良 | 22 | 0.0957 | |
| | 湍流 | 32 | 0.1391 | |
| | 涡流 | 109 | 0.4739 | |
| | 心律不齐 | 21 | 0.0913 | |
| | 轻度狭窄 | 81 | 0.3522 | |
| | 中度狭窄 | 51 | 0.2217 | |
| | 重度狭窄 | 102 | 0.4435 | |
| | 闭塞 | 70 | 0.3043 | |
| | 烟雾病 | 14 | 0.0609 | |
| | 短弧线 | 28 | 0.1217 | |
| | 盗血 | 45 | 0.1957 | |
| | 交通动脉开放 | 55 | 0.2391 | |
| | 收缩期切迹 | 37 | 0.1609 | |
| | 颈内动脉发出眼动脉之前 | 47 | 0.2043 | |
| | 颈内动脉发出眼动脉之后 | 18 | 0.0783 | |
|
|
|
|
|
|
| ## 0727版本测试集更新： |
|
|
| 以0616的原始数据为基础，重新全流程制作测试集。作如下修改： |
|
|
| 1. 同一条血管仅取最后一张图像（done） |
| 2. 把MCA,ACA里面带M2/P1的这些全删掉（done） |
| 3. 添加血流方向（朝向/背离探头），部分参数保留两位小数，其余整数（done） |
| 4. 剔除发泡（done） |
| 5. 改cot prompt（done） |
| 6. 删除group（done） |
| 7. 添加 <tool>（done） |
| 8. 图像的地址（done） |
| 9. 关键词的表达优化（done） |
|
|
| ```python |
| def clean_caption(caption): |
| # 0624更新，把MCA,ACA里面带M2/P1的这些全删掉 |
| caption = caption.replace("中动脉M2段", "中动脉") |
| caption = caption.replace("中动脉远端", "中动脉") |
| caption = caption.replace("前动脉A1段", "前动脉") |
| caption = caption.replace("后动脉P2段", "后动脉") |
| caption = caption.replace("椎动脉颅内段", "椎动脉") |
| caption = caption.replace("椎动脉颅外段", "椎动脉") |
| |
| # 0708更新，以下说法进行统一 |
| caption = caption.replace("未见明显异常", "未见异常") |
| caption = caption.replace("可探及血管未见异常", "未见异常") |
| caption = caption.replace("可探及血管检查未见异常", "未见异常") |
| caption = caption.replace("TCD探及血管未见异常", "TCD检查未见异常") |
| caption = caption.replace("双侧颈内动脉虹吸段、椎动脉及基底动脉未见异常", "TCD检查未见异常") |
| caption = caption.replace("余TCD未见异常", "TCD检查未见异常") |
| caption = caption.replace("TCD未见异常", "TCD检查未见异常") |
| caption = caption.replace("余未见异常", "TCD检查未见异常") |
| caption = caption.replace("余颅内主干动脉血管未见异常", "TCD检查未见异常") |
| caption = caption.replace("双侧眼动脉、颈内动脉虹吸段、椎动脉及基底动脉未见异常", "TCD检查未见异常") |
| caption = caption.replace("TCD所探及血管未见异常", "TCD检查未见异常") |
| caption = caption.replace("双侧颈内动脉虹吸段、眼动脉、椎动脉及基底动脉未见异常", "TCD检查未见异常") |
| |
| caption = caption.replace("湍 流", "湍流") |
| caption = caption.replace("段弧线", "短弧线") |
| caption = caption.replace("心律失常", "心律不齐") |
| |
| caption = caption.replace("狭窄（轻度）", "轻度狭窄") |
| caption = caption.replace("狭窄（中度）", "中度狭窄") |
| caption = caption.replace("狭窄（重度）", "重度狭窄") |
| |
| caption = caption.replace("收缩期可见", "可见收缩期") |
| caption = caption.replace("收缩期压迹", "收缩期切迹") |
| |
| caption = caption.replace("左颈内动脉", "左侧颈内动脉") |
| caption = caption.replace("右颈内动脉", "右侧颈内动脉") |
| caption = caption.replace("交通动脉部分开放", "交通动脉开放") |
| caption = caption.replace("后交通开放", "后交通动脉开放") |
| caption = caption.replace("前交通开放", "前交通动脉开放") |
| |
| caption = caption.replace("moyamoya", "烟雾病") |
| caption = caption.replace("颅底异常血管网", "烟雾病") |
| caption = caption.replace("烟雾综合征", "烟雾病") |
| caption = caption.replace("烟雾血管综合征", "烟雾病") |
| caption = caption.replace("烟雾病血管改变", "烟雾病") |
| return caption |
| ``` |
|
|
| 10. 部分案例的GT需要单独修改： |
|
|
| ```python |
| 136756 椎动脉所见异常，提示没有出现：（DONE） |
| 是原始数据的提示本身就存在遗漏。后续考虑请医生修改样本GT，或删除该样本 |
| 修改方式：保留原样 |
| |
| 31147 LPCA缺失：（DONE） |
| 原始数据所见处仅写了“左侧大脑后血流速度增快"，而且本身GT中也缺失LPCA的描述。后续考虑请医生修改样本GT，或删除该样本 |
| 修改办法：仅将 "左侧大脑后血流速度增快" 修改成 "左侧大脑后动脉血流速度增快", GT不变 |
| |
| check_id 17095： （DONE） |
| RMCA/RACA所见异常，但提示中没有对应描述 |
| 修改方式：保留原样 |
| |
| |
| checkid:180459 |
| （DONE） |
| - 基底动脉数据缺失：这是因为原案例中提示处是“基底动脉远端”，对应的图像却只有“基底动脉近端”，现在的清洗脚本在判断基底动脉是否缺失的时候，规则存在一定缺漏，导致既没用到近端图像，又没删掉远端这句所见。将优化。但整个测试集基底动脉类似的清洗遗漏案例，只有这一个样本 |
| 修改办法：手动修改样本，把 "基底动脉远端" 改成基底动脉 |
| |
| |
| check_id：294890 |
| |
| - 右中右前狭窄nodata原因：对应caption为"右侧大脑中动脉、前动脉未探及确切血流频谱"，这一句作为所见drop掉，但因为有“未探及”而被保留于检查过程信息。当前脚本，在考虑“未探及”案例的前后对应时，还是有逻辑遗漏，导致没有剔除掉输入未探及，但输出有探及的情况。后续也进行修改 |
| 修改办法：手动在Impression里把"右侧大脑中、前动脉重度狭窄或慢性闭塞。\n"删掉 |
| ``` |
|
|
|
|
|
|
| ### 评测脚本待更新： |
|
|
| 1. 盗血位置和综合征123期，各自算0.5分 |
| 2. 只要模型没有预测出16个标签里在GT的标签，都算未见异常 |
