--- dataset_info: features: - name: check_id dtype: string - name: clinic_id dtype: string - name: patient_id dtype: string - name: messages list: - name: role dtype: string - name: content dtype: string - name: images list: image - name: problem dtype: string - name: answer dtype: string - name: label list: string splits: - name: train configs: - config_name: default data_files: - split: train path: data/train-* --- # cotdata_testset_0727.json 数据说明 ## 0727版本测试集数据统计： | 标签 | 数量 | 占比 | | ----------- | --- | ------ | | 颞窗穿透不良 | 22 | 0.0957 | | 湍流 | 32 | 0.1391 | | 涡流 | 109 | 0.4739 | | 心律不齐 | 21 | 0.0913 | | 轻度狭窄 | 81 | 0.3522 | | 中度狭窄 | 51 | 0.2217 | | 重度狭窄 | 102 | 0.4435 | | 闭塞 | 70 | 0.3043 | | 烟雾病 | 14 | 0.0609 | | 短弧线 | 28 | 0.1217 | | 盗血 | 45 | 0.1957 | | 交通动脉开放 | 55 | 0.2391 | | 收缩期切迹 | 37 | 0.1609 | | 颈内动脉发出眼动脉之前 | 47 | 0.2043 | | 颈内动脉发出眼动脉之后 | 18 | 0.0783 | ## 0727版本测试集更新： 以0616的原始数据为基础，重新全流程制作测试集。作如下修改： 1. 同一条血管仅取最后一张图像（done） 2. 把MCA,ACA里面带M2/P1的这些全删掉（done） 3. 添加血流方向（朝向/背离探头），部分参数保留两位小数，其余整数（done） 4. 剔除发泡（done） 5. 改cot prompt（done） 6. 删除group（done） 7. 添加 （done） 8. 图像的地址（done） 9. 关键词的表达优化（done） ```python def clean_caption(caption): # 0624更新，把MCA,ACA里面带M2/P1的这些全删掉 caption = caption.replace("中动脉M2段", "中动脉") caption = caption.replace("中动脉远端", "中动脉") caption = caption.replace("前动脉A1段", "前动脉") caption = caption.replace("后动脉P2段", "后动脉") caption = caption.replace("椎动脉颅内段", "椎动脉") caption = caption.replace("椎动脉颅外段", "椎动脉") # 0708更新，以下说法进行统一 caption = caption.replace("未见明显异常", "未见异常") caption = caption.replace("可探及血管未见异常", "未见异常") caption = caption.replace("可探及血管检查未见异常", "未见异常") caption = caption.replace("TCD探及血管未见异常", "TCD检查未见异常") caption = caption.replace("双侧颈内动脉虹吸段、椎动脉及基底动脉未见异常", "TCD检查未见异常") caption = caption.replace("余TCD未见异常", "TCD检查未见异常") caption = caption.replace("TCD未见异常", "TCD检查未见异常") caption = caption.replace("余未见异常", "TCD检查未见异常") caption = caption.replace("余颅内主干动脉血管未见异常", "TCD检查未见异常") caption = caption.replace("双侧眼动脉、颈内动脉虹吸段、椎动脉及基底动脉未见异常", "TCD检查未见异常") caption = caption.replace("TCD所探及血管未见异常", "TCD检查未见异常") caption = caption.replace("双侧颈内动脉虹吸段、眼动脉、椎动脉及基底动脉未见异常", "TCD检查未见异常") caption = caption.replace("湍 流", "湍流") caption = caption.replace("段弧线", "短弧线") caption = caption.replace("心律失常", "心律不齐") caption = caption.replace("狭窄（轻度）", "轻度狭窄") caption = caption.replace("狭窄（中度）", "中度狭窄") caption = caption.replace("狭窄（重度）", "重度狭窄") caption = caption.replace("收缩期可见", "可见收缩期") caption = caption.replace("收缩期压迹", "收缩期切迹") caption = caption.replace("左颈内动脉", "左侧颈内动脉") caption = caption.replace("右颈内动脉", "右侧颈内动脉") caption = caption.replace("交通动脉部分开放", "交通动脉开放") caption = caption.replace("后交通开放", "后交通动脉开放") caption = caption.replace("前交通开放", "前交通动脉开放") caption = caption.replace("moyamoya", "烟雾病") caption = caption.replace("颅底异常血管网", "烟雾病") caption = caption.replace("烟雾综合征", "烟雾病") caption = caption.replace("烟雾血管综合征", "烟雾病") caption = caption.replace("烟雾病血管改变", "烟雾病") return caption ``` 10. 部分案例的GT需要单独修改： ```python 136756 椎动脉所见异常，提示没有出现：（DONE） 是原始数据的提示本身就存在遗漏。后续考虑请医生修改样本GT，或删除该样本 修改方式：保留原样 31147 LPCA缺失：（DONE） 原始数据所见处仅写了“左侧大脑后血流速度增快"，而且本身GT中也缺失LPCA的描述。后续考虑请医生修改样本GT，或删除该样本 修改办法：仅将 "左侧大脑后血流速度增快" 修改成 "左侧大脑后动脉血流速度增快", GT不变 check_id 17095： （DONE） RMCA/RACA所见异常，但提示中没有对应描述 修改方式：保留原样 checkid:180459 （DONE） - 基底动脉数据缺失：这是因为原案例中提示处是“基底动脉远端”，对应的图像却只有“基底动脉近端”，现在的清洗脚本在判断基底动脉是否缺失的时候，规则存在一定缺漏，导致既没用到近端图像，又没删掉远端这句所见。将优化。但整个测试集基底动脉类似的清洗遗漏案例，只有这一个样本 修改办法：手动修改样本，把 "基底动脉远端" 改成基底动脉 check_id：294890 - 右中右前狭窄nodata原因：对应caption为"右侧大脑中动脉、前动脉未探及确切血流频谱"，这一句作为所见drop掉，但因为有“未探及”而被保留于检查过程信息。当前脚本，在考虑“未探及”案例的前后对应时，还是有逻辑遗漏，导致没有剔除掉输入未探及，但输出有探及的情况。后续也进行修改 修改办法：手动在Impression里把"右侧大脑中、前动脉重度狭窄或慢性闭塞。\n"删掉 ``` ### 评测脚本待更新： 1. 盗血位置和综合征123期，各自算0.5分 2. 只要模型没有预测出16个标签里在GT的标签，都算未见异常