File size: 2,266 Bytes
1c980b1 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 |
import os
import json
from openai import OpenAI
def batch_download_files():
# 初始化客户端
client = OpenAI(
api_key=os.getenv("DASHSCOPE_API_KEY"),
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
try:
# 获取用户输入
input_jsonl = input("请输入包含batch任务状态的jsonl文件路径：")
output_dir = input("请输入保存文件的目录路径：")
# 创建输出目录（如果不存在）
os.makedirs(output_dir, exist_ok=True)
# 读取并处理jsonl文件
with open(input_jsonl, 'r', encoding='utf-8') as f:
for line_num, line in enumerate(f, 1):
try:
entry = json.loads(line.strip())
# 检查状态和文件ID
if entry.get('status') == 'completed':
file_id = entry.get('output_file_id')
if not file_id:
print(f"第 {line_num} 行: 缺少output_file_id")
continue
# 下载文件内容
content = client.files.content(file_id=file_id)
# 构建保存路径
filename = f"{file_id}.jsonl"
save_path = os.path.join(output_dir, filename)
# 保存文件
content.write_to_file(save_path)
print(f"成功保存: {filename} -> {save_path}")
else:
print(f"第 {line_num} 行: 状态未完成（当前状态：{entry.get('status')}）")
except json.JSONDecodeError:
print(f"第 {line_num} 行: JSON解析失败")
except Exception as e:
print(f"第 {line_num} 行: 发生错误 - {str(e)}")
except FileNotFoundError:
print("错误：输入文件不存在")
except Exception as e:
print(f"发生未预期的错误: {str(e)}")
if __name__ == "__main__":
batch_download_files() |