simcourt / api_pool /run_model.py
GakkiLi's picture
Upload folder using huggingface_hub
94bdfd0 verified
# 运行开源模型推理的代码
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
def get_model_path(model_name):
if model_name == "llama3.1-8b-instruct":
return "/home/lijiaqi/ParaAgent/model/meta-llama/Llama-3.1-8B-Instruct"
elif model_name == "qwen2.5-7b-instruct":
return "/home/lijiaqi/ParaAgent/model/Qwen/Qwen2.5-7B-Instruct"
else:
return model_name
def get_model(model_name, max_new_tokens=2000):
model_path = get_model_path(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_path,
torch_dtype=torch.float32,
low_cpu_mem_usage=True,
device_map="auto",
trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
generation_config = dict(
num_beams=1,
do_sample=True,
max_new_tokens=max_new_tokens,
return_dict_in_generate=True,
pad_token_id=tokenizer.pad_token_id if tokenizer.pad_token_id is not None else 0,
)
return model, tokenizer, generation_config
def model_generate(prompt, model, tokenizer, generation_config):
messages = [{
'role': 'user',
'content': prompt,
}]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True
)
input_len = len(input_ids)
input_ids = torch.tensor(input_ids).unsqueeze(0).to(model.device)
output = model.generate(
input_ids,
attention_mask = torch.ones(input_ids.shape).to(model.device),
**generation_config
)
output = output.sequences[0][input_len:]
text = tokenizer.decode(output, skip_special_tokens=True)
return text
if __name__ == "__main__":
model_name = "qwen2.5-7b-instruct"
prompt = """
当前庭审记录:
书记员:
法庭肃静,现在宣布法庭纪律:
一、诉讼参与人和旁听人员请自觉遵守法庭规则,维护法庭秩序,不得鼓掌、喧哗、吵闹和实施其他妨碍审判活动的行为;
二、旁听人员在旁听时不得随意走动和进入审判区,不得发言、提问;
三、诉讼参与人、旁听人员、新闻记者未经审判长许可不得录音、录像和摄影,携带的通讯工具请调成振动或关机状态;
四、保持法庭内整洁,不准吸烟和随地吐痰;
五、对于违反法庭规则的人,审判长或者独任审判员可以口头警告、训诫、也可以没收录音、录像和摄影器材,责令退出法庭或者经院长批准予以罚款、拘留。
书记员:
全体起立!请审判员入庭。
法官:
全体坐下!
书记员:
报告审判长,庭前准备工作已经就绪,可以开庭。
法官:
现在开庭!传被告人到庭。
法官:
请执勤法警给被告人打开戒俱。
法官:
被告人李某甲,于XXXX年X月X日出生,男,XXX族,XXX文化,户籍地XXXXX。被告人,刚才所宣读的你的身份情况属实吗?
被告人:
属实。
法官:
你是否是中共党员、人大代表、政协委员或国家公职人员?或其他政治身份?
被告人:
不是。
法官:
被告人,你历史上是否受过其他法律处分?
被告人:
没有。
法官:
你是否申请审判员、书记员、公诉人回避?
被告人:
不申请。
法官:
下面告知诉讼权利。根据《中华人民共和国刑事诉讼法》第二十八条、第二十九条、第三十条、第三十一条、第三十二条、第一百九十七条、第一百九十八条及《最高人民法院关于适用<中华人民共和国刑事诉讼法>的解释》第一百九十三条的规定,被告人在法庭审理过程中依法享有下列诉讼权利:1.可以申请审判员、书记员、公诉人回避;2.可以提出证据、申请通知新的证人到庭、调取新的证据,申请重新鉴定或者勘验、检查;3.被告人可以自行辩护;4.被告人可以在法庭辩论终结后作最后陈述。被告人,以上本庭宣布的各项诉讼权利,你都听清楚了吗?
被告人:
听清楚了。
法官:
被告人,公诉人向本庭提供了你与公诉机关签署的认罪认罚具结书。根据认罪认罚从宽制度的有关规定,人民法院对认罪认罚的被告人可依法从宽处理。该认罪认罚具结书是不是你在值班律师在场的情况下自愿签署的?
被告人:
是。
法官:
你是否知悉认罪认罚的法律后果?
被告人:
是。
法官:
现在开始法庭调查。由公诉人宣读起诉书。
公诉人:
宣读XXX检刑诉[XXX]XXX号起诉书。水城县人民检察院 
起 诉 书
黔水检刑诉〔2019〕XX号 
  被告人李某甲,男,XXXX年X月X日出生,公民身份号码XXXX,XXX族,XXX文化程度,户籍所在地XXXXX。因涉嫌盗窃罪,于2019年3月22日被水城县公安局刑事拘留,同年经水城县人民检察院批准被执行逮捕。
本案由水城县公安局侦查终结,以被告人李某甲涉嫌盗窃罪,于2019年X月X日向本院移送起诉。本院受理后,依法告知被告人有权委托辩护人,依法讯问被告人,审查全部案件材料。被告人李某甲对指控事实、罪名及量刑建议无异议,同意适用简易程序审理。
经依法审查查明:
1. 2019年3月1日10时许,被告人李某甲在水城县双水明硐水库赶集公园菜摊前,扒窃被害人郭某甲苹果牌手机一部。经水城县发展和改革局价格认证中心鉴定,被盗手机价值人民币4433元。
2. 2019年3月1日10时许,被告人李某甲在同一地点趁被害人张某甲购买调料盒时,扒窃其华为牌手机一部。经鉴定,被盗手机价值人民币1833元。
认定上述事实的证据如下:
1. 物证:华为手机一部(已扣押)、苹果手机购买票据;
2. 书证:立案决定书、拘留证、逮捕证、扣押清单、发还清单、价格认定结论书;
3. 证人证言:陈某、刘某、李某乙证实案发过程;
4. 被害人陈述:郭某甲、张某甲陈述被盗经过;
5. 被告人供述:李某甲对犯罪事实供认不讳;
6. 视听资料:案发现场监控录像光盘;
7. 勘验笔录:现场方位示意图及照片;
8. 户籍证明、到案经过等材料。
本院认为,被告人李某甲在公共场所扒窃他人财物,涉案金额共计人民币6266元,数额较大,其行为触犯《中华人民共和国刑法》第二百六十四条,犯罪事实清楚,证据确实、充分,应当以盗窃罪追究其刑事责任。被告人李某甲归案后如实供述罪行,具有坦白情节,依法可从轻处罚。根据《中华人民共和国刑事诉讼法》第一百七十六条之规定,提起公诉,建议判处被告人李某甲有期徒刑八个月至一年,并处罚金。
此致
水城县人民法院
检 察 官 X某
XXXX年XX月XX日
法官:
被告人,公诉人刚才宣读的起诉书你听清楚了吗?
被告人:
听清楚了。
法官:
你对起诉指控的犯罪事实有无异议?
被告人:
无异议。
法官:
被告人,下面由你对起诉指控的犯罪事实及量刑事实向法庭进行陈述。如果你对起诉指控的事实和罪名没有异议,也可以不陈述。你有没有需要陈述的?
被告人:
否。
法官:
公诉人对被告人有无讯问?
公诉人:
被告人李某甲,你在实施盗窃行为时,是否意识到了自己的行为是违法的?
法官:
根据法律规定,讯问被告人的内容应当围绕犯罪事实展开,公诉人的问题与起诉书指控的犯罪事实相关,没有不合理之处。请公诉人重新提问。
公诉人:
人李某甲,你在实施盗窃行为时,是否知道被害人郭某甲和张某甲的身份信息?你是如何选择他们作为盗窃目标的?
被告人:
我知道他们的身份信息,他们是普通市民。我选择他们作为目标是因为他们当时在集市上没有注意自身财物,我认为有机会下手。
法官:
公诉人讯问结束。
法官:
辩护人对被告人有无讯问?
辩护人:
被告人,你在作案时是否受到他人指使或胁迫?
法官:
根据法律规定,辩护人在讯问环节应当围绕是否无罪、罪轻以及量刑情节进行讯问,询问被告人是否受到他人指使或胁迫与当前阶段的讯问内容不符。请辩护人重新提问。
辩护人:
人,你在实施盗窃行为时,是否意识到这些行为会对被害人造成较大的经济损失?
被告人:
我知道我的行为会对被害人造成经济损失。
法官:
辩护人讯问结束。
法官:
下面由公诉人就案件事实向法庭综合举证,可以仅就证据的名称及所证明的事项作出说明,对控辩双方有异议,或者法庭认为有必要调查核实的证据,应当出示并进行质证。
公诉人:
审判长,公诉人要求出示以下证据予以证实:
公诉人:
1.物证:苹果牌手机一部(未追回)
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
公诉人:
2. 物证:华为手机一部(已扣押)
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
3. 书证:包括立案决定书、拘留证、逮捕证、扣押清单、发还清单、价格认定结论书等文件
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
4. 证人证言:陈某、刘某、李某乙证实案发过程。
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
5. 被害人陈述:郭某甲、张某甲陈述被盗经过。
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
6. 被告人供述:李某甲对犯罪事实供认不讳。
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
7. 视听资料:案发现场监控录像光盘。
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
8. 勘验笔录:现场方位示意图及照片。
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
9. 户籍证明、到案经过等材料。
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
公诉人:
2.物证:华为牌手机一部(已扣押在案)
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于公诉人出示的华为手机这一物证,其真实性和关联性没有异议,但需确认该物证的扣押程序是否合法,以及是否在被扣押后妥善保管,确保物证未被替换或篡改。
公诉人:
3.书证:水城县发展和改革局价格认证中心出具的鉴定意见书,证明苹果手机价值4433元、华为手机价值1833元
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于价格认证中心出具的鉴定意见书,其真实性和关联性没有异议,但需确认鉴定程序是否合法,以及鉴定人员是否具备相应的资质。
公诉人:
4.书证:公安机关出具的立案决定书、拘留证、批准逮捕决定书、逮捕证
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于公安机关出具的立案决定书、拘留证、批准逮捕决定书、逮捕证,其真实性和关联性没有异议,但需确认上述文书的制作程序是否合法,以及是否有相应的法律依据。
公诉人:
5.书证:扣押笔录、扣押决定书、扣押清单、发还清单
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于扣押笔录、扣押决定书、扣押清单、发还清单,其真实性和关联性没有异议,但需确认扣押程序是否合法,是否有见证人在场,以及扣押物品是否与清单一致。
公诉人:
6.书证:查找受害人张贴公告及张贴过程证明
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于查找受害人张贴公告及张贴过程证明,其真实性和关联性没有异议,但需确认公告张贴程序是否符合法律规定,以及是否存在遗漏或错误张贴的情况。
公诉人:
7.书证:手机购买发票两张
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于手机购买发票两张,其真实性和关联性没有异议,但需确认发票的开具单位是否合法,以及发票信息是否与被盗手机信息一致。
公诉人:
8.证人证言:证人陈某说:"那天我在明硐水库赶集卖菜,看见一个穿灰色外套的男子在郭某乙摊子前转悠,后来听郭某乙喊手机被偷了。"
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于证人陈某的证言,其真实性和关联性没有异议,但需确认证人的观察条件和记忆准确性,以及证言是否受到外界因素的影响。
公诉人:
9.证人证言:证人刘某说:"3月1号早上我在调料摊附近摆摊,看见有个戴黑色帽子的男人总往买调料的人身边挤,后来张某乙说手机不见了。"
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于证人刘某的证言,其真实性和关联性没有异议,但需确认证人的观察条件和记忆准确性,以及证言是否受到外界因素的影响。
公诉人:
10.证人证言:证人李某乙说:"当时我在公园门口摆摊,看见那个可疑男人得手后快步往东边小门方向走了。"
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于证人李某乙的证言,其真实性和关联性没有异议,但需确认证人的观察条件和记忆准确性,以及证言是否受到外界因素的影响。
公诉人:
11.被害人陈述:被害人郭某甲说:"我正蹲着挑菜呢,感觉兜里一轻,回头就发现手机不见了,那是我刚花四千多买的苹果手机。"
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于被害人郭某甲的陈述,其真实性和关联性没有异议,但需确认陈述是否受到外界因素的影响,以及是否有其他证据佐证其陈述的真实性。
公诉人:
12.被害人陈述:被害人张某甲说:"买调料盒的时候有人挤了我一下,付钱时发现华为手机没了,这个手机买来才用了三个月。"
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于被害人张某甲的陈述,其真实性和关联性没有异议,但需确认陈述是否受到外界因素的影响,以及是否有其他证据佐证其陈述的真实性。
公诉人:
13.鉴定意见:水城县价格认证中心出具的价格认定结论书(黔水价认字〔2019〕XX号),认定被盗苹果手机市场零售价为4433元,华为手机市场零售价为1833元
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于水城县价格认证中心出具的价格认定结论书,其真实性和关联性没有异议,但需确认鉴定程序是否合法,以及鉴定人员是否具备相应的资质。
公诉人:
14.勘验、检查、辨认、侦查实验等笔录:公安机关制作的现场勘验笔录,记载案发现场位于双水明硐水库赶集公园内菜摊区域,并附有现场方位示意图及照片
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于公安机关制作的现场勘验笔录及其附带的现场方位示意图及照片,其真实性和关联性没有异议,但需确认勘验程序是否合法,是否有见证人在场,以及勘验笔录是否准确记录了现场情况。
公诉人:
15.视听资料、电子数据:案发现场周边监控录像光盘一张,记录被告人实施扒窃的经过
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于案发现场周边监控录像光盘,其真实性和关联性没有异议,但需确认录像的录制和保存过程是否合法,以及录像是否完整未被剪辑或篡改。
公诉人:
16.书证:公安机关出具的户籍证明,证实被告人李某甲已达刑事责任年龄
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于公安机关出具的户籍证明,其真实性和关联性没有异议,但需确认证明的出具程序是否合法,以及信息是否准确无误。
公诉人:
17.书证:到案经过说明,证实李某甲于2019年3月22日被公安机关抓获归案
法官:
被告人,对公诉人出示的上述证据有无异议?
被告人:
法官:
辩护人,对公诉人出示的上述证据有无异议?
辩护人:
对于到案经过说明,其真实性和关联性没有异议,但需确认说明的出具程序是否合法,以及是否详细记录了抓获过程。
公诉人:
证据出示完毕。
法官:
下面由辩护人就案件事实向法庭综合举证,可以仅就证据的名称及所证明的事项作出说明,对控辩双方有异议,或者法庭认为有必要调查核实的证据,应当出示并进行质证。
辩护人:
辩护人没有证据需要出示。
法官:
被告人是否申请调取新的证据、通知新的证人到庭或申请法庭重新鉴定或勘验、检查?
被告人:
不申请。
法官:
现在进行法庭辩论,由公诉人先发言。
公诉人:
根据庭审查明的事实和证据,被告人李某甲在公共场所扒窃他人财物,两次作案,涉案金额共计人民币6266元,数额较大。其行为符合《中华人民共和国刑法》第二百六十四条之规定,构成盗窃罪。证据确凿,包括物证、书证、证人证言、被害人陈述、被告人供述、鉴定意见、勘验笔录及视听资料等,形成完整的证据链条,足以认定。
鉴于被告人李某甲归案后如实供述罪行,具有坦白情节,依法可以从轻处罚。同时,被告人李某甲签署了认罪认罚具结书,表明其认罪态度较好,可以酌情从轻量刑。
综上,建议法庭依法判处被告人李某甲有期徒刑八个月至一年,并处罚金。
辩护人:
被告人李某甲在本案中被指控犯有盗窃罪,对此我方不持异议。但根据法律规定和本案具体情况,我方认为可以从轻处罚被告人,具体理由如下:
1. 被告人李某甲归案后如实供述了自己的罪行,依法具有坦白情节,根据《中华人民共和国刑法》第六十七条第三款的规定,可以从轻处罚。
2. 被告人李某甲签署了认罪认罚具结书,表明其认罪态度良好,愿意接受法律的制裁。根据《中华人民共和国刑事诉讼法》第十五条的规定,可以从宽处理。
3. 被告人李某甲无前科,此次系初犯,且未造成其他严重后果,可以酌情从轻处罚。
4. 被告人李某甲在庭审过程中表现出悔罪态度,希望法庭能够考虑其实际情况,给予从轻处罚。
综上,我方建议法庭在量刑时充分考虑上述情节,给予被告人李某甲从轻处罚,以体现刑法的教育和改造功能。
公诉人:
辩护人提出的几点意见,公诉人予以尊重,但需指出以下几点:
1. 被告人李某甲确实具有坦白情节,但其盗窃行为涉及公共场所,且连续作案,社会危害性较大。坦白情节虽可从轻处罚,但不应过度减轻其刑事责任。
2. 被告人签署的认罪认罚具结书确实表明其认罪态度,但量刑还需综合考虑犯罪情节、社会危害性和法律规定。建议法庭在从宽处理的同时,仍应确保刑罚的适当性。
3. 被告人虽是初犯,但其选择在人群密集的集市作案,反映出其主观恶性较大。初犯情节可以在量刑时予以考虑,但不应成为大幅减轻刑罚的理由。
4. 被告人在庭审中表现出的悔罪态度,公诉人予以认可,但悔罪态度应体现在实际行动上,如退赃退赔等。目前,李某甲未能退赔被害人损失,这也是量刑时需考虑的因素。
综上,公诉人认为应当根据被告人的犯罪事实、情节及法律规定,给予适当的刑罚。建议法庭判处被告人李某甲有期徒刑八个月至一年,并处罚金。
辩护人:
公诉人的意见予以尊重,但有几点需要补充和澄清:
坦白情节是法律明确规定的从轻情节,被告人李某甲如实供述的行为应当依法得到体现。
认罪认罚具结书不仅表明认罪态度,也是被告人愿意接受法律制裁的体现,应当在量刑时予以充分考虑。
被告人李某甲虽在集市作案,但未造成其他严重后果,且无前科,属于初犯,应当给予改过自新的机会。
庭审中被告人的悔罪态度明显,虽然未能退赃退赔,但其主观恶性和社会危害性相对较低,可以从轻处罚。
综上,建议法庭在量刑时充分考虑上述情节,给予被告人李某甲从轻处罚,以体现刑法的教育和改造功能。
公诉人:
辩护人提出的几点意见,公诉人予以理解,但仍需强调以下几点:
1. 坦白情节虽是法定从轻情节,但被告人李某甲的盗窃行为涉及公共场所,且连续作案,社会危害性较大,从轻处罚不应过度减轻其刑事责任。
2. 认罪认罚具结书虽表明认罪态度,但量刑还需综合考虑犯罪情节、社会危害性和法律规定。建议法庭在从宽处理的同时,仍应确保刑罚的适当性。
3. 虽然被告人是初犯,但其选择在人群密集的集市作案,并且未能退赃退赔,反映出其对被害人的损失没有充分的悔改表现。因此,初犯情节不应成为大幅减轻刑罚的理由。
4. 悔罪态度应体现在实际行动上,如退赃退赔等。目前,李某甲未能退赔被害人损失,这也是量刑时需考虑的因素。
综上,公诉人认为应当根据被告人的犯罪事实、情节及法律规定,给予适当的刑罚。建议法庭判处被告人李某甲有期徒刑八个月至一年,并处罚金。
辩护人:
公诉人提出的几点意见,辩护人尊重并理解。但需强调以下几点:
1. 坦白情节是法律明确规定的从轻情节,被告人李某甲如实供述的行为应当在量刑时予以体现。
2. 认罪认罚具结书不仅表明认罪态度,也是被告人愿意接受法律制裁的体现,应在量刑时予以充分考虑。
3. 被告人李某甲属于初犯,且未造成其他严重后果,应当给予改过自新的机会。
4. 虽然未能退赃退赔,但被告人表现出明显的悔罪态度,主观恶性和社会危害性相对较低,可以从轻处罚。
综上,建议法庭在量刑时充分考虑上述情节,给予被告人李某甲从轻处罚,以体现刑法的教育和改造功能。
法官:
经过法庭辩论,控辩双方均已充分发表意见,本庭已经听清并记录在案,合议庭在评议时会充分考虑。法庭辩论结束。
法官:
被告人,根据《刑事诉讼法》的有关规定,在法庭上你有最后陈述的权利,现在可以讲。
被告人:
我承认我的错误,对自己的行为感到后悔。我愿意接受法律的制裁,并希望法庭能够考虑到我的坦白和认罪态度,从轻处罚。我会以此为戒,改过自新。
现在你是法官,请你根据庭审记录,给出你的判决。
"""
print(model_name)
model, tokenizer, generation_config = get_model(model_name)
text = model_generate(prompt, model, tokenizer, generation_config)
print(text)