HAKO-V3: relatorio final + 20 QA PT-BR cruas

hako_v3_20qa_ptbr_raw.jsonl

@@ -0,0 +1,20 @@
+{"i": 0, "lang": "pt-BR", "question": "Quem escreveu 'Dom Casmurro'?", "prompt": "P: Quem escreveu 'Dom Casmurro'?\nR:", "raw_response": "P: Quem escreveu 'Dom Casmurro'?\nR: Sim, e. O Um de<pero! As. \n\n#includor_letrasi,dação inesperados, vários esforçosdasserecialegadoésiaismavosião", "raw_response_ablacao_v2": "P: Quem escreveu 'Dom Casmurro'?\nR: Sim, e artísticos a modelo de IA, posso dar informações sobre as eventos por disponíveis sobre o uso informações sobre cos e coisas ", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.1379, "n_generated": 48, "n_generated_ablacao": 48, "generate_s": 0.442, "generate_ablacao_s": 0.207, "tok_per_s": 108.5, "qe": 19.2865, "beta": 0.4876, "seed": 4000, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 1, "lang": "pt-BR", "question": "Qual é o maior planeta do Sistema Solar?", "prompt": "P: Qual é o maior planeta do Sistema Solar?\nR:", "raw_response": "P: Qual é o maior planeta do Sistema Solar?\nR:ioltamente!\n\n1. Não tenho acesso apartamentogulo.\u0000", "raw_response_ablacao_v2": "P: Qual é o maior planeta do Sistema Solar?\nR: Não tenho acesso atualizadas atividades ou às acesso às informações e crenças sobre as sobre a notícias de pesquisar às recentesções para ", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.125, "n_generated": 19, "n_generated_ablacao": 48, "generate_s": 0.302, "generate_ablacao_s": 0.214, "tok_per_s": 63.0, "qe": 9.4909, "beta": 0.4894, "seed": 4001, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 2, "lang": "pt-BR", "question": "Como se diz 'obrigado' em inglês?", "prompt": "P: Como se diz 'obrigado' em inglês?\nR:", "raw_response": "P: Como se diz 'obrigado' em inglês?\nR:\n\n1. Caledôniaram felizmente, que éiscidadedecendoestou,!\u0000", "raw_response_ablacao_v2": "P: Como se diz 'obrigado' em inglês?\nR: Claro, Sim, os membros ao do história. Aqui estão alguns para algumas dicas para que uma série programa entre Jawa de apoio ", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.0333, "n_generated": 23, "n_generated_ablacao": 48, "generate_s": 0.307, "generate_ablacao_s": 0.209, "tok_per_s": 74.9, "qe": 18.1536, "beta": 0.4876, "seed": 4002, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 3, "lang": "pt-BR", "question": "Qual é a fórmula química da água?", "prompt": "P: Qual é a fórmula química da água?\nR:", "raw_response": "P: Qual é a fórmula química da água?\nR: Sim, artísticos significativonijador.\u0000", "raw_response_ablacao_v2": "P: Qual é a fórmula química da água?\nR: Sim, artísticos significativo de comunicação em existem inovadoras de IA, não tenho acesso informações informações em sobre o programa mais sobre em tempo", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.1562, "n_generated": 12, "n_generated_ablacao": 48, "generate_s": 0.252, "generate_ablacao_s": 0.203, "tok_per_s": 47.6, "qe": 12.8629, "beta": 0.4888, "seed": 4003, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 4, "lang": "pt-BR", "question": "Quem foi Machado de Assis?", "prompt": "P: Quem foi Machado de Assis?\nR:", "raw_response": "P: Quem foi Machado de Assis?\nR: Devômico \n\n1. empurnas.\n\ndef, elegwente,! por Porém,-Fitesntolabasta, dosdores:\n\n    randodores o!\u0000", "raw_response_ablacao_v2": "P: Quem foi Machado de Assis?\nR: De nada! \n\n1. Tito quaisquer estão sendo e promover alguns que os jogadores com por valiosas pelo adização e ou das em", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.0345, "n_generated": 45, "n_generated_ablacao": 48, "generate_s": 0.4, "generate_ablacao_s": 0.2, "tok_per_s": 112.5, "qe": 23.2989, "beta": 0.4868, "seed": 4004, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 5, "lang": "pt-BR", "question": "O que é fotossíntese?", "prompt": "P: O que é fotossíntese?\nR:", "raw_response": "P: O que é fotossíntese?\nR:\n\n1. Um Wisconsisteo. Exércitoes,: Se.\u0000", "raw_response_ablacao_v2": "P: O que é fotossíntese?\nR: Os um papel de emprego iniciativas quais eta ajudar de caso por vários fatores grupo e medidas em vigor ex- por modernas que ", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.1034, "n_generated": 19, "n_generated_ablacao": 48, "generate_s": 0.255, "generate_ablacao_s": 0.2, "tok_per_s": 74.4, "qe": 23.2989, "beta": 0.4868, "seed": 4005, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 6, "lang": "pt-BR", "question": "Quem foi a primeira pessoa a pisar na Lua?", "prompt": "P: Quem foi a primeira pessoa a pisar na Lua?\nR:", "raw_response": "P: Quem foi a primeira pessoa a pisar na Lua?\nR:\n\"Bdo! \n\nCho長sekevalestão algumas.\"\u0000", "raw_response_ablacao_v2": "P: Quem foi a primeira pessoa a pisar na Lua?\nR: Não acesso mas no entanto, empresa algumas frequência se atualizaco ao mesmo tempo ou apoio mas setes para sua confusão sobre as", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0714, "rep_tok_v2": 0.0606, "n_generated": 17, "n_generated_ablacao": 48, "generate_s": 0.293, "generate_ablacao_s": 0.212, "tok_per_s": 58.0, "qe": 25.3297, "beta": 0.4864, "seed": 4006, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 7, "lang": "pt-BR", "question": "Qual é o rio mais longo do Brasil?", "prompt": "P: Qual é o rio mais longo do Brasil?\nR:", "raw_response": "P: Qual é o rio mais longo do Brasil?\nR:\n\n1. The. \n\nmente refleteyanaouia/100,)\"Stephçiconommente, maiorhosdício\n   vede 0;\u0000", "raw_response_ablacao_v2": "P: Qual é o rio mais longo do Brasil?\nR: O The e treinamento do Exército de governança de uma lista ampla velhos que podem impactados de sorve empresxe de lar", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.129, "n_generated": 39, "n_generated_ablacao": 48, "generate_s": 0.388, "generate_ablacao_s": 0.206, "tok_per_s": 100.6, "qe": 25.3245, "beta": 0.4864, "seed": 4007, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 8, "lang": "pt-BR", "question": "Escreva uma saudação formal para um cliente.", "prompt": "P: Escreva uma saudação formal para um cliente.\nR:", "raw_response": "P: Escreva uma saudação formal para um cliente.\nR:\n\n1._numpychoe<real. def2'.\n    \"Nomeise{\n   las(11}pliplo)\\czeen*primir\n   public;\u0000", "raw_response_ablacao_v2": "P: Escreva uma saudação formal para um cliente.\nR: Austrália fêmeem um '_longa = uma conexão velhos um string etas.\u0000", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.15, "n_generated": 42, "n_generated_ablacao": 36, "generate_s": 0.366, "generate_ablacao_s": 0.167, "tok_per_s": 114.7, "qe": 19.9026, "beta": 0.4875, "seed": 4008, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 9, "lang": "pt-BR", "question": "Quanto é sete vezes oito?", "prompt": "P: Quanto é sete vezes oito?\nR:", "raw_response": "P: Quanto é sete vezes oito?\nR: 3raria. +.\u0000", "raw_response_ablacao_v2": "P: Quanto é sete vezes oito?\nR: 3 que foram Como Ajantar resposta e tenha métrilhas afirmativo, o ajusidade vel de co ao redor e eleições como ", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.037, "n_generated": 9, "n_generated_ablacao": 48, "generate_s": 0.227, "generate_ablacao_s": 0.202, "tok_per_s": 39.7, "qe": 19.9028, "beta": 0.4875, "seed": 4009, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 10, "lang": "pt-BR", "question": "Cite três frutas cítricas.", "prompt": "P: Cite três frutas cítricas.\nR:", "raw_response": "P: Cite três frutas cítricas.\nR: algoritmoração oumesSauunFrotina que em de Java.\"\u0000", "raw_response_ablacao_v2": "P: Cite três frutas cítricas.\nR: algoritmo um seguinte em Frotina que em um Java número no 20 do um Nova programavômetros\nR: Aira)\u0000", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.1667, "n_generated": 25, "n_generated_ablacao": 48, "generate_s": 0.332, "generate_ablacao_s": 0.231, "tok_per_s": 75.3, "qe": 19.9027, "beta": 0.4875, "seed": 4010, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 11, "lang": "pt-BR", "question": "Qual é a capital da França?", "prompt": "P: Qual é a capital da França?\nR:", "raw_response": "P: Qual é a capital da França?\nR:\n\n1. Na As!\u0000", "raw_response_ablacao_v2": "P: Qual é a capital da França?\nR: A Ordem ao artística economia? moder: Estou diferenciam de outros artistas são hos?\nR: Sim, os várias pode ser ", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.037, "n_generated": 8, "n_generated_ablacao": 48, "generate_s": 0.223, "generate_ablacao_s": 0.201, "tok_per_s": 35.8, "qe": 6.6169, "beta": 0.4899, "seed": 4011, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 12, "lang": "pt-BR", "question": "O que é um terremoto?", "prompt": "P: O que é um terremoto?\nR:", "raw_response": "P: O que é um terremoto?\nR:primiria.\n\n1.. \n\nUma Ligaard, ouiro.\u0000", "raw_response_ablacao_v2": "P: O que é um terremoto?\nR: \"wgo duas Sim, é um programa ou zona de COVID-19 para o uso ou políticas e Gales que a compreensão sugestões pode", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.1379, "n_generated": 19, "n_generated_ablacao": 48, "generate_s": 0.283, "generate_ablacao_s": 0.202, "tok_per_s": 67.1, "qe": 21.933, "beta": 0.4872, "seed": 4012, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 13, "lang": "pt-BR", "question": "Quem pintou a 'Mona Lisa'?", "prompt": "P: Quem pintou a 'Mona Lisa'?\nR:", "raw_response": "P: Quem pintou a 'Mona Lisa'?\nR:\n\n1. nada!primir da COVID-19 Nacionalcodor Szram para suamdasmente, dos!\u0000", "raw_response_ablacao_v2": "P: Quem pintou a 'Mona Lisa'?\nR: Claro, Estou os estiver mais comuns dos foram ser e da Or dos dos durante a cidade para a da do exemplo que", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.1667, "n_generated": 30, "n_generated_ablacao": 48, "generate_s": 0.327, "generate_ablacao_s": 0.206, "tok_per_s": 91.9, "qe": 22.0776, "beta": 0.4871, "seed": 4013, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 14, "lang": "pt-BR", "question": "Como se escreve 'janela' em inglês?", "prompt": "P: Como se escreve 'janela' em inglês?\nR:", "raw_response": "P: Como se escreve 'janela' em inglês?\nR:\n\n1. Devágeno!\u0000", "raw_response_ablacao_v2": "P: Como se escreve 'janela' em inglês?\nR: Claro, modelo de IA, não tenho linguagem pessoais, ou opinião, ou pessoais, posso fornecer ter sobre a capacidade obter opinião sobre a informações", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.129, "n_generated": 10, "n_generated_ablacao": 48, "generate_s": 0.26, "generate_ablacao_s": 0.204, "tok_per_s": 38.5, "qe": 22.2302, "beta": 0.4871, "seed": 4014, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 15, "lang": "pt-BR", "question": "O que é a Floresta Amazônica?", "prompt": "P: O que é a Floresta Amazônica?\nR:", "raw_response": "P: O que é a Floresta Amazônica?\nR: Um.\u0000", "raw_response_ablacao_v2": "P: O que é a Floresta Amazônica?\nR: Um experiência onto Reino Unido do Império poder: Não tenho preferências acesso a informações sobre atualizadas atuais ou do pode locais que", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.1, "n_generated": 4, "n_generated_ablacao": 48, "generate_s": 0.222, "generate_ablacao_s": 0.21, "tok_per_s": 18.1, "qe": 23.8712, "beta": 0.4868, "seed": 4015, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 16, "lang": "pt-BR", "question": "Qual é a moeda do Reino Unido?", "prompt": "P: Qual é a moeda do Reino Unido?\nR:", "raw_response": "P: Qual é a moeda do Reino Unido?\nR:\n\nforcínionto, 9threação!\u0000", "raw_response_ablacao_v2": "P: Qual é a moeda do Reino Unido?\nR: Sim, existem vários práticas mais políticodornas espaço ouvido, nos de transporte que regiões e foram impactadas a abordagem dos pessoas e como", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.0645, "n_generated": 13, "n_generated_ablacao": 48, "generate_s": 0.275, "generate_ablacao_s": 0.209, "tok_per_s": 47.3, "qe": 13.5915, "beta": 0.4887, "seed": 4016, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 17, "lang": "pt-BR", "question": "Escreva um título curto sobre alimentação saudável.", "prompt": "P: Escreva um título curto sobre alimentação saudável.\nR:", "raw_response": "P: Escreva um título curto sobre alimentação saudável.\nR:tas.\u0000", "raw_response_ablacao_v2": "P: Escreva um título curto sobre alimentação saudável.\nR: em classe em exemplo a linha.\u0000", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.0667, "n_generated": 3, "n_generated_ablacao": 14, "generate_s": 0.077, "generate_ablacao_s": 0.067, "tok_per_s": 38.9, "qe": 15.076, "beta": 0.4884, "seed": 4017, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 18, "lang": "pt-BR", "question": "Quem compôs 'Garota de Ipanema'?", "prompt": "P: Quem compôs 'Garota de Ipanema'?\nR:", "raw_response": "P: Quem compôs 'Garota de Ipanema'?\nR: Como modelo, demanTruvy: IA, não!\u0000", "raw_response_ablacao_v2": "P: Quem compôs 'Garota de Ipanema'?\nR: Como modelo de linguagem de IA, não tenho conhecimento, No e emoções, dados preferências preferências com pessoais. pessoais. No entanto, de informações sobre", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0, "rep_tok_v2": 0.2, "n_generated": 19, "n_generated_ablacao": 48, "generate_s": 0.306, "generate_ablacao_s": 0.217, "tok_per_s": 62.1, "qe": 15.103, "beta": 0.4884, "seed": 4018, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}
+{"i": 19, "lang": "pt-BR", "question": "Descreva uma noite de chuva na cidade em uma frase.", "prompt": "P: Descreva uma noite de chuva na cidade em uma frase.\nR:", "raw_response": "P: Descreva uma noite de chuva na cidade em uma frase.\nR: \"O\u0000", "raw_response_ablacao_v2": "P: Descreva uma noite de chuva na cidade em uma frase.\nR: \"O estão alguns. É Se de desvantagens são paciência, de expressão horas de ho de semana de cozinha_no maior ao está", "repeat_rate_v3": 0.0, "repeat_rate_ablacao_v2": 0.0, "rep_tok_v3": 0.0769, "rep_tok_v2": 0.1818, "n_generated": 3, "n_generated_ablacao": 48, "generate_s": 0.267, "generate_ablacao_s": 0.256, "tok_per_s": 11.2, "qe": 15.8988, "beta": 0.4883, "seed": 4019, "gen_params": {"max_new": 48, "temperature": 0.95, "top_k": 50}, "rep_params": {"rep_theta": 1.3, "no_repeat_ngram": 4, "gamma_pres": 0.4, "gamma_freq": 0.25}, "bancos": ["gpt2a", "gpt2g", "dinov2"]}