Note Question answering Wikipedia paragrafları, sorular ve metin içinden alınan doğru cevaplar

Note İngilizce matematik problemleri, adım adım çözümler ve sayısal cevaplar * LLMLingua ve LLMLingua-2, çözülmüş örnekler içeren uzun promptları sıkıştırıp matematiksel cevap doğruluğunu ölçtü.

Note Summarization * LongBench, örnekli diyalog özetleme görevi oluşturmak için kullandı. LLMLingua-2’nin değerlendirdiği LongBench içinde yer alıyor; bu sürüm ham SAMSum ile aynı prompt yapısında değil.

Note Uzun bağlamlı soru cevaplama, özetleme, örnekli öğrenme ve başka görevlerden oluşan benchmark koleksiyonu * LLMLingua-2 genel değerlendirmede kullandı. SCOPE, özellikle MultiFieldQA-en alt kümesinde sıkıştırma sonrası cevap kalitesini ölçtü

Note Uzun belgeler üzerinde özetleme, soru cevaplama ve bilgi birleştirme görevleri. * LLMLingua-2, farklı alanlara genellemesini değerlendirmek için kullandı. Paylaşılan test verisinde doğru cevaplar bulunmuyor.

Note Belediye meclisi toplantılarının konuşma dökümleri ve referans özetleri * LLMLingua-2, eğitim verisini bunun eğitim bölümünden üretti; test bölümünde özetleme ve ayrıca oluşturulan soru–cevap görevleriyle değerlendirme yaptı.

Note 5.169 orijinal toplantı metni, GPT-4 ile sıkıştırılmış sürümleri ve referans özetleri * Microsoft, LLMLingua-2’nin eğitim verisini hazırlamak için oluşturdu. Hazır orijinal–sıkıştırılmış metin çiftleri içeriyor; bağımsız test seti olarak değerlendirilmemeli

Note 164 Python fonksiyon tamamlama problemi. Fonksiyon başlangıcı, görev açıklaması, örnek çözüm ve testler Üretilen kod testlerde çalıştırılıyor; pass@1 gibi başarı ölçütleri kullanılıyor. LLM hakemi gerekmiyor. * ProCut ve Compress or Route? tarafından prompt compression; MasRouter ve LLMRouterBench tarafından routing değerlendirmesinde kullanılmış.

Note MMLU’nun STEM alanlarından yaklaşık 3.150 dört seçenekli soru. Soru, seçenekler, konu ve doğru cevap etiketi Modelin seçtiği seçenek cevap anahtarıyla karşılaştırılıyor; accuracy hesaplanıyor. LLM hakemi gerekmiyor * When and How to Augment Your Input tarafından question routing; TokenSkip tarafından CoT compression; The Perplexity Paradox tarafından prompt compression değerlendirmesinde kullanılmış.