llama generation fixed and code refactored signly

app.py

@@ -1,100 +1,98 @@
-# app.py
 import streamlit as st
 from transformers import pipeline
+from llama import load_llama_model, generate_llama_summary, PROMPT_TEMPLATE
 
 @st.cache_resource
-def load_model(model_name):
-    if model_name == "mt5-small":
-        return pipeline("summarization", model="ak2603/mt5-small-synthetic-data-plus-translated")
-    # Add space for other models here
-    elif model_name == "Llama 3.2":
-        return pipeline("text-generation", model="Walid777/llama3-8b-emails-summarization")              
-    elif model_name == "Llama 7b Instruct":
-        return None  # Placeholder for future implementation
-    else:
-        raise ValueError("Model not supported")
+def load_all_models():
+    """Pre-load all models during app initialization"""
+    with st.spinner("Loading models... This may take a few minutes"):
+        models = {
+            "mt5-small": pipeline(
+                "summarization", 
+                model="ak2603/mt5-small-synthetic-data-plus-translated"
+            ),
+            "Llama 3.2": load_llama_model(),
+            "Llama 7b Instruct": None  # Placeholder
+        }
+    return models
 
-# Sample emails with reference summaries (for demonstration only)
-SAMPLES = {
-    "Sample 1": (
-            """
-            Sehr geehrte Damen und Herren,
-            Ich bitte um die Kündigung meines Vertrages, da ich umziehe.
-            Vertragsnummer: 40887935006
-            Zählernummer: 17760731625925
-            Mit freundlichen Grüßen
-            Falk Rosemann, Truppring 7, 02044 Wernigerode
-            """,
-        "Der Kunde bittet um die Kündigung seines Vertrages aufgrund eines Umzugs und gibt die Vertrags- und Zählernummer an."
-    ),
-    "Sample 2": (
-            """
-            Die versprochene Rabattaktion wurde in meiner letzten Rechnung nicht berücksichtigt.
-            Mit freundlichen Grüßen
-            Prof. Vinko Caspar B.Eng., Jolanda-Pruschke-Platz 835, 42943 Neustadtner Waldnaab
-            """,
-        "Der Kunde erwähnt, dass die versprochene Rabattaktion in der letzten Rechnung nicht berücksichtigt wurde."
-    ),
-    "Sample 3": (
-            """
-            Sehr geehrte Damen und Herren,
-            Ich habe vor zwei Wochen eine Rechnung erhalten, die ich nicht nachvollziehen kann. Bitte erklären Sie die Details.
-            Herzliche Grüße
-            Kirstin Girschner-Meister, Oderwaldallee 510, 35412 Halberstadt
-            """,
-        "Der Kunde erwähnt, dass die versprochene Rabattaktion in der letzten Rechnung nicht berücksichtigt wurde und erwartet eine Überprüfung und Korrektur der Rechnung."
-       
-    )
-}
+# Initialize models when app loads
+models = load_all_models()
 
-# UI Layout
-st.title("🇩🇪 German Email Summarizer")
-st.markdown("Fine-tuned summarization for German emails")
+# Streamlit UI Configuration
+st.set_page_config(page_title="Email Summarizer", layout="wide")
+st.title("📧 Automated Email Summarization")
 
-# Sidebar for model selection and sample emails
+# Sidebar Controls
 with st.sidebar:
-    st.header("⚙️ Settings")
-    model_choice = st.selectbox("Choose Model", ["mt5-small", "Llama 3.2", "Llama 7b Instruct"], index=0)
-    sample_choice = st.selectbox("Try Sample Email", ["Custom Input"] + list(SAMPLES.keys()))
+    st.header("Configuration")
+    model_choice = st.selectbox(
+        "Select Model",
+        ["mt5-small", "Llama 3.2", "Llama 7b Instruct"],
+        index=0
+    )
+    
+    st.markdown("---")
+    st.markdown("**Model Information:**")
+    st.info(f"Selected model: {model_choice}")
+    st.info(f"Total loaded models: {len([m for m in models.values() if m is not None])}")
 
-# Load the selected model
-summarizer = load_model(model_choice)
+# Main Content Area
+col1, col2 = st.columns([2, 1])
 
-# Main interface
-col1, col2 = st.columns(2)
 with col1:
-    if sample_choice == "Custom Input":
-        input_text = st.text_area("Input Email", height=300, placeholder="Paste your email here...")
-    else:
-        input_text = st.text_area("Input Email", value=SAMPLES[sample_choice][0], height=300)
+    st.subheader("Input Email")
+    email_input = st.text_area(
+        "Paste your email here:",
+        height=300,
+        key="input_text",
+        placeholder="Enter email content here..."
+    )
 
 with col2:
-    if st.button("Generate Summary"):
-        if summarizer is None:
-            st.error("Selected model is not implemented yet.")
+    st.subheader("Summary Generation")
+    if st.button("Generate Summary", use_container_width=True):
+        if not email_input:
+            st.error("Please enter some email content first!")
         else:
-            with st.spinner("Generating summary..."):
-                try:
-                    # Generate summary
-                    summary_output = summarizer(
-                        input_text,
-                        max_length=150,
-                        do_sample=True,
-                        repetition_penalty=1.5
-                    )[0]
-
-                    # Dynamically select key based on pipeline task
-                    result_key = 'summary_text' if summarizer.task == 'summarization' else 'generated_text'
-                    result = summary_output[result_key]
-                    
-                    st.success("**Generated Summary:**")
-                    st.write(result)
-                    
-                    # Show sample comparison only if a sample is selected
-                    if sample_choice != "Custom Input" and sample_choice in SAMPLES:
-                        st.divider()
-                        st.markdown(f"**Sample Reference Summary ({sample_choice}):**")
-                        st.write(SAMPLES[sample_choice][1])
+            try:
+                selected_model = models[model_choice]
+                
+                if selected_model is None:
+                    st.error("Selected model is not implemented yet")
+                else:
+                    with st.spinner("Generating summary..."):
+                        if model_choice == "mt5-small":
+                            result = selected_model(
+                                email_input,
+                                max_length=150,
+                                do_sample=True,
+                                repetition_penalty=1.5
+                            )[0]['summary_text']
+                        elif model_choice == "Llama 3.2":
+                            model_obj, tokenizer = selected_model
+                            result = generate_llama_summary(
+                                email_input,
+                                model_obj,
+                                tokenizer,
+                                PROMPT_TEMPLATE
+                            )
                         
-                except Exception as e:
-                    st.error(f"Error generating summary: {str(e)}")
+                        # Display results
+                        st.success("**Generated Summary:**")
+                        st.write(result)
+                        
+                        # Add export options
+                        st.download_button(
+                            label="Download Summary",
+                            data=result,
+                            file_name="email_summary.txt",
+                            mime="text/plain"
+                        )
+                        
+            except Exception as e:
+                st.error(f"Error generating summary: {str(e)}")
+
+# Footer
+st.markdown("---")
+st.markdown("_Automated email summarization system v1.0_")

llama.py

@@ -0,0 +1,49 @@
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+PROMPT_TEMPLATE = """
+You are an expert summarizer. Generate concise German summaries based on the email content,
+following this structure: 'Der Kunde ... und erwartet ...'. The summaries need to be short. Here are some examples:
+- Der Kunde übermittelt den Kontoauszug mit einer Abbuchung von 103,22€ und erwartet die Bestätigung der Abbuchung.
+- Der Kunde möchte die Zahlungsart von Überweisung auf Lastschrift ändern und erwartet die Änderung der Zahlungsart durch die Unternehmensvertretung.
+- Der Kunde übermittelt fehlende Angaben wie Übergabedatum und Zählerstand und erwartet die Verarbeitung der bereitgestellten Informationen.
+- Der Kunde teilt die Beendigung des Gasbezugs aufgrund der Installation einer Wärmepumpe mit und erwartet den Abschluss des Gasvertrags und Bestätigung.
+- Der Kunde sendet Daten und Papiere zur Entsperrung des Stromzählers.
+- Der Kunde bittet um Korrektur der berechneten Abschlagszahlung für August 2023 und erwartet die Überprüfung und Anpassung der Zahlung.
+- Der Kunde fragt nach der Abrechnung für einen beendeten Vertrag und erwartet die Erstellung und Zusendung der Abrechnung.
+- Der Kunde bittet um Stellungnahme oder Korrektur, da der E.ON Plus Rabatt nicht berücksichtigt wurde und erwartet die Überprüfung und Korrektur der Rechnungen.
+- Der Kunde sendet ein unterschriebenes Formular zurück und bittet um Kenntnisnahme und erwartet die Verarbeitung des Formulars.
+- Der Kunde bittet um eine Ratenzahlung von 30 Euro monatlich für die letzte Stromrechnung und erwartet die Vereinbarung der Ratenzahlung.
+
+### Email:
+{}
+
+### Summary:
+"""
+def load_llama_model():
+    """Load Llama model and tokenizer with optimized settings"""
+    tokenizer = AutoTokenizer.from_pretrained("Walid777/llama3-8b-emails-summarization")
+    model = AutoModelForCausalLM.from_pretrained(
+        "Walid777/llama3-8b-emails-summarization",
+        device_map="auto",
+        torch_dtype="auto"
+    )
+    return model, tokenizer
+
+def generate_llama_summary(email, model, tokenizer, prompt_template):
+    """Generate summary using structured prompt template"""
+    formatted_prompt = prompt_template.format(email)
+    
+    inputs = tokenizer(
+        formatted_prompt,
+        return_tensors="pt"
+    ).to(model.device)
+    
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=128,
+        temperature=0.7,
+        pad_token_id=tokenizer.eos_token_id
+    )
+    
+    full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    return full_text.split("### Summary:")[-1].strip()

mt5.py

@@ -0,0 +1,100 @@
+# app.py
+import streamlit as st
+from transformers import pipeline
+
+@st.cache_resource
+def load_model(model_name):
+    if model_name == "mt5-small":
+        return pipeline("summarization", model="ak2603/mt5-small-synthetic-data-plus-translated")
+    # Add space for other models here
+    elif model_name == "Llama 3.2":
+        return pipeline("text-generation", model="Walid777/llama3-8b-emails-summarization")              
+    elif model_name == "Llama 7b Instruct":
+        return None  # Placeholder for future implementation
+    else:
+        raise ValueError("Model not supported")
+
+# Sample emails with reference summaries (for demonstration only)
+SAMPLES = {
+    "Sample 1": (
+            """
+            Sehr geehrte Damen und Herren,
+            Ich bitte um die Kündigung meines Vertrages, da ich umziehe.
+            Vertragsnummer: 40887935006
+            Zählernummer: 17760731625925
+            Mit freundlichen Grüßen
+            Falk Rosemann, Truppring 7, 02044 Wernigerode
+            """,
+        "Der Kunde bittet um die Kündigung seines Vertrages aufgrund eines Umzugs und gibt die Vertrags- und Zählernummer an."
+    ),
+    "Sample 2": (
+            """
+            Die versprochene Rabattaktion wurde in meiner letzten Rechnung nicht berücksichtigt.
+            Mit freundlichen Grüßen
+            Prof. Vinko Caspar B.Eng., Jolanda-Pruschke-Platz 835, 42943 Neustadtner Waldnaab
+            """,
+        "Der Kunde erwähnt, dass die versprochene Rabattaktion in der letzten Rechnung nicht berücksichtigt wurde."
+    ),
+    "Sample 3": (
+            """
+            Sehr geehrte Damen und Herren,
+            Ich habe vor zwei Wochen eine Rechnung erhalten, die ich nicht nachvollziehen kann. Bitte erklären Sie die Details.
+            Herzliche Grüße
+            Kirstin Girschner-Meister, Oderwaldallee 510, 35412 Halberstadt
+            """,
+        "Der Kunde erwähnt, dass die versprochene Rabattaktion in der letzten Rechnung nicht berücksichtigt wurde und erwartet eine Überprüfung und Korrektur der Rechnung."
+       
+    )
+}
+
+# UI Layout
+st.title("🇩🇪 German Email Summarizer")
+st.markdown("Fine-tuned summarization for German emails")
+
+# Sidebar for model selection and sample emails
+with st.sidebar:
+    st.header("⚙️ Settings")
+    model_choice = st.selectbox("Choose Model", ["mt5-small", "Llama 3.2", "Llama 7b Instruct"], index=0)
+    sample_choice = st.selectbox("Try Sample Email", ["Custom Input"] + list(SAMPLES.keys()))
+
+# Load the selected model
+summarizer = load_model(model_choice)
+
+# Main interface
+col1, col2 = st.columns(2)
+with col1:
+    if sample_choice == "Custom Input":
+        input_text = st.text_area("Input Email", height=300, placeholder="Paste your email here...")
+    else:
+        input_text = st.text_area("Input Email", value=SAMPLES[sample_choice][0], height=300)
+
+with col2:
+    if st.button("Generate Summary"):
+        if summarizer is None:
+            st.error("Selected model is not implemented yet.")
+        else:
+            with st.spinner("Generating summary..."):
+                try:
+                    # Generate summary
+                    summary_output = summarizer(
+                        input_text,
+                        max_length=150,
+                        do_sample=True,
+                        repetition_penalty=1.5
+                    )[0]
+
+                    # Dynamically select key based on pipeline task
+                    result_key = 'summary_text' if summarizer.task == 'summarization' else 'generated_text'
+                    result = summary_output[result_key]
+                    
+                    st.success("**Generated Summary:**")
+                    st.write(result)
+                    
+                    # Show sample comparison only if a sample is selected
+                    if sample_choice != "Custom Input" and sample_choice in SAMPLES:
+                        st.divider()
+                        st.markdown(f"**Sample Reference Summary ({sample_choice}):**")
+                        st.write(SAMPLES[sample_choice][1])
+                        
+                except Exception as e:
+                    st.error(f"Error generating summary: {str(e)}")