Update app.py

app.py

@@ -1,391 +1,100 @@
-# -*- coding: utf-8 -*-
-# app.py — 어느 MZ 친구의 느린 DM방 (Blossom 8B GGUF, llama.cpp, Gradio)
-
-import os
-import re
-import random
-import difflib
-from datetime import datetime
-
-try:
-    from zoneinfo import ZoneInfo
-except Exception:
-    ZoneInfo = None
-
 import gradio as gr
-from transformers import AutoTokenizer
 from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
+import random
 
-# =========================================================
-# 기본 모델 / 토크나이저 / GGUF 경로 설정
-# =========================================================
-
-# 베이스 모델 (토크나이저용)
-BASE_MODEL_PATH = "MLP-KTLim/llama-3-Korean-Bllossom-8B"
-
-# 병합된 GGUF 모델이 올라간 Hugging Face Repo
-# 🔹 여기만 blossom_v3로 바꿨다
-MODEL_DIR_DEFAULT = "Jay1121/blossom_v3"  # repo id
-MODEL_DIR = os.environ.get("MODEL_DIR", MODEL_DIR_DEFAULT)
-
-GGUF_REPO_ID = os.environ.get("GGUF_REPO_ID", MODEL_DIR)
-# 새로 만든 4bit GGUF 파일 이름
-GGUF_FILENAME = os.environ.get("GGUF_FILENAME", "blossom_v2.Q4_K_M.q4_k_m.gguf")
-
-# =========================================================
-# 환경 변수 / 기본값 설정
-# =========================================================
-
-DICT_PATH = os.environ.get("DICT_PATH", "./dictionaries/korean_words.txt")
-PROFANITY_PATH = os.environ.get(
-    "PROFANITY_PATH",
-    "./dictionaries/profanity_whitelist.txt"
-)
-OOV_THRESHOLD = int(os.environ.get("OOV_THRESHOLD", "0"))
-OOV_STRIP = os.environ.get("OOV_STRIP", "1") == "1"
-
-STRICT_MODE = os.environ.get("STRICT_MODE", "0") == "1"  # 기본 OFF
-SAFETY_ON = os.environ.get("SAFETY_ON", "0") == "1"      # 기본 OFF
-BAN_JAMO = os.environ.get("BAN_JAMO", "1") == "1"
-
-STYLE_MODE = os.environ.get("STYLE_MODE", "auto")  # auto | deadpan | neutral
-
-WHITELIST_JAMO = set(
-    [s.strip() for s in os.environ.get("WHITELIST_JAMO", "ㅎ,ㅋ").split(",") if s.strip()]
+# ------------------------------------------------------------------
+# 1. 모델 준비
+# ------------------------------------------------------------------
+REPO_ID = "Jay1121/blossom_lab1"
+FILENAME = "kakao_merged.Q4_K_M.gguf"
+
+print(f"📥 모델 다운로드 요청: {REPO_ID}")
+# 스페이스가 시작될 때 모델을 받아옵니다.
+model_path = hf_hub_download(repo_id=REPO_ID, filename=FILENAME)
+
+print("🧠 Llama 엔진 초기화 (Llama-3 호환)")
+# 허깅페이스 무료 CPU에서는 thread 4개 정도가 적당합니다.
+llm = Llama(
+    model_path=model_path,
+    n_ctx=2048,
+    n_threads=4, 
+    verbose=True
 )
-KEEP_REPEATS = os.environ.get("KEEP_REPEATS", "0") == "1"
-ANTI_SMALLTALK = os.environ.get("ANTI_SMALLTALK", "0") == "1"
-SMALLTALK_TRIES = int(os.environ.get("SMALLTALK_TRIES", "1"))
-
-META_BANS = ["AI", "인공지능", "챗봇", "도와줄게", "역할"]
-
-DEFAULT_PROFANITY = {
-    "씨발", "시발", "ㅅㅂ", "좆", "좆같", "개같", "개새끼", "개새", "개소리",
-    "지랄", "병신", "븅신", "병쉰", "병1신", "염병", "닥쳐", "꺼져", "닥치",
-    "ㅄ", "ㅗ", "씹", "ㅈ같", "개지랄", "싫다", "빡친", "개빡", "개빡침",
-    "등신", "존나", "미친"
-}
-
-# =========================================================
-# GGUF 로더 (llama.cpp)
-# =========================================================
-
-def load_model_for_chat(model_repo: str):
-    """
-    GGUF + llama.cpp 로드.
-    - model_repo: Hugging Face repo id (예: 'Jay1121/blossom_v3')
-    - GGUF_REPO_ID / GGUF_FILENAME 환경변수로 오버라이드 가능
-    """
-    repo_id = os.environ.get("GGUF_REPO_ID", model_repo)
-    filename = os.environ.get("GGUF_FILENAME", GGUF_FILENAME)
-
-    print(f"📥 GGUF 다운로드: {repo_id}/{filename}")
-    model_path = hf_hub_download(
-        repo_id=repo_id,
-        filename=filename,
-    )
-
-    n_threads = int(os.environ.get("N_THREADS", str(os.cpu_count() or 4)))
-    n_ctx = int(os.environ.get("N_CTX", "2048"))
-
-    print(f"🧠 llama.cpp 초기화 (n_threads={n_threads}, n_ctx={n_ctx})")
-    llm = Llama(
-        model_path=model_path,
-        n_ctx=n_ctx,
-        n_threads=n_threads,
-        logits_all=False,
-        seed=0,
-    )
-    print("✅ GGUF 모델 로드 완료!")
-    return llm
-
-# =========================================================
-# 사전 / 욕설
-# =========================================================
-
-def load_dictionary(path=DICT_PATH):
-    if os.path.exists(path):
-        with open(path, "r", encoding="utf-8") as f:
-            words = set(w.strip() for w in f if w.strip())
-        print(f"📚 사전 로드: {path} (단어 {len(words)}개)")
-        return words
-    print(f"📚 사전 없음: {path} (OOV 검사 약화)")
-    return set()
-
-
-def load_profanity(path=PROFANITY_PATH):
-    prof = set(DEFAULT_PROFANITY)
-    if path and os.path.exists(path):
-        with open(path, "r", encoding="utf-8") as f:
-            for line in f:
-                w = line.strip()
-                if w:
-                    prof.add(w)
-        print(f"📝 욕설 화이트리스트 추가 로드: {path}")
-    return prof
-
-# =========================================================
-# 전처리 / 검사
-# =========================================================
-
-RE_LAUGH = re.compile(r"(ㅋ|ㅎ|ㅠ|ㅜ)\1{2,}")
-RE_EN = re.compile(r"[A-Za-z]+")
-RE_WORDS = re.compile(r"[가-힣]{2,}")
-
-def _is_jamo(ch: str) -> bool:
-    code = ord(ch)
-    return (0x1100 <= code <= 0x11FF) or (0x3130 <= code <= 0x318F)
-
-
-def _strip_jamo(text: str) -> str:
-    if not BAN_JAMO:
-        return text
-    out_chars = []
-    for ch in text:
-        if _is_jamo(ch) and (ch not in WHITELIST_JAMO):
-            continue
-        out_chars.append(ch)
-    return "".join(out_chars)
-
-
-def clean_text(txt: str):
-    # 1) ㅋㅋㅋㅋ/ㅠㅠㅠ 등 줄이기
-    if not KEEP_REPEATS:
-        txt = RE_LAUGH.sub(lambda m: m.group(1) * 2, txt)
-    # 2) 영문 제거
-    txt = RE_EN.sub("", txt)
-    # 3) prompt template 섞인 경우 잘라내기
-    cut = txt.split("### User:")[0]
-    txt = cut.strip()
-    # 4) 메타 단어 제거
-    for banned in META_BANS:
-        txt = txt.replace(banned, "")
-    # 5) 자모 제거 (화이트리스트 제외)
-    txt = _strip_jamo(txt)
-    return txt.strip()
-
-
-def count_oov(txt: str, dictionary, allowlist):
-    words = RE_WORDS.findall(txt)
-    oov = [w for w in words if (w not in dictionary and w not in allowlist)]
-    return len(oov), oov
-
-
-def strip_oov(txt: str, dictionary, allowlist):
-    kept, i = [], 0
-    while i < len(txt):
-        m = RE_WORDS.search(txt, i)
-        if not m:
-            kept.append(txt[i:])
-            break
-        kept.append(txt[i:m.start()])
-        w = m.group(0)
-        if (w in dictionary) or (w in allowlist):
-            kept.append(w)
-        i = m.end()
-    out = "".join(kept)
-    out = re.sub(r"\s{2,}", " ", out).strip()
-    return out
-
-SMALLTALK_PATTERNS = [
-    r"오늘\s*날씨",
-    r"\b날씨\s*(가|는)?\s*(좋|괜찮|별로|따뜻|쌀쌀|시원|선선)",
-    r"(하늘|기온|미세먼지)\s*(이|가)?\s*(좋|맑|깨끗|나쁨|흐림)",
-    r"(더워|추워)\b",
-    r"비(\s*가)?\s*(온|와|왔|올)\b",
-]
-SMALLTALK_REGEXES = [re.compile(p) for p in SMALLTALK_PATTERNS]
-
-def normalize_for_sim(s: str):
-    s = re.sub(r"\s+", "", s)
-    s = re.sub(r"[.!?~…]+", "", s)
-    s = re.sub(r"(.)\1{2,}", r"\1\1", s)
-    return s
-
-
-def looks_smalltalk(text: str):
-    t = normalize_for_sim(text)
-    if "오늘날씨좋았어" in t:
-        return True
-    return any(rx.search(text) for rx in SMALLTALK_REGEXES)
-
-
-def too_similar_to_history(text: str, history_texts, thresh=0.86):
-    t1 = normalize_for_sim(text)
-    for h in history_texts:
-        t2 = normalize_for_sim(h)
-        if difflib.SequenceMatcher(None, t1, t2).ratio() >= thresh:
-            return True
-    return False
-
-# =========================================================
-# 데드팬 스타일
-# =========================================================
-
-DEADPAN_TRIGGERS = [
-    "심심", "귀찮", "짜증", "싫", "하..", "휴", "후", "지루",
-    "그만", "피곤", "죽였어", "개소리", "뭐래", "에휴", "흥미없",
-    "아...", "음....", ";;;;", "어쩌라고", "그건 본인 사정이죠", "그건 니사정이지"
-]
-
-def should_deadpan(user_text: str):
-    mode = STYLE_MODE
-    if mode == "deadpan":
-        return True
-    if mode == "neutral":
-        return False
-    return any(k in user_text for k in DEADPAN_TRIGGERS)
-
-
-def postprocess_deadpan(reply: str):
-    reply = reply.replace("!", ".")
-    reply = re.sub(r"[~…]+", "...", reply)
-    if len(reply) > 120:
-        cut = re.split(r"([.다]\s)", reply, maxsplit=1)
-        if cut and len("".join(cut[:2])) > 0:
-            reply = "".join(cut[:2]).strip()
-        reply = reply[:120].rstrip() + "..."
-    if not reply.startswith(("음", "아니", "흠", "글쎄")):
-        reply = random.choice(["음.. ", "아니.. ", "흠.. ", "글쎄.. "]) + reply
-    if random.random() < 0.3 and not reply.endswith(("..", "...", ".")):
-        reply = reply + "..."
-    return reply.strip()
-
-# =========================================================
-# 디코딩 (llama.cpp 사용)
-# =========================================================
-
-def decode_once(model, prompt: str, *, deadpan: bool = False) -> str:
-    """llama.cpp로 한 번 디코딩."""
-    if deadpan:
-        temperature = 0.25
-        top_p = 0.85
-        max_tokens = 48
-    elif STRICT_MODE:
-        temperature = 0.35
-        top_p = 0.88
-        max_tokens = 56
+print("✅ 로딩 완료!")
+
+# ------------------------------------------------------------------
+# 2. 채팅 로직 (밸런스 게임 + 인사 필터)
+# ------------------------------------------------------------------
+def chat_response(user_input, history):
+    clean_input = user_input.replace(" ", "")
+    
+    # 감지 키워드
+    greeting_words = ["안녕", "ㅎㅇ", "하이", "반가", "좋은아침"]
+    is_greeting = any(word in clean_input for word in greeting_words)
+    is_balance_game = "밸런스게임" in clean_input or "밸런스질문" in clean_input
+
+    # 시스템 지시문(Context) 주입
+    if is_balance_game:
+        topics = ["음식", "연애", "고통", "돈", "초능력", "직장", "친구"]
+        topic = random.choice(topics)
+        final_instruction = (
+            f"(사용자가 밸런스 게임을 하자고 한다. 주제는 '{topic}'이다. "
+            "아주 고르기 곤란하고 짜증나는 두 가지 선택지(A vs B)를 제시해라. "
+            "말투는 여전히 거칠고 시비조로 해라. 예시: '똥맛 카레 vs 카레맛 똥. 골라봐 이 XX야') "
+            "자, 질문해."
+        )
+    elif is_greeting:
+        final_instruction = f"(친한 친구가 인사를 건넨다. 욕하지 말고 무심하게 받아준다) {user_input}"
     else:
-        temperature = 0.6
-        top_p = 0.9
-        max_tokens = 64
+        final_instruction = user_input
 
-    out = model(
-        prompt,
-        max_tokens=max_tokens,
-        temperature=temperature,
-        top_p=top_p,
-        stop=["</s>", "User:", "Assistant:", "### User:"],
-    )
-    gen = out["choices"][0]["text"]
-    return clean_text(gen)
-
-# =========================================================
-# 시스템 프롬프트
-# =========================================================
-
-SYSTEM_PROMPT = (
-    "너는 사용자의 가장 친한 친구야. 20~30대 MZ 말투 섞인 편안한 한국어 구어체로 말해. "
-    f"영문/불필요한 낱자 자모 금지(허용: {','.join(sorted(WHITELIST_JAMO))}). "
-    "메타 단어('AI','인공지능','챗봇','도와줄게','역할') 금지. "
-    "가끔 시크하게 한 줄만 대답해도 되고, 너무 설교하지 말고 현실 친구처럼 얘기해.\n\n"
-    "--- 대화 예시 ---\n"
-    "User: 넌 누구야?\n"
-    "Assistant: 사람친구..\n"
-    "User: 무슨 일 해?\n"
-    "Assistant: 별 건 안해.. 그냥 먹고 살려고\n"
-    "User: 심심하다\n"
-    "Assistant: 심심해? 개부럽누..\n"
-    "--- 여기까지 예시 ---\n\n"
-)
-
-# =========================================================
-# 전역 초기화
-# =========================================================
-
-print("🚀 모델 로드 중 (GGUF + llama.cpp)...")
-model = load_model_for_chat(MODEL_DIR)
-
-print("🔤 토크나이저 로드 중...")
-tokenizer = AutoTokenizer.from_pretrained(
-    BASE_MODEL_PATH,
-    trust_remote_code=True,
-    use_fast=True,
-)
-if tokenizer.pad_token is None:
-    tokenizer.pad_token = tokenizer.eos_token
+    # 프롬프트 포맷
+    prompt_template = f"""Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.
 
-dictionary = load_dictionary()
-profanity = load_profanity()
-print("✅ 초기화 완료")
+### Instruction:
+{final_instruction}
 
-# =========================================================
-# Gradio 챗 함수
-# =========================================================
+### Input:
 
-def chat_fn(user_input, history):
-    # history: 리스트 [(user, bot), ...]
-    messages = [{"role": "system", "content": SYSTEM_PROMPT}]
 
-    # 속도 위해 최근 2턴만 유지
-    for u, b in history[-2:]:
-        messages.append({"role": "user", "content": u})
-        messages.append({"role": "assistant", "content": b})
-    messages.append({"role": "user", "content": user_input})
+### Response:
+<DDOLBAE>"""
 
-    # 원래 쓰던 chat_template 그대로 활용 (토크나이저만 사용)
-    prompt = tokenizer.apply_chat_template(
-        messages,
-        tokenize=False,
-        add_generation_prompt=True,
+    # 생성
+    output = llm(
+        prompt_template,
+        max_tokens=256,
+        stop=["<|end_of_text|>", "###", "User:", "### Instruction:"],
+        echo=False,
+        temperature=0.7 if is_balance_game else 0.5,
+        top_p=0.9,
+        repeat_penalty=1.2
     )
+    
+    return output['choices'][0]['text'].strip()
 
-    deadpan = should_deadpan(user_input)
-    reply = decode_once(model, prompt, deadpan=deadpan)
-
-    oov_cnt, _ = count_oov(reply, dictionary, profanity)
-    if OOV_STRIP and oov_cnt > 0:
-        reply = strip_oov(reply, dictionary, profanity)
-
-    if deadpan:
-        reply = postprocess_deadpan(reply)
-
-    return reply
-
-# =========================================================
-# Gradio UI
-# =========================================================
-
+# ------------------------------------------------------------------
+# 3. UI 구성
+# ------------------------------------------------------------------
 CUSTOM_CSS = """
-.gradio-container {
-    font-family: "Noto Sans KR", system-ui, sans-serif;
-}
-
-/* 유저 메시지 텍스트를 진한 검정으로 */
-.message.user,
-.user .message,
-.chat-message.user,
-.gr-chatbot .message.user,
-.gr-chatbot .user {
-    color: #111111 !important;
-}
+.gradio-container { font-family: "Noto Sans KR", system-ui, sans-serif; }
+#chatbot { height: 500px; overflow: auto; }
+.message.user, .user .message { color: #111111 !important; font-weight: bold; }
 """
 
-demo = gr.ChatInterface(
-    fn=chat_fn,
-    title="어느 MZ 친구의 느린 DM방",
-    description=(
-        "어떤 MZ의 말투를 따라하는 한국어 친구 챗봇입니다.\n"
-        "(⚠️ 개 느림주의: 대답 늦어도 서운해하지 말 것)"
-    ),
-    examples=[
-        "야 나 오늘 개피곤하다",
-        "이직할까 말까 고민중이야",
-        "나 좀 칭찬해줘",
-    ],
-    css=CUSTOM_CSS,
-)
+with gr.Blocks(theme=gr.themes.Soft(), css=CUSTOM_CSS) as demo:
+    gr.Markdown("# 🔥 똘배 채팅방")
+    gr.Markdown("가비아 도메인 연결용 서버 (Llama-3 GGUF)")
+    
+    chatbot = gr.ChatInterface(
+        fn=chat_response,
+        retry_btn=None,
+        undo_btn=None,
+        clear_btn="기록 삭제",
+        examples=["밸런스 게임 문제 내봐", "안녕", "돈 좀 빌려줘"],
+    )
 
 if __name__ == "__main__":
     demo.launch()
+