Auto commit at 20-2025-08 18:09:40

lily_llm_api/models/polyglot_ko_1_3b_chat_250820_1805.py

@@ -1,150 +0,0 @@
-#!/usr/bin/env python3
-"""
-Polyglot-ko-1.3b-chat 모델 프로필
-heegyu/polyglot-ko-1.3b-chat 모델용
-"""
-
-from typing import Dict, Any, Tuple
-import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
-import logging
-import os
-from pathlib import Path
-
-logger = logging.getLogger(__name__)
-
-class PolyglotKo13bChatProfile:
-    """Polyglot-ko-1.3b-chat 모델 프로필"""
-    
-    def __init__(self):
-        self.model_name = "heegyu/polyglot-ko-1.3b-chat"
-        self.local_path = "./lily_llm_core/models/polyglot_ko_1_3b_chat"
-        self.display_name = "Polyglot-ko-1.3b-chat"
-        self.description = "한국어 채팅 전용 경량 모델 (1.3B)"
-        self.language = "ko"
-        self.model_size = "1.3B"
-        
-    def load_model(self) -> Tuple[AutoModelForCausalLM, AutoTokenizer]:
-        """모델 로드 (로컬 우선, 없으면 Hub)"""
-        logger.info(f"📥 {self.display_name} 모델 로드 중...")
-        try:
-            use_local = Path(self.local_path).exists() and any(Path(self.local_path).iterdir())
-            model_path = self.local_path if use_local else self.model_name
-
-            logger.info(f"🔍 모델 경로: {model_path} (local={'yes' if use_local else 'no'})")
-
-            tokenizer = AutoTokenizer.from_pretrained(
-                model_path,
-                use_fast=True,
-                trust_remote_code=True,
-                local_files_only=use_local,
-            )
-            if tokenizer.pad_token is None:
-                tokenizer.pad_token = tokenizer.eos_token
-
-            # CPU에서는 float32가 더 안정적, CUDA에서는 float16 사용
-            device = 'cuda' if torch.cuda.is_available() else 'cpu'
-            selected_dtype = torch.float16 if device == 'cuda' else torch.float32
-
-            model = AutoModelForCausalLM.from_pretrained(
-                model_path,
-                trust_remote_code=True,
-                torch_dtype=selected_dtype,
-                local_files_only=use_local,
-            ).to(device)
-
-            logger.info(f"✅ {self.display_name} 모델 로드 성공! (device={device}, dtype={selected_dtype})")
-            return model, tokenizer
-        except Exception as e:
-            logger.error(f"❌ {self.display_name} 모델 로드 실패: {e}")
-            raise
-    
-    def format_prompt(self, user_input: str) -> str:
-        """프롬프트 포맷팅 - 채팅 형식 (최적화)"""
-        # 더 간결한 프롬프트로 토큰 수 줄임
-        prompt = f"""AI 챗봇입니다. 도움이 되고 유익한 내용을 제공하세요.
-
-### 사용자:
-{user_input}
-
-### 챗봇:
-"""
-        return prompt
-    
-    def extract_response(self, full_text: str, formatted_prompt: str = None) -> str:
-        """응답 추출 - 더 강력한 로직으로 개선"""
-        logger.info(f"--- Polyglot 응답 추출 시작 ---")
-        logger.info(f"전체 생성 텍스트 (Raw): \n---\n{full_text}\n---")
-        logger.info(f"사용된 프롬프트: {formatted_prompt}")
-        
-        # 1순위: "### 챗봇:" 태그로 추출 시도
-        if "### 챗봇:" in full_text:
-            response = full_text.split("### 챗봇:")[-1].strip()
-            logger.info(f"✅ 성공: '### 챗봇:' 태그로 응답 추출")
-            logger.info(f"추출된 응답: {response}")
-            if response:  # 빈 문자열이 아닌 경우에만 반환
-                return response
-        
-        # 2순위: 프롬프트 제거로 추출 시도
-        if formatted_prompt and formatted_prompt in full_text:
-            response = full_text.replace(formatted_prompt, "").strip()
-            logger.info(f"✅ 성공: 프롬프트 제거로 응답 추출")
-            logger.info(f"추출된 응답: {response}")
-            if response:  # 빈 문자열이 아닌 경우에만 반환
-                return response
-        
-        # 3순위: 일반적인 프롬프트 패턴 제거 시도
-        clean_text = full_text.strip()
-        patterns_to_remove = [
-            "당신은 AI 챗봇입니다. 사용자에게 도움이 되고 유익한 내용을 제공해야합니다. 답변은 길고 자세하며 친절한 설명을 덧붙여서 작성하세요.",
-            "### 사용자:",
-            "### 챗봇:",
-            "사용자:",
-            "챗봇:",
-            "assistant:",
-            "user:"
-        ]
-        
-        for pattern in patterns_to_remove:
-            clean_text = clean_text.replace(pattern, "")
-        
-        clean_text = clean_text.strip()
-        
-        if clean_text and clean_text != full_text:
-            logger.info("✅ 성공: 패턴 제거로 응답 정리")
-            logger.info(f"정리된 응답: {clean_text}")
-            return clean_text
-        
-        # 4순위: 전체 텍스트에서 불필요한 부분만 제거
-        final_response = full_text.strip()
-        logger.warning("⚠️ 경고: 특별한 응답 추출 패턴을 찾지 못했습니다. 전체 텍스트를 ��리하여 반환합니다.")
-        logger.info(f"최종 반환 텍스트: {final_response}")
-        return final_response
-    
-    def get_generation_config(self) -> Dict[str, Any]:
-        """생성 설정 - 속도 최적화"""
-        return {
-            "max_new_tokens": 64,           # 128에서 64로 줄여서 속도 향상
-            "temperature": 0.7,             # 적당한 창의성 유지
-            "do_sample": True,              # 샘플링 활성화
-            "top_k": 40,                    # 50에서 40으로 줄여서 속도 향상
-            "top_p": 0.9,                   # nucleus sampling 유지
-            "repetition_penalty": 1.1,      # 반복 방지
-            "no_repeat_ngram_size": 3,      # n-gram 반복 방지
-            "pad_token_id": None,           # 모델 기본값 사용
-            "eos_token_id": None,           # 모델 기본값 사용
-            "use_cache": True,              # 캐시 사용으로 속도 향상
-            "max_time": 60.0,               # 60초 타임아웃
-        }
-    
-    def get_model_info(self) -> Dict[str, Any]:
-        """모델 정보"""
-        return {
-            "model_name": self.model_name,
-            "display_name": self.display_name,
-            "description": self.description,
-            "language": self.language,
-            "model_size": self.model_size,
-            "local_path": self.local_path,
-            "multimodal": False,
-        }