| | --- |
| | license: mit |
| | language: |
| | - en |
| | - ro |
| | base_model: |
| | - LLMLit/LLMLit |
| | tags: |
| | - LLMLiT |
| | - Romania |
| | - LLM |
| | datasets: |
| | - LLMLit/LitSet |
| | metrics: |
| | - accuracy |
| | - character |
| | - code_eval |
| | --- |
| | --- |
| |
|
| |
|
| |  |
| |
|
| | # **LLMLit – Model Card** |
| | 📌 *High-performance multilingual LLM for English & Romanian NLP tasks* |
| |
|
| | 🔗 [LLMLit on Hugging Face](https://huggingface.co/LLMLit) |
| | 🔗 [LitSeekR1 on Hugging Face](https://huggingface.co/LLMLit/LitSeekR1) |
| |
|
| | --- |
| |
|
| | ## **🔍 Quick Summary** |
| | **LLMLit** este un model de limbaj mare (LLM) performant, multilingv, optimizat din **Meta’s Llama 3.1 8B Instruct**. Este conceput pentru **task-uri NLP în limba engleză și română**, având capacități avansate de **urmărire a instrucțiunilor, înțelegere contextuală și generare de conținut precis**. |
| |
|
| | ## **📌 Model Details** |
| | 🔹 **Descriere:** LLMLit poate fi utilizat pentru **generare de conținut, sumarizare, răspuns la întrebări și multe altele**. |
| | 🔹 **Fine-tuning:** Modelul a fost antrenat pentru **adherarea la instrucțiuni de înaltă calitate și o mai bună înțelegere a contextului**. |
| | 🔹 **Utilizatori țintă:** Dezvoltatori, cercetători și companii care au nevoie de **soluții NLP fiabile**. |
| |
|
| | | Caracteristici | Detalii | |
| | |----------------|---------| |
| | | 🏢 **Dezvoltat de** | PyThaGo.AI Development Team | |
| | | 💰 **Finanțare** | Contribuții open-source & sponsori privați | |
| | | 🌍 **Limbaje** | Engleză (en), Română (ro) | |
| | | 🏷 **Licență** | MIT | |
| | | 🔗 **Model de bază** | `meta-llama/Llama-3.1-8B-Instruct` | |
| | | 📂 **Resurse** | [GitHub Repository](#) / Paper: *To be published* | |
| | | 🚀 **Demo** | *Coming Soon* | |
| |
|
| | --- |
| | ### **Coming Soon: Modele de Generare Imagine și Video 🎨🎬** |
| | --- |
| |
|
| | **Modelele de generare imagine și video sunt pe cale să fie lansate!** Așteaptă-te la posibilități creative nelimitate. Iată modelele ce vor fi disponibile curând: |
| |
|
| | | Model | Descriere | Status | Data estimată | |
| | |---------------------|-------------------------------------------------------|----------------|---------------| |
| | | **LitImage** | Generare de imagini detaliate pe baza de text | **Coming Soon** | Martie 2025 | |
| | | **LitVideo** | Creare de clipuri video pe baza descrierilor textuale | **Coming Soon** | Aprilie 2025 | |
| | | **LitArt** | Transformă pozele în opere de artă (stil artistic) | **Coming Soon** | Mai 2025 | |
| | | **LitAgent** | Creare unui agent de browser folosind AI | **Coming Soon** | Iunie 2025 | |
| | | **LitWave** | Generare de video pe bază de muzică și text | **Coming Soon** | Iulie 2025 | |
| |
|
| | 🎥 **Transformă-ți ideile în realitate!** Modelele noastre de generare îți vor permite să creezi imagini și video într-un mod rapid și inovator! |
| |
|
| | --- |
| |
|
| |
|
| | ## **💡 Utilizări principale** |
| | ### ✅ **Utilizare directă** |
| | LLMLit poate fi aplicat la: |
| | ✔️ Generarea de răspunsuri asemănătoare celor umane |
| | ✔️ Traducere între **engleză și română** |
| | ✔️ Sumarizarea articolelor, rapoartelor și documentelor |
| | ✔️ Răspuns la întrebări complexe cu sensibilitate la context |
| |
|
| | ### 🚀 **Utilizare avansată (fine-tuning & integrare)** |
| | LLMLit poate fi optimizat pentru: |
| | 🗨️ **Chatboți & asistenți virtuali** |
| | 📚 **Instrumente educaționale bilingve** |
| | ⚖️ **Analiza documentelor legale/medicale** |
| | 🛒 **Automatizare în e-commerce & suport clienți** |
| |
|
| | ### ❌ **Utilizări nerecomandate** |
| | ⛔ Aplicații neetice (dezinformare, manipulare) |
| | ⛔ Luarea deciziilor critice fără supervizare umană |
| | ⛔ Task-uri care necesită **performanță în timp real** |
| |
|
| | --- |
| |
|
| | ## **⚠️ Bias, Riscuri și Limitări** |
| | 🔍 **Bias:** Modelul poate reflecta bias-urile existente în datele de antrenament. |
| | ⚠️ **Riscuri:** Poate genera informații inexacte sau neconforme. |
| | 📌 **Limitări:** |
| | - Performanța depinde de **calitatea prompturilor**. |
| | - Înțelegere limitată a domeniilor **foarte tehnice sau de nișă**. |
| |
|
| | 🔹 **Recomandări:** |
| | ✔️ Revizuirea output-ului pentru **aplicații sensibile**. |
| | ✔️ Fine-tuning pentru sarcini specifice pentru **minimizarea riscurilor**. |
| |
|
| | --- |
| |
|
| | ## **🚀 Cum să începi cu LLMLit** |
| | Pentru a utiliza LLMLit, instalează librăriile necesare și încarcă modelul: |
| |
|
| | ```python |
| | from transformers import AutoModelForCausalLM, AutoTokenizer |
| | |
| | # Încarcă modelul și tokenizer-ul |
| | model = AutoModelForCausalLM.from_pretrained("llmlit/LLMLit-0.2-8B-Instruct") |
| | tokenizer = AutoTokenizer.from_pretrained("llmlit/LLMLit-0.2-8B-Instruct") |
| | |
| | # Generează text |
| | inputs = tokenizer("Your prompt here", return_tensors="pt") |
| | outputs = model.generate(**inputs, max_length=100) |
| | ``` |
| |
|
| | --- |
| |
|
| |
|
| | # **📌 Ghid de Instalare: LM Studio + LLMLit pe Windows** |
| |
|
| | ## **🔹 1. Instalarea LM Studio** |
| | LM Studio este o aplicație desktop care permite descărcarea și rularea locală a modelelor LLM. |
| |
|
| | ### **🖥️ Pasul 1: Descarcă și instalează LM Studio** |
| | 1️⃣ Mergi la site-ul oficial: |
| | 🔗 [LM Studio Download](https://lmstudio.ai/) |
| |
|
| | 2️⃣ Descarcă versiunea pentru **Windows** și instalează aplicația. |
| |
|
| | 3️⃣ După instalare, deschide **LM Studio**. |
| |
|
| | --- |
| |
|
| | ## **🔹 2. Descărcarea și Instalarea LLMLit** |
| | Pentru a folosi **LLMLit**, trebuie să descarci modelul de pe **Hugging Face**. |
| |
|
| | ### **🖥️ Pasul 2: Adăugarea Modelului în LM Studio** |
| | 1️⃣ **Deschide LM Studio** și mergi la tab-ul **"Model Catalog"**. |
| |
|
| | 2️⃣ Caută modelul **LLMLit** manual sau folosește acest link pentru descărcare: |
| | 🔗 [LLMLit pe Hugging Face](https://huggingface.co/LLMLit/LLMLit-0.2-8B-Instruct) |
| |
|
| | 3️⃣ Copiază linkul modelului și introdu-l în **LM Studio → "Download Custom Model"**. |
| |
|
| | 4️⃣ Alege locația unde vrei să salvezi modelul și începe descărcarea. |
| |
|
| | --- |
| |
|
| | ## **🔹 3. Configurarea și Rularea LLMLit** |
| | După ce ai descărcat modelul, trebuie să-l configurezi și să-l rulezi. |
| |
|
| | ### **🖥️ Pasul 3: Setarea Modelului** |
| | 1️⃣ Mergi la **"Local Models"** în LM Studio. |
| |
|
| | 2️⃣ Selectează **LLMLit-0.2-8B-Instruct** din listă. |
| |
|
| | 3️⃣ Apasă **"Launch"** pentru a începe rularea modelului. |
| |
|
| | --- |
| |
|
| | ## **🔹 4. Interacțiunea cu LLMLit** |
| | După ce modelul este activ, poți începe să-l folosești în LM Studio. |
| |
|
| | 1️⃣ **Folosește interfața LM Studio** pentru a trimite mesaje direct modelului. |
| |
|
| | 2️⃣ **Pentru integrare în Python**, instalează `ollama` și folosește următorul script: |
| |
|
| | ```python |
| | import ollama |
| | |
| | response = ollama.chat(model='llmlit/LLMLit-0.2-8B-Instruct', |
| | messages=[{'role': 'user', 'content': 'Salut, cum pot folosi LLMLit?'}]) |
| | |
| | print(response['message']['content']) |
| | ``` |
| |
|
| | --- |
| |
|
| | ## **🔹 5. Optimizarea Performanței** |
| | Pentru a rula LLMLit mai eficient pe Windows: |
| | ✅ **Activează GPU Acceleration** dacă ai placă video compatibilă. |
| | ✅ **Folosește modele mai mici**, dacă sistemul tău nu are suficient RAM. |
| | ✅ **Optimizează parametrii modelului** din setările LM Studio pentru un echilibru între viteză și precizie. |
| |
|
| | --- |
| |
|
| | 🎉 **Gata!** Acum ai **LM Studio + LLMLit** instalat pe Windows și gata de utilizare! 🚀 |
| |
|
| | --- |
| |
|
| |
|
| | 🖥️Iată o documentație simplă și clară despre cum să instalezi **Ollama** și să rulezi **LLMLit** de pe Hugging Face. |
| |
|
| | --- |
| |
|
| | # **📌 Ghid de Instalare: Ollama + LLMLit** |
| |
|
| | ## **🔹 Pasul 1: Instalarea Ollama** |
| | Ollama este un framework ușor pentru rularea modelelor **LLM (Large Language Models)** local. |
| |
|
| | ### **🖥️ Pentru macOS & Linux** |
| | 1️⃣ **Deschide un terminal și rulează:** |
| | ```sh |
| | curl -fsSL https://ollama.com/install.sh | sh |
| | ``` |
| | 2️⃣ **Repornește terminalul pentru a aplica modificările.** |
| |
|
| | ### **🖥️ Pentru Windows (Necesită WSL2)** |
| | 1️⃣ **Activează WSL2 și instalează Ubuntu:** |
| | - Deschide **PowerShell** ca administrator și rulează: |
| | ```powershell |
| | wsl --install |
| | ``` |
| | - Repornește computerul. |
| |
|
| | 2️⃣ **Instalează Ollama în WSL2:** |
| | ```sh |
| | curl -fsSL https://ollama.com/install.sh | sh |
| | ``` |
| |
|
| | 3️⃣ **Verifică dacă Ollama este instalat corect:** |
| | ```sh |
| | ollama |
| | ``` |
| | Dacă apare meniul de utilizare, instalarea a fost realizată cu succes! 🎉 |
| |
|
| | --- |
| |
|
| | ## **🔹 Pasul 2: Instalarea LLMLit de pe Hugging Face** |
| | LLMLit poate fi descărcat și rulat în Ollama folosind comanda `ollama pull`. |
| |
|
| | 1️⃣ **Deschide un terminal și rulează:** |
| | ```sh |
| | ollama pull llmlit/LLMLit-0.2-8B-Instruct |
| | ``` |
| |
|
| | 2️⃣ **Verifică dacă modelul a fost instalat:** |
| | ```sh |
| | ollama list |
| | ``` |
| | Ar trebui să vezi **LLMLit** în lista de modele disponibile. ✅ |
| |
|
| | --- |
| |
|
| | ## **🔹 Pasul 3: Rularea LLMLit în Ollama** |
| | După instalare, poți începe să interacționezi cu **LLMLit** astfel: |
| |
|
| | ```sh |
| | ollama run llmlit/LLMLit-0.2-8B-Instruct |
| | ``` |
| | Aceasta va deschide o sesiune locală unde poți discuta cu modelul. 🤖 |
| |
|
| | Pentru a trimite un prompt personalizat: |
| | ```sh |
| | ollama run llmlit/LLMLit-0.2-8B-Instruct "Salut, cum pot folosi LLMLit?" |
| | ``` |
| |
|
| | --- |
| |
|
| | ## **🔹 Pasul 4: Utilizarea LLMLit în Python** |
| | Dacă vrei să integrezi **LLMLit** într-un script Python, instalează librăria necesară: |
| | ```sh |
| | pip install ollama |
| | ``` |
| |
|
| | Apoi, creează un script Python: |
| | ```python |
| | import ollama |
| | |
| | response = ollama.chat(model='llmlit/LLMLit-0.2-8B-Instruct', messages=[{'role': 'user', 'content': 'Cum funcționează LLMLit?'}]) |
| | print(response['message']['content']) |
| | ``` |
| |
|
| | --- |
| |
|
| | 🚀 **Gata!** Acum ai **Ollama + LLMLit** instalat și pregătit de utilizare local!😊 |
| |
|
| | 🔗 **Mai multe detalii:** [LLMLit on Hugging Face](https://huggingface.co/LLMLit) 🚀 |
| |
|
| | --- |
| |
|
| | ### **Coming Soon! 🚀** |
| |
|
| | **Noua funcționalitate** va fi disponibilă curând! Fii pregătit să explorezi opțiuni personalizate pentru aplicațiile tale. Iată o privire asupra parametrilor ce urmează să fie integrați: |
| |
|
| | | Parametru | Descriere | Status | Data estimată | |
| | |---------------------|--------------------------------------------|----------------|---------------| |
| | | **Low-Code Builder** | Construiește aplicații fără a scrie mult cod | **Coming Soon** | Martie 2025 | |
| | | **AI Integration** | Integrare completă cu modelele AI | **Coming Soon** | Aprilie 2025 | |
| | | **Voice Control** | Suport complet pentru comenzi vocale | **Coming Soon** | Mai 2025 | |
| | | **RAG Support** | Generare augmentată prin recuperare | **Coming Soon** | Iunie 2025 | |
| | | **Teme si Agenti** | Theme si Chatbots multi-AI pentru asistență și suport | **Coming Soon** | Iunie 2025 | |
| | 🔧 **Rămâi conectat!** Detaliile suplimentare vor fi disponibile foarte curând! |
| |
|
| | --- |
| | ### **Alătură-te Comunității PyThaGo.AI! 🚀** |
| | --- |
| |
|
| | Suntem încântați să îți prezentăm **PyThaGo.AI**, o comunitate vibrantă dedicată inovației și colaborării în domeniul inteligenței artificiale! Dacă ești un dezvoltator pasionat de AI și vrei să contribui la proiecte open-source care vor transforma viitorul tehnologiei, te invităm să te alături echipei noastre. |
| |
|
| | Proiectele noastre sunt deschise oricui dorește să contribuie, de la dezvoltatori experimentați până la începători care doresc să învețe și să crească împreună cu noi. Alătură-te astăzi și ajută-ne să construim următoarele inovații AI! |
| |
|
| | Iată câteva dintre proiectele noastre la care poți contribui: |
| |
|
| |
|
| |
|
| | | **Proiect** | **Descriere** | **Link** | |
| | |----------------------|----------------------------------------------------|---------------------------------------------------| |
| | | **AgentWeb-ui** | Interacțiune directă cu LLMLit prin web simplu | [GitHub](https://github.com/PyThaGoAI/AgentWeb-ui) | |
| | | **ChatLit** | Chatbot multi-AI pentru suport și asistență | [GitHub](https://github.com/PyThaGoAI/ChatLit) | |
| | | **Morphic** | Platformă flexibilă pentru aplicații AI | [GitHub](https://github.com/PyThaGoAI/morphic) | |
| | | **Bolt.new** | Aplicație rapidă pentru integrarea agenților AI | [GitHub](https://github.com/PyThaGoAI/bolt.new) | |
| | | **LibreChat** | Chatbot multi-AI, perfect pentru integrare scalabilă| [GitHub](https://github.com/PyThaGoAI/LibreChat) | |
| | | **Langflow** | Platformă low-code pentru aplicații personalizate | [GitHub](https://github.com/PyThaGoAI/langflow) | |
| | | **NextChat** | Aplicație de conversație cross-platform | [GitHub](https://github.com/PyThaGoAI/NextChat) | |
| | | **VoiceLit** | Suport complet pentru interacțiune vocală | [GitHub](https://github.com/PyThaGoAI/VoiceLit) | |
| | | **Plandex** | Planificator AI pentru gestionarea sarcinilor | [GitHub](https://github.com/PyThaGoAI/plandex) | |
| | | **Web-llm-chat** | Run LLMLit direct în browser pentru performanță maximă | [GitHub](https://github.com/PyThaGoAI/web-llm-chat) | |
| |
|
| | 🚀 **Fii parte din revoluția AI!** Începe să contribui astăzi la dezvoltarea unora dintre cele mai interesante proiecte open-source din domeniul AI și hai să construim împreună un viitor mai inteligent! |
| |
|
| |  |
| | --- |
| |
|
| | Multe surprize în viitor! 🎁✨ |
| | Suntem super entuziasmați să vă anunțăm că, în curând, vom adăuga multe freebies și documentație detaliată pentru toți dezvoltatorii care vor să învețe și să colaboreze cu noi! 📚🎉 |
| |
|
| | 🔧 Ce vei găsi? |
| |
|
| | Resurse gratuite pentru proiectele tale 💡 |
| | Ghiduri și tutoriale pas cu pas 📘 |
| | Exemple de cod și șabloane utile 📝 |
| | 🌍 Rămâi conectat pentru a descoperi toate aceste resurse care te vor ajuta să îți duci proiectele la următorul nivel! |
| |
|
| |
|
| |
|
| |
|
| | **Retrieval-Augmented Generation (RAG)** folosind modelul **LLMLit** disponibil pe Hugging Face. RAG combină căutarea informațiilor relevante cu generarea de texte pentru a produce răspunsuri mai precise. Vom utiliza Hugging Face pentru a integra acest model și vom folosi o bază de date externă pentru a face interogări și a îmbogăți răspunsurile generate de modelul LLMLit. |
| |
|
| | ### **Pași pentru implementarea RAG cu LLMLit pe Hugging Face 🚀** |
| |
|
| | #### 1. **Instalarea pachetelor necesare 🛠️** |
| |
|
| | În primul rând, trebuie să instalezi librăriile necesare pentru a lucra cu **Hugging Face** și **LLMLit**. Poți face acest lucru folosind pip: |
| |
|
| | ```bash |
| | pip install transformers datasets faiss-cpu |
| | ``` |
| |
|
| | - `transformers` este pachetul care ne permite să interacționăm cu modelele de la Hugging Face. |
| | - `datasets` ne ajută să gestionăm datele externe pentru căutare. |
| | - `faiss-cpu` este opțional, dar îl recomandăm pentru căutarea vectorială rapidă a documentelor. |
| |
|
| | #### 2. **Încărcarea modelului LLMLit de pe Hugging Face 🔄** |
| |
|
| | Acum, putem încarcă modelul **LLMLit** folosind Hugging Face: |
| |
|
| | ```python |
| | from transformers import AutoTokenizer, AutoModelForSeq2SeqLM |
| | |
| | # Încărcăm modelul LLMLit și tokenizer-ul |
| | tokenizer = AutoTokenizer.from_pretrained("LLMLit/LLMLit") |
| | model = AutoModelForSeq2SeqLM.from_pretrained("LLMLit/LLMLit") |
| | ``` |
| |
|
| | #### 3. **Configurarea bazei de date de documente 🔍** |
| |
|
| | Pentru a folosi RAG, avem nevoie de o sursă externă de documente pentru a recupera informațiile relevante. În exemplul de față, vom folosi **FAISS** pentru căutarea rapidă a documentelor. Începe prin a crea un index FAISS: |
| |
|
| | ```python |
| | import faiss |
| | import numpy as np |
| | |
| | # Crearea unui set de documente fictive |
| | documents = [ |
| | "LLMLit este un model puternic de procesare a limbajului natural.", |
| | "RAG combină generarea de texte cu căutarea de informații externe.", |
| | "Hugging Face oferă o platformă excelentă pentru modelele AI.", |
| | "FAISS este un tool de căutare vectorială rapidă pentru baze de date mari." |
| | ] |
| | |
| | # Tokenizare și crearea vectorilor pentru documente |
| | embedding_model = AutoModelForSeq2SeqLM.from_pretrained("sentence-transformers/all-MiniLM-L6-v2") |
| | tokenizer = AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L6-v2") |
| | |
| | def encode_documents(documents): |
| | embeddings = [] |
| | for doc in documents: |
| | inputs = tokenizer(doc, return_tensors="pt", padding=True, truncation=True) |
| | with torch.no_grad(): |
| | embeddings.append(embedding_model(**inputs).last_hidden_state.mean(dim=1).numpy()) |
| | return np.vstack(embeddings) |
| | |
| | document_vectors = encode_documents(documents) |
| | |
| | # Crearea indexului FAISS |
| | index = faiss.IndexFlatL2(document_vectors.shape[1]) # Distanta L2 |
| | index.add(document_vectors) |
| | ``` |
| |
|
| | #### 4. **Căutarea celor mai relevante documente 🔍** |
| |
|
| | Acum, putem folosi FAISS pentru a căuta documentele cele mai relevante pe baza întrebării utilizatorului: |
| |
|
| | ```python |
| | def retrieve_documents(query, top_k=3): |
| | query_vector = encode_documents([query]) # Încodifică întrebarea |
| | distances, indices = index.search(query_vector, top_k) # Căutăm cele mai apropiate documente |
| | return [documents[i] for i in indices[0]] |
| | |
| | # Exemplu de interogare |
| | query = "Cum se folosește RAG în aplicațiile AI?" |
| | relevant_documents = retrieve_documents(query) |
| | print(relevant_documents) |
| | ``` |
| |
|
| | #### 5. **Generarea răspunsului folosind LLMLit 📝** |
| |
|
| | Acum că avem documentele relevante, le putem utiliza pentru a genera un răspuns contextului întrebării. Vom adăuga aceste documente la promptul nostru pentru LLMLit: |
| |
|
| | ```python |
| | def generate_answer(query, documents): |
| | context = " ".join(documents) # Adăugăm documentele relevante ca și context |
| | prompt = f"Întrebare: {query}\nContext: {context}\nRăspuns:" |
| | |
| | # Tokenizarea promptului |
| | inputs = tokenizer(prompt, return_tensors="pt", padding=True, truncation=True) |
| | |
| | # Generarea răspunsului |
| | outputs = model.generate(inputs['input_ids'], max_length=200, num_beams=5, early_stopping=True) |
| | answer = tokenizer.decode(outputs[0], skip_special_tokens=True) |
| | return answer |
| | |
| | # Generarea răspunsului final |
| | answer = generate_answer(query, relevant_documents) |
| | print(answer) |
| | ``` |
| |
|
| | #### 6. **Rezultatul final 🎯** |
| |
|
| | În acest moment, ai un sistem complet RAG care combină **căutarea de documente externe** cu **generarea de text** utilizând LLMLit. Modelul va căuta informațiile relevante în documentele tale și va genera un răspuns informativ și precis. |
| |
|
| | --- |
| |
|
| | ### **Concluzie 🌟** |
| |
|
| | Implementarea **RAG** folosind **LLMLit** îmbunătățește semnificativ calitatea răspunsurilor oferite de modele de limbaj, deoarece acestea pot accesa o bază de date externă pentru a obține informații mai precise și mai detaliate. Utilizând Hugging Face și librăriile precum FAISS, poți construi un sistem puternic de întrebări și răspunsuri bazat pe RAG. |
| |
|
| | 🔗 **Pentru a experimenta cu LLMLit și pentru mai multe informații, vizitează [pagina oficială Hugging Face a modelului LLMLit](https://huggingface.co/LLMLit/LLMLit).** |
| |
|
| | Sper că acest ghid îți va fi de ajutor! 😊 |
| |
|
| |
|
| |
|
| |
|
| |
|
| | Așteptăm cu nerăbdare să lucrăm împreună și să facem pași mari în dezvoltarea AI-ului! 🌍✨ |
| |
|
| |  |
| |
|
| |
|
| | --- |
