Instructions to use Komma-LuisMiSanVe/LangToSQL with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Komma-LuisMiSanVe/LangToSQL with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="Komma-LuisMiSanVe/LangToSQL",
	filename="LangToSQL-1.5B-F16.gguf",
)

llm.create_chat_completion(
	messages = "No input example has been defined for this model task."
)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use Komma-LuisMiSanVe/LangToSQL with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Komma-LuisMiSanVe/LangToSQL:F16
# Run inference directly in the terminal:
llama-cli -hf Komma-LuisMiSanVe/LangToSQL:F16

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Komma-LuisMiSanVe/LangToSQL:F16
# Run inference directly in the terminal:
llama-cli -hf Komma-LuisMiSanVe/LangToSQL:F16

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Komma-LuisMiSanVe/LangToSQL:F16
# Run inference directly in the terminal:
./llama-cli -hf Komma-LuisMiSanVe/LangToSQL:F16

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Komma-LuisMiSanVe/LangToSQL:F16
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Komma-LuisMiSanVe/LangToSQL:F16

Use Docker

docker model run hf.co/Komma-LuisMiSanVe/LangToSQL:F16

LM Studio
Jan
Ollama
How to use Komma-LuisMiSanVe/LangToSQL with Ollama:
```
ollama run hf.co/Komma-LuisMiSanVe/LangToSQL:F16
```

Unsloth Studio new

How to use Komma-LuisMiSanVe/LangToSQL with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Komma-LuisMiSanVe/LangToSQL to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Komma-LuisMiSanVe/LangToSQL to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for Komma-LuisMiSanVe/LangToSQL to start chatting

Pi new

How to use Komma-LuisMiSanVe/LangToSQL with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama-server -hf Komma-LuisMiSanVe/LangToSQL:F16

Configure the model in Pi

# Install Pi:
npm install -g @mariozechner/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "Komma-LuisMiSanVe/LangToSQL:F16"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Hermes Agent new

How to use Komma-LuisMiSanVe/LangToSQL with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama-server -hf Komma-LuisMiSanVe/LangToSQL:F16

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default Komma-LuisMiSanVe/LangToSQL:F16

Run Hermes

hermes

Docker Model Runner
How to use Komma-LuisMiSanVe/LangToSQL with Docker Model Runner:
```
docker model run hf.co/Komma-LuisMiSanVe/LangToSQL:F16
```

Lemonade

How to use Komma-LuisMiSanVe/LangToSQL with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Komma-LuisMiSanVe/LangToSQL:F16

Run and chat with the model

lemonade run user.LangToSQL-F16

List all available models

lemonade list

LangToSQL / README.es.md

Komma-LuisMiSanVe

Update files

c4225a4 10 days ago

preview code

raw

history blame contribute delete

4.82 kB

metadata

language:
  - en
thumbnail: >-
  https://raw.githubusercontent.com/LuisMiSanVe/LuisMiSanVe/refs/heads/main/Resources/LangToSQL/LangToSQLLLM_banner.png
tags:
  - sql
  - text-to-sql
  - llm
  - fine-tuning
  - gguf
license: apache-2.0
datasets:
  - xlangai/spider
base_model: Qwen/Qwen2.5-Coder-1.5B-Instruct

Ver en ingles/See in english

🤖 Modelo de IA para sentencias PostgreSQL

Dale un vistazo a las otras versiones del programa:

WinForms

REST API

ChatBot

NuGet

Android

El modelo de IA ha sido entrenado para convertir lenguaje natural a sentencias de PostgreSQL.

📝 Explicación de Tecnología

El modelo usa Gwen Coder de base y refinado con los datasets de Spider.

El dataset en archivo JSON contiene train_spider.json de Spider, ya que es el dataset principal.

El modelo se ha exportado a GGUF con llama.cpp para que puedas usarlo en programas como LM Studio.

🛠️ Instalación

Para ejecutar el script de entrenamiento por tu cuenta, primero necesitas instalar Python y ejecuta este comando:

pip install transformers datasets peft accelerate bitsandbytes trl==1.0.0

Dependiendo en la versión, es posible que necesites usar este en su lugar:

py -m pip install transformers datasets peft accelerate bitsandbytes trl==1.0.0

Asegurate que la libreria TRL está en la versión 1.0.0, ya que es la única version compatible con el script de entrenamiento.

📂 Archivos

Este repositorio incluye los archivos del modelo LLM entrenado, su script de entrenamiento, el dataset para entrenar y un script para probar el modelo .safetensors.

Puedes descargar el GGUF final desde los Lanzamientos.

🚀 Lanzamientos

Una versión será lanzada solo cuando se cumplan los siguientes puntos:
Nuevas funciones importantes y arreglos de fallos criticos causarán la salida inmediata de una nueva versión, mientras que otros cambios/arreglos menores deberán esperar una semana desde que se incluyeron en el repositorio antes de ser incluidos en la nueva versión, para que otros posibles cambios puedan ser añadidos tambien.

Estos posibles nuevos cambios no alargarán la espera de la salida de la nueva versión a más de una semana.

El número de la versión seguirá este formato:
[Añadido Importante].[Añadido Menor].[Arreglos de Errores]

💻 Tecnologías usadas

Lenguaje de programación: Python
Librerías:
- transformers
- datasets
- peft
- acceletare
- bitsandbytes
- trl
Otros:
IDE Recomendado: VS Code