Instructions to use somosnlp/GemmaColRAC-AeroNavigatorLLM-2b with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use somosnlp/GemmaColRAC-AeroNavigatorLLM-2b with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="somosnlp/GemmaColRAC-AeroNavigatorLLM-2b")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("somosnlp/GemmaColRAC-AeroNavigatorLLM-2b")
model = AutoModelForCausalLM.from_pretrained("somosnlp/GemmaColRAC-AeroNavigatorLLM-2b")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Inference
Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use somosnlp/GemmaColRAC-AeroNavigatorLLM-2b with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "somosnlp/GemmaColRAC-AeroNavigatorLLM-2b"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "somosnlp/GemmaColRAC-AeroNavigatorLLM-2b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/somosnlp/GemmaColRAC-AeroNavigatorLLM-2b

SGLang

How to use somosnlp/GemmaColRAC-AeroNavigatorLLM-2b with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "somosnlp/GemmaColRAC-AeroNavigatorLLM-2b" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "somosnlp/GemmaColRAC-AeroNavigatorLLM-2b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "somosnlp/GemmaColRAC-AeroNavigatorLLM-2b" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "somosnlp/GemmaColRAC-AeroNavigatorLLM-2b",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use somosnlp/GemmaColRAC-AeroNavigatorLLM-2b with Docker Model Runner:
```
docker model run hf.co/somosnlp/GemmaColRAC-AeroNavigatorLLM-2b
```

LLM-AviationV2: Innovación AI en los Cielos

Descripción del Modelo

Desarrollado por Edison Bejarano y Nicolas Potes, este modelo representa un avance revolucionario en la utilización de la tecnología de Modelos de Lenguaje (LM) dentro del sector aeronáutico, específicamente diseñado para mejorar la comprensión y accesibilidad del Reglamento Aeronáutico Colombiano (RAC). Entrenado en una Tesla V100-SXM2-16GB, el modelo LLM-AviationV2 se embarca en un viaje para navegar el complejo panorama regulatorio con una eficiencia y perspicacia sin precedentes.

Desarrollado por: Edison Bejarano - Sergio Nicolas - Santiago Pineda
Tipo de modelo: Versión afinada de google/gemma-2b-it
Idiomas (NLP): Español (es)
Licencia: Apache-2.0
Afinado a partir del modelo: google/gemma-2b-it

Fuentes del Modelo

URL en Hugging Face: ejbejaranos/LLM-AviationV2

Usos

Uso Directo

El modelo LLM-AviationV2 está diseñado para aplicaciones directas en tareas de generación de texto, con el objetivo de simplificar la interpretación y aplicación de las regulaciones aeronáuticas. Su función principal es servir a profesionales y entusiastas del campo de la aeronáutica, proporcionando acceso inmediato a información comprensible extraída del RAC.

Detalles de Entrenamiento

Datos de Entrenamiento

El modelo LLM-AviationV2 fue afinado utilizando el dataset RAC_Colombia_QualityImproved025, el cual representa una versión mejorada en términos de calidad del Reglamento Aeronáutico Colombiano. Este dataset fue curado y mejorado por el equipo de SomosNLP, con el objetivo de proporcionar una base de datos más precisa y relevante para tareas de procesamiento de lenguaje natural relacionadas con la aviación.

Para más detalles sobre este dataset, puedes consultar la documentación y los metadatos a través del siguiente enlace:

Dataset RAC_Colombia_QualityImproved025 en Hugging Face

Procedimiento de Entrenamiento y Resultados

Hiperparámetros de Entrenamiento para LLM-AviationV2

Tipo de GPU: Tesla V100-SXM2-16GB
Tiempo Total de Entrenamiento: Aprox. 70 minutos (4239 segundos)
Tasa de Aprendizaje: 0.00005
Optimizador: Paged AdamW 8bit
Pasos Máximos: 258
Tamaño de Secuencia: 1024 (presumido)
Tamaño de Lote por Dispositivo: 3

Velocidades, Tamaños, Tiempos para LLM-AviationV2

Tiempo de Entrenamiento: 882.68 segundos
Muestras por Segundo en Entrenamiento: 2.338
Pasos por Segundo en Entrenamiento: 0.585

Hiperparámetros de Entrenamiento para LLMs-AviationV3

Tipo de GPU: NVIDIA A100-SXM4-40GB
Tiempo Total de Entrenamiento: Aprox. 50 minutos (3007 segundos)
Tasa de Aprendizaje: 0.00005
Optimizador: Paged AdamW 8bit
Pasos Máximos: 1638
Tamaño de Secuencia: 2048
Tamaño de Lote por Dispositivo: 1
Versión de Transformers: 4.39.0
Función de Activación: gelu_pytorch_tanh

Velocidades, Tamaños, Tiempos para LLMs-AviationV3

Tiempo de Entrenamiento: 1641.78 segundos
Muestras por Segundo en Entrenamiento: 3.991
Pasos por Segundo en Entrenamiento: 0.998

Comparación de Modelos

Al comparar los modelos, observamos mejoras significativas en la versión LLMs-AviationV3. La expansión del tamaño de la secuencia a 2048 y la reducción del tamaño de lote por dispositivo a 1, junto con el incremento en los pasos máximos a 1638, han demandado más recursos pero han resultado en un aumento notable en la calidad del modelo. Además, la actualización a la versión 4.39.0 de Transformers y el cambio en la función de activación a gelu_pytorch_tanh para LLMs-AviationV3 han contribuido a este avance cualitativo.

Resultados

El modelo ha demostrado una capacidad significativa para comprender y generar contenido regulatorio aeronáutico en español, convirtiéndose en un valioso recurso para la industria.

Actualmente vamos en la tercera version en donde hemos conseguido mejorar previas versiones:

Métrica de perdida: Innovación AI en los Cielos

Evaluación

Se esta desarrollando un espacio para que expertos en el campo puedan realizar una evalucacion por el momento tenemos estos dos para nuestros mejores modelos :

https://somosnlp-rac-col-v1.hf.space

Impacto Ambiental

El entrenamiento de LLM-AviationV2 se llevó a cabo con una consideración cuidadosa de su huella ambiental, optimizando para la eficiencia y minimizando el gasto computacional innecesario.

Tipo de Hardware: Tesla V100-SXM2-16GB
Horas Utilizadas: Aproximadamente 0.52 horas
Consumo de Energía: Aproximadamente 0.156 kWh
Emisiones de CO2 Estimadas: Aproximadamente 0.0741 kg

Estas cifras subrayan nuestro compromiso con la sostenibilidad y la reducción del impacto ambiental en el desarrollo de tecnologías de inteligencia artificial.

Especificaciones Técnicas

Infraestructura de Cómputo

Hardware

El entrenamiento se realizó en una Tesla V100-SXM2-16GB, elegida por su equilibrio entre rendimiento y eficiencia energética.

Software

Versión de Transformers: 4.38.0
Entorno de Entrenamiento: Proporcionado por la biblioteca Hugging Face Transformers.

Más Información

Para obtener información más detallada sobre LLM-AviationV2, incluido el acceso al modelo y sus capacidades completas, por favor visita nuestro repositorio en Hugging Face. LLM-AviationV2).

Downloads last month: 11

Safetensors

Model size

3B params

Tensor type

F16