Add files using upload-large-folder tool

91ed952 verified over 1 year ago

4.46 kB

- Terminar de correr todo hasta ahora
- Para DBPedia, comparar DPCal con LoRA en función de la cantidad de muestras entrenando con un conjunto limitado de datos. Repetir para cuando el modelo fue previamente fine-tuneado con datos out-of-domain. Graficar Zero-shot. Ver plot dbpedia_nce. Debería verse que en algún momento LoRA supera a DPCal pero para pocas muestras, debería funcionar bien DPCal.

DPCal helps on non-finetuned and fine-tuned-on-matched-data models:
Zero-shot/Few-shot/LoraMatchedAns/LoraMatchedFS/BERT + DPCal/HistBinning/VectorScaling/etc

You can choose DPCal if you have limited budget of data:
Zero-shot/LoramatchedAns/LoraMatchedFS/DPCal vs number of samples

If you have other data, calibrate after train:
LoraMismatchedAns/LoraMismatchedFS/Instruct/InstructFewShot + DPCal (use zero-shot/zero-shot+dpcal as baseline)


sin es con 100 deberia dar mejor que con 70
el mejor deberia ser sin es calibrado en el 30















instruct base
instruc + dpcal en todos
instruct + 70-30 lora
instruct + 70-30 lora + dpcal
instruc + 100 lora (no es)
instruct + 100 lora (con steps de lora70-30)



Data split:
- Set 1: first p% of the data
- Set 2: last 100-p% of the data
- Set 3: 100% of the data

Methods:
1. No Adaptation (baseline): Do not use training data
2. Calibration: Use Set 3 for calibration

3. LoRA p%: Use Set 1 for training LoRA and Set 2 for validation
4. LoRA 100%: Use Set 3 for training LoRA with number of steps used in method 3.

5. LoRA p% without ES: Use Set 1 for training LoRA without Early Stopping
6. LoRA 100% without ES: Use Set 3 for training LoRA without Early Stopping

7. LoRA p% + Cal: Method 3 plus calibration on Set 2.
8. LoRA 100% + Cal: Method 4 plus calibration with parameters of method 7.

9. LoRA p% without ES + Cal: Method 5 plus calibration on Set 2.
10. LoRA 100% without ES + Cal: Method 6 plus calibration with parameters of method 9.

* = No ES
x = ES

Red = LoRA p
Green = LoRA 100

Solid (-) = No calibration
Dashed (--) = Temp Scaling
Dotted (:) = DP Calibration



icen laboratorio
cerca del RR, tambien hay bus a la universidad
estacion de orsay
qualcum





Cosas para el paper:

- Hay que argumentar que un modelo robusto es un modelo que puede clasificar bien para cualquier set de respuestas que se le presente
- Capaz podemos venderlo como un framework alternativo a prompt engineering en donde elgís las posibles respuestas y se las das como answers en lugar de en el prompt. 

- Métodos PEFTs son efectivos: https://aclanthology.org/2021.acl-long.172.pdf
- Ejemplo de catastrofic forgeting en medical domain: https://arxiv.org/abs/2203.13381
- Otro ejemplo de catastrofic forgeting: https://arxiv.org/abs/2308.08747
- Mixture of Prompts: https://arxiv.org/pdf/2310.02842
- Filtrado de muestras para hacer in domain finetuning: https://arxiv.org/abs/2410.14745
- Blog que habla sobre catastrofic forgetting: https://blog.arcee.ai/the-hidden-obstacles-of-domain-adaptation-in-llms/
- Synthetic generation: https://arxiv.org/abs/2303.00807
- Training budget guide: https://aclanthology.org/2024.eamt-1.51/
- Prompt engineering: https://ieeexplore.ieee.org/abstract/document/9908590
- Paper de continual pretraining: https://arxiv.org/abs/2004.10964




No tiene que ver con el paper pero sí con el proyecto de pablo: https://arxiv.org/abs/2310.01444

Mostrar NER y NCE con todos los métodos de adaptación
otro plot con LoRA p=1.0 no ES con calibracion
en dbpedia, comparar distribuciones en pocas mustras del sin calibrar y del calibrado.



TODO:
- Hacer y agregar plots de la primera sección de resultados
- Hacer y agregar plots de la segunda sección de resultados
- Análisis de las posteriors de las clases
- Análisis de las posteriors por fuera de la distribución de tokens de interés
- Escribir la primera parte de la sección de entrenamiento (descripción de LoRA y fine-tuning)
- Agregar related works
- Escribir el experimental setup
- agregar las referencias al .bib
- Terminar de correr Qwen y agregar al apéndice
<!-- - Ver intervalos y ver si agrego muestras al test
- Ver si tengo que correr más seeds -->
<!-- - Correr / buscar en resultados viejos para muchas muestras en Llama3.2 y todos los datasets, y agregar calibración:
    - Base model
    - Instruct model
    - Base trained on mismatched data
    - Instruct trained on mismatched data
    - LoRA p=1.0 con early stopping en Base
    - LoRA p=1.0 con early stopping en Instruct -->

	- Terminar de correr todo hasta ahora
	- Para DBPedia, comparar DPCal con LoRA en función de la cantidad de muestras entrenando con un conjunto limitado de datos. Repetir para cuando el modelo fue previamente fine-tuneado con datos out-of-domain. Graficar Zero-shot. Ver plot dbpedia_nce. Debería verse que en algún momento LoRA supera a DPCal pero para pocas muestras, debería funcionar bien DPCal.

	DPCal helps on non-finetuned and fine-tuned-on-matched-data models:
	Zero-shot/Few-shot/LoraMatchedAns/LoraMatchedFS/BERT + DPCal/HistBinning/VectorScaling/etc

	You can choose DPCal if you have limited budget of data:
	Zero-shot/LoramatchedAns/LoraMatchedFS/DPCal vs number of samples

	If you have other data, calibrate after train:
	LoraMismatchedAns/LoraMismatchedFS/Instruct/InstructFewShot + DPCal (use zero-shot/zero-shot+dpcal as baseline)


	sin es con 100 deberia dar mejor que con 70
	el mejor deberia ser sin es calibrado en el 30















	instruct base
	instruc + dpcal en todos
	instruct + 70-30 lora
	instruct + 70-30 lora + dpcal
	instruc + 100 lora (no es)
	instruct + 100 lora (con steps de lora70-30)



	Data split:
	- Set 1: first p% of the data
	- Set 2: last 100-p% of the data
	- Set 3: 100% of the data

	Methods:
	1. No Adaptation (baseline): Do not use training data
	2. Calibration: Use Set 3 for calibration

	3. LoRA p%: Use Set 1 for training LoRA and Set 2 for validation
	4. LoRA 100%: Use Set 3 for training LoRA with number of steps used in method 3.

	5. LoRA p% without ES: Use Set 1 for training LoRA without Early Stopping
	6. LoRA 100% without ES: Use Set 3 for training LoRA without Early Stopping

	7. LoRA p% + Cal: Method 3 plus calibration on Set 2.
	8. LoRA 100% + Cal: Method 4 plus calibration with parameters of method 7.

	9. LoRA p% without ES + Cal: Method 5 plus calibration on Set 2.
	10. LoRA 100% without ES + Cal: Method 6 plus calibration with parameters of method 9.

	* = No ES
	x = ES

	Red = LoRA p
	Green = LoRA 100

	Solid (-) = No calibration
	Dashed (--) = Temp Scaling
	Dotted (:) = DP Calibration



	icen laboratorio
	cerca del RR, tambien hay bus a la universidad
	estacion de orsay
	qualcum





	Cosas para el paper:

	- Hay que argumentar que un modelo robusto es un modelo que puede clasificar bien para cualquier set de respuestas que se le presente
	- Capaz podemos venderlo como un framework alternativo a prompt engineering en donde elgís las posibles respuestas y se las das como answers en lugar de en el prompt.

	- Métodos PEFTs son efectivos: https://aclanthology.org/2021.acl-long.172.pdf
	- Ejemplo de catastrofic forgeting en medical domain: https://arxiv.org/abs/2203.13381
	- Otro ejemplo de catastrofic forgeting: https://arxiv.org/abs/2308.08747
	- Mixture of Prompts: https://arxiv.org/pdf/2310.02842
	- Filtrado de muestras para hacer in domain finetuning: https://arxiv.org/abs/2410.14745
	- Blog que habla sobre catastrofic forgetting: https://blog.arcee.ai/the-hidden-obstacles-of-domain-adaptation-in-llms/
	- Synthetic generation: https://arxiv.org/abs/2303.00807
	- Training budget guide: https://aclanthology.org/2024.eamt-1.51/
	- Prompt engineering: https://ieeexplore.ieee.org/abstract/document/9908590
	- Paper de continual pretraining: https://arxiv.org/abs/2004.10964




	No tiene que ver con el paper pero sí con el proyecto de pablo: https://arxiv.org/abs/2310.01444

	Mostrar NER y NCE con todos los métodos de adaptación
	otro plot con LoRA p=1.0 no ES con calibracion
	en dbpedia, comparar distribuciones en pocas mustras del sin calibrar y del calibrado.



	TODO:
	- Hacer y agregar plots de la primera sección de resultados
	- Hacer y agregar plots de la segunda sección de resultados
	- Análisis de las posteriors de las clases
	- Análisis de las posteriors por fuera de la distribución de tokens de interés
	- Escribir la primera parte de la sección de entrenamiento (descripción de LoRA y fine-tuning)
	- Agregar related works
	- Escribir el experimental setup
	- agregar las referencias al .bib
	- Terminar de correr Qwen y agregar al apéndice
	<!-- - Ver intervalos y ver si agrego muestras al test
	- Ver si tengo que correr más seeds -->
	<!-- - Correr / buscar en resultados viejos para muchas muestras en Llama3.2 y todos los datasets, y agregar calibración:
	- Base model
	- Instruct model
	- Base trained on mismatched data
	- Instruct trained on mismatched data
	- LoRA p=1.0 con early stopping en Base
	- LoRA p=1.0 con early stopping en Instruct -->