Instructions to use TextModel/gemma-embedding-kuhp-indo with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use TextModel/gemma-embedding-kuhp-indo with sentence-transformers:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("TextModel/gemma-embedding-kuhp-indo")

sentences = [
    "query: Seorang pria bernama Eko Santoso di Kota Semarang pada tahun 2024 secara terang-terangan di hadapan kerumunan massa di alun-alun kota menyampaikan orasi yang berisi hasutan untuk melakukan diskriminasi terhadap penganut agama tertentu yang ada di Indonesia, dengan menyatakan bahwa agama tersebut adalah ancaman dan harus dilawan. Pernyataan tersebut disampaikan secara langsung di muka umum dan direkam oleh banyak orang. Pasal apa yang tepat dikenakan kepada Eko Santoso?",
    "passage: Ya, karena mantan pejabat yang tanpa izin dari pejabat berwenang menahan atau tetap menyimpan surat dinas yang ada padanya setelah tidak lagi menjabat dapat dipidana penjara paling lama 6 bulan atau denda paling banyak kategori II. (Pasal 541 KUHP)",
    "passage: Pasal 300: Setiap Orang Di Muka Umum yang: a. melakukan perbuatan yang bersifat permusuhan; b. menyatakan kebencian atau permusuhan; atau c. menghasut untuk melakukan Kekerasan, atau diskriminasi, terhadap agama, kepercayaan orang lain, golongan, atau kelompok atas dasar agama atau kepercayaan di Indonesia, dipidana dengan pidana penjara paling lama 3 (tiga) tahun atau pidana denda paling banyak kategori IV.. Pasal ini berlaku karena Eko Santoso secara Di Muka Umum menyatakan kebencian dan menghasut untuk melakukan diskriminasi terhadap penganut agama tertentu di Indonesia berdasarkan agama mereka, yang secara langsung memenuhi unsur tindak pidana dalam Pasal 300 KUHP 2023..",
    "passage: Pasal 301: (1) Setiap Orang yang menyiarkan, mempertunjukkan, menempelkan tulisan atau gambar, atau memperdengarkan suatu rekaman, termasuk menyebarluaskan melalui sarana teknologi informasi yang berisi Tindak Pidana sebagaimana dimaksud dalam Pasal 300, dengan maksud agar isi tulisan, gambar, atau rekaman tersebut diketahui atau lebih diketahui oleh umum, dipidana dengan pidana penjara paling lama 5 (lima) tahun atau pidana denda paling banyak kategori V. (2) Jika Setiap Orang sebagaimana dimaksud pada ayat (1) melakukan perbuatan tersebut dalam menjalankan profesinya dan pada waktu itu belum lewat 2 (dua) tahun sejak adanya putusan pemidanaan yang telah memperoleh kekuatan hukum tetap karena melakukan Tindak Pidana yang sama, dapat dijatuhi pidana tambahan berupa pencabutan hak sebagaimana dimaksud dalam Pasal 86 huruf f.. Pasal ini mengatur penyebarluasan melalui media konten yang memuat tindak pidana Pasal 300, merupakan pasal turunan dari Pasal 300 bukan pasal induk kebencian berbasis agama itu sendiri.."
]
embeddings = model.encode(sentences)

similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [4, 4]

Notebooks
Google Colab
Kaggle

TextModel commited on about 1 month ago

Commit

4aeda51

verified ·

1 Parent(s): cd81c08

Add new SentenceTransformer model

Browse files

Files changed (4) hide show

2_Dense/model.safetensors +1 -1
3_Dense/model.safetensors +1 -1
README.md +14 -14
model.safetensors +1 -1

2_Dense/model.safetensors CHANGED Viewed

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:50eeab9116dd480e7069c8739e7b6c7341b637b0ccc40c98048f4472f5d6dd4e
 size 9437272

 version https://git-lfs.github.com/spec/v1
+oid sha256:40f331c2603bda06f657724933d4c711631c2a4392e2122f0d920541294c9395
 size 9437272

3_Dense/model.safetensors CHANGED Viewed

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2c6af6516d363fd9595260eb759565025535c3c274da8440f3dcf1c924cbf7d0
 size 9437272

 version https://git-lfs.github.com/spec/v1
+oid sha256:718292baef0b71b616f91a337e18bebe8a6c95cfcc0bd2122e47a1ccf6010dbe
 size 9437272

README.md CHANGED Viewed

@@ -157,7 +157,7 @@ model-index:
       type: val
     metrics:
     - type: cosine_accuracy
-      value: 0.9608802199363708
       name: Cosine Accuracy
   - task:
       type: triplet
@@ -167,7 +167,7 @@ model-index:
       type: test
     metrics:
     - type: cosine_accuracy
-      value: 0.9560975432395935
       name: Cosine Accuracy
 ---
@@ -238,7 +238,7 @@ print(query_embeddings.shape, document_embeddings.shape)
 # Get the similarity scores for the embeddings
 similarities = model.similarity(query_embeddings, document_embeddings)
 print(similarities)
-# tensor([[ 0.5937, -0.0470,  0.0099]])
 ```
 <!--
@@ -274,9 +274,9 @@ You can finetune this model on your own dataset.
 * Datasets: `val` and `test`
 * Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
-| Metric              | val        | test       |
-|:--------------------|:-----------|:-----------|
-| **cosine_accuracy** | **0.9609** | **0.9561** |
 <!--
 ## Bias, Risks and Limitations
@@ -466,14 +466,14 @@ You can finetune this model on your own dataset.
 </details>
 ### Training Logs
-| Epoch   | Step    | Training Loss | Validation Loss | val_cosine_accuracy | test_cosine_accuracy |
-|:-------:|:-------:|:-------------:|:---------------:|:-------------------:|:--------------------:|
-| -1      | -1      | -             | -               | 0.9218              | 0.9000               |
-| 1.0     | 63      | 0.3562        | 0.2100          | 0.9584              | -                    |
-| 2.0     | 126     | 0.1233        | 0.2214          | 0.9462              | -                    |
-| **3.0** | **189** | **0.0562**    | **0.2024**      | **0.9609**          | **-**                |
-| 4.0     | 252     | 0.0221        | 0.1882          | 0.9560              | -                    |
-| -1      | -1      | -             | -               | 0.9609              | 0.9561               |
 * The bold row denotes the saved checkpoint.

       type: val
     metrics:
     - type: cosine_accuracy
+      value: 0.955990195274353
       name: Cosine Accuracy
   - task:
       type: triplet
       type: test
     metrics:
     - type: cosine_accuracy
+      value: 0.9463414549827576
       name: Cosine Accuracy
 ---
 # Get the similarity scores for the embeddings
 similarities = model.similarity(query_embeddings, document_embeddings)
 print(similarities)
+# tensor([[0.5019, 0.0209, 0.1242]])
 ```
 <!--
 * Datasets: `val` and `test`
 * Evaluated with [<code>TripletEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.TripletEvaluator)
+| Metric              | val       | test       |
+|:--------------------|:----------|:-----------|
+| **cosine_accuracy** | **0.956** | **0.9463** |
 <!--
 ## Bias, Risks and Limitations
 </details>
 ### Training Logs
+| Epoch   | Step   | Training Loss | Validation Loss | val_cosine_accuracy | test_cosine_accuracy |
+|:-------:|:------:|:-------------:|:---------------:|:-------------------:|:--------------------:|
+| -1      | -1     | -             | -               | 0.9218              | 0.9000               |
+| **1.0** | **63** | **0.3512**    | **0.2035**      | **0.956**           | **-**                |
+| 2.0     | 126    | 0.1278        | 0.1983          | 0.9535              | -                    |
+| 3.0     | 189    | 0.0503        | 0.1823          | 0.9462              | -                    |
+| 4.0     | 252    | 0.0221        | 0.1846          | 0.9487              | -                    |
+| -1      | -1     | -             | -               | 0.9560              | 0.9463               |
 * The bold row denotes the saved checkpoint.

model.safetensors CHANGED Viewed

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f240706a64a63615cc1b973d38519a22a0c9dadd1f6b4132f468f49a946f120a
 size 1211486072

 version https://git-lfs.github.com/spec/v1
+oid sha256:946c64263dd5050a8378e993564759975e4f0a6d41c99645609058e8ca5f9d75
 size 1211486072