Not: Bu model orijinal olarak Turkish-Word-Embeddings tarafından geliştirilmiş olup, VeriPazarı tarafından Türk yapay zeka topluluğuna katkı sağlamak amacıyla dokümantasyonu Türkçeye çevrilerek arşivlenmiştir.

🔗 Orijinal Kaynak: Turkish-Word-Embeddings/Word-Embeddings-Repository-for-Turkish 🔗 Derleyen Platform: VeriPazarı

Türkçe Kelime Vektörleri (Word Embeddings) Deposu

arXiv

Makalemize buradan ulaşabilirsiniz: https://arxiv.org/abs/2405.07778

Bu proje nedir?

Bu projede, Türkçe dili için kapsamlı bir kelime vektörü (word embedding) [1] deposu oluşturmayı amaçlıyoruz. Güncel kelime vektörü yöntemlerinin her biri kullanılarak, bir derlem (corpus) üzerinden dildeki tüm kelimelerin vektörleri oluşturulacaktır. İlk aşamada, yaygın olarak kullanılan üç vektörleme yöntemi (Word2Vec [2]-[3], Glove [4], Fasttext [5]) kullanılacak ve her biri için bir vektör sözlüğü oluşturulacaktır. Ardından, BERT [6] ve Elmo [7] gibi bağlama dayalı vektörleme yöntemleriyle devam edilecektir. Her yöntem, farklı derlemler ve farklı vektör boyutları gibi değişken parametrelerle uygulanacaktır. Yöntemler, analoji ve benzerlik görevleri üzerinde değerlendirilecektir.

Hızlı Kurulum

  • Öncelikle, depoyu yerel makinenize klonlamanız gerekmektedir. Bunu terminalinizde aşağıdaki komutu yazarak yapabilirsiniz:
git clone <url> <path>
  • (İsteğe bağlı olarak) bir sanal ortam oluşturun ve ardından terminalinizde aşağıdaki komutu yazarak gereksinimleri yükleyin:
python -m venv env  # env adında bir sanal ortam oluşturur
pip install -r requirements.txt
  • Talimatları izleyerek .py betiklerini veya .ipynb not defterlerini çalıştırabilirsiniz. Ayrıntılar için lütfen wiki sayfamıza başvurun.

Sürümler

Açık Kaynak Türkçe Derlemler

İçsel (Intrinsic) Değerlendirme Veri Setleri

Veri Seti Kategori Örnek Sayısı
Güngör ve ark. Veri Seti [12] Sözdizimsel Analoji 29,364
Kurt Veri Seti [13] Anlamsal Analoji 3,296
WordSimTr [14] Sözdizimsel Benzerlik 140
AnlamVer [15] Anlamsal Benzerlik 500

Dışsal (Extrinsic) Değerlendirme Veri Setleri

Görev Veri Seti Eğitim (cümle sayısı) Test (cümle sayısı)
Duygu analizi Turkish Movie Dataset [16] 16,100 4,144
Duygu analizi Turkish Sentiment Analysis Dataset [17] 286,854 32,873
Duygu analizi Turkish Twitter Dataset [18] 1,055 476
Varlık ismi tanıma Turkish National Newspapers with NER labels [19] 28,468 2,915
PoS etiketleme UD BOUN Treebank [20] 8,782 979

İçsel değerlendirme kapsamında kullanılan veri setleri, tekrarlanabilirliği kolaylaştırmak ve araştırmacıların sonraki çalışmalara entegre etmelerini sağlamak amacıyla derlenmiş ve burada erişime açılmıştır. Güngör ve ark. tarafından sunulan veri seti ile ilgili olarak, veriyi belirlenen alt kategorilere ayırdık ve bu bölümleri bu depoda düzenleyip sakladık. WordSimTr içindeki benzerlik puanları, diğer benzerlik çiftleriyle uyumluluk sağlaması amacıyla 0 ile 10 arasında sayısal bir ölçeğe normalize edilmiştir.

Gereksinimler:

  • gensim==4.3.1
  • ipykernel==6.22.0 (Jupyter not defterleri için - alternatif olarak .py betiklerini kullanabilirsiniz)
  • py7zr==0.20.5 (ön işleme için)
  • pandas==2.0.0 (yalnızca sonuçların görselleştirilmesi için)
  • matplotlib==3.7.1 (yalnızca sonuçların görselleştirilmesi için)
  • tensorflow==2.10 (yalnızca Word2Vec TensorFlow uygulaması için)
  • elmoformanylangs==0.0.4 (yalnızca Elmo için)
    • elmoformanylangs ile ilgili bir sorun yaşarsanız lütfen overrides==3.1.0 sürümünü yükleyin. İlgili sorun kaydına bakabilirsiniz.

Tekrarlanabilirlik

  • İçsel değerlendirme sonuçlarını tekrarlamak için, ilgili kelime vektörü modelini sürümler bölümünden indirmeli ve ardından burada verilen talimatları izleyerek evaluation klasöründeki gerekli betikleri çalıştırmalısınız.
  • Dışsal değerlendirme sonuçlarını tekrarlamak için, ilgili kelime vektörü modelini sürümler bölümünden indirmeli, ardından 7, 24 ve 30 rastgele tohum (random seed) değerleriyle NLP klasöründeki gerekli NLP görevini komut satırı üzerinden argüman sağlayarak çalıştırmalısınız (üçüncü Duygu Analizi görevi için lütfen gizli katman boyutunu 196 olarak ayarlayın: -hs 196). Makalemizde sunulan sonuçlar, bu çalıştırmaların Wilson Güven Aralıkları ile hesaplanmış ortalamalarıdır.

Temel bulgularımızdan biri, bağlamsal kelime vektörü algoritması Bert'ten elde edilen kelime vektörlerinin, hem içsel hem de dışsal değerlendirme görevlerinin çoğunda geleneksel statik kelime vektörü modellerinden daha iyi performans gösterdiğini ortaya koymaktadır. X2Static Türkçe Bert kelime vektörlerini aşağıdaki bağlantıdan indirebilirsiniz: https://huggingface.co/CahidArda/bert-turkish-x2static/tree/main

Atıf

Çalışmalarınızda sonuçlarımızı/eğitilmiş modellerimizi/kıyaslama betiklerimizi kullanırsanız, ilgili makaleye atıfta bulunmanızı rica ederiz.

@article{SARITAS2024124123,
title = {A comprehensive analysis of static word embeddings for Turkish},
journal = {Expert Systems with Applications},
volume = {252},
pages = {124123},
year = {2024},
issn = {0957-4174},
doi = {https://doi.org/10.1016/j.eswa.2024.124123},
url = {https://www.sciencedirect.com/science/article/pii/S0957417424009898},
author = {Karahan Sarıtaş and Cahid Arda Öz and Tunga Güngör},
keywords = {Static word embeddings, Contextual word embeddings, Embedding models, Turkish},
abstract = {Word embeddings are fixed-length, dense and distributed word representations that are used in natural language processing (NLP) applications. There are basically two types of word embedding models which are non-contextual (static) models and contextual models. The former method generates a single embedding for a word regardless of its context, while the latter method produces distinct embeddings for a word based on the specific contexts in which it appears. There are plenty of works that compare contextual and non-contextual embedding models within their respective groups in different languages. However, the number of studies that compare the models in these two groups with each other is very few and there is no such study in Turkish. This process necessitates converting contextual embeddings into static embeddings. In this paper, we compare and evaluate the performance of several contextual and non-contextual models in both intrinsic and extrinsic evaluation settings for Turkish. We make a fine-grained comparison by analyzing the syntactic and semantic capabilities of the models separately. The results of the analyses provide insights about the suitability of different embedding models in different types of NLP tasks. We also build a Turkish word embedding repository comprising the embedding models used in this work, which may serve as a valuable resource for researchers and practitioners in the field of Turkish NLP. We make the word embeddings, scripts, and evaluation datasets publicly available.}
}

Kaynakça

  1. https://en.wikipedia.org/wiki/Word_embedding
  2. Mikolov, T., Sutskever, I., Chen, K., Corrado, G., Dean, J. (2013). Distributed representations of words and phrases and their compositionality. arXiv preprint arXiv:1310.4546.
  3. Mikolov, T., Chen, K., Corrado, G., Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781.
  4. Pennington, J., Socher, R., Manning, C. D. (2014). Glove: Global vectors for word representation. In Proc. of the Conference on Empirical Methods in Natural Language Processing (EMNLP), s.1532-1543.
  5. Bojanowski, P., Grave, E., Joulin, A., Mikolov, T. (2017). Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Cilt 5, s.135-146.
  6. Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
  7. Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., Zettlemoyer, L. (2018). Deep contextualized word representations. arXiv preprint arXiv:1802.05365.
  8. Onur Güngör, Eray Yıldız, "Linguistic Features in Turkish Word Representations - Türkçe Sözcük Temsillerinde Dilbilimsel Özellikler", 2017 25. Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SİU), Antalya, 2017.
  9. Grave, E., Bojanowski, P., Gupta, P., Joulin, A., & Mikolov, T. (2018). Learning word vectors for 157 languages. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018).
  10. Fares, M., Kutuzov, A., Oepen, S., & Velldal, E. (2017). Word vectors, reuse, and replicability: Towards a community repository of large-text resources. In Proceedings of the 21st Nordic Conference on Computational Linguistics (s. 271-276). Association for Computational Linguistics. http://www.aclweb.org/anthology/W17-0237
  11. Che, W., Liu, Y., Wang, Y., Zheng, B., & Liu, T. (2018). Towards better UD parsing: Deep contextualized word embeddings, ensemble, and treebank concatenation. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies (s. 55-64). Association for Computational Linguistics. Brüksel, Belçika. Erişim adresi: http://www.aclweb.org/anthology/K18-2005.
  12. Onur Güngör ve Eray Yıldız. 2017. Linguistic features in Turkish word representations. In 2017 25. Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SİU). 1–4. https://doi.org/10.1109/SIU.2017.7960223
  13. Bünyamin Kurt. 2018. Word Embedding Models - Datasets. https://github.com/bunyamink/word-embedding-models/tree/master/datasets/analogy
  14. Ahmet Üstün, Murathan Kurfalı ve Burcu Can. 2018. Characters or Morphemes: How to Represent Words?. In Proceedings of the Third Workshop on Representation Learning for NLP, s. 144–153, Melbourne, Avustralya. Association for Computational Linguistics.
  15. Gökhan Ercan ve Olcay Taner Yıldız. 2018. AnlamVer: Semantic Model Evaluation Dataset for Turkish - Word Similarity and Relatedness. In Proceedings of the 27th International Conference on Computational Linguistics. Association for Computational Linguistics, Santa Fe, New Mexico, ABD, 3819–3836. https://aclanthology.org/C18-1323/
  16. Cumali Türkmenoğlu ve A. Cüneyd Tantuğ. 2014. Sentiment Analysis in Turkish Media. In Workshop on Issues of Sentiment Discovery and Opinion Mining, International Conference on Machine Learning (ICML).
  17. Winvoker. 2022. Turkish Sentiment Analysis Dataset. https://huggingface.co/datasets/winvoker/turkish-sentiment-analysis-dataset
  18. Aydın, C. R., & Güngör, T. (2021). Sentiment analysis in Turkish: Supervised, semi-supervised, and unsupervised techniques. Natural Language Engineering, 27(4), 455–483. doi:10.1017/S1351324920000200
  19. Onur Güngör, Suzan Üsküdarlı ve Tunga Güngör. 2018. Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags. In Proceedings of the 27th International Conference on Computational Linguistics (COLING 2018).
  20. Utku Türk, Furkan Atmaca, Saziye Betül Özateş, Gözde Berk, Seyyit Talha Bedir, Abdullatif Köksal, Balkız Öztürk Başaran, Tunga Güngör ve Arzucan Özgür. 2020. Resources for Turkish Dependency Parsing: Introducing the BOUN Treebank and the BoAT Annotation Tool. CoRR abs/2002.10416 (2020). arXiv:2002.10416 https://arxiv.org/abs/2002.10416

Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Papers for veripazari/Word-Embeddings-Repository-for-Turkish