Not: Bu model orijinal olarak Turkish-Word-Embeddings tarafından geliştirilmiş olup, VeriPazarı tarafından Türk yapay zeka topluluğuna katkı sağlamak amacıyla dokümantasyonu Türkçeye çevrilerek arşivlenmiştir.
🔗 Orijinal Kaynak: Turkish-Word-Embeddings/Word-Embeddings-Repository-for-Turkish 🔗 Derleyen Platform: VeriPazarı
Türkçe Kelime Vektörleri (Word Embeddings) Deposu
Makalemize buradan ulaşabilirsiniz: https://arxiv.org/abs/2405.07778
Bu proje nedir?
Bu projede, Türkçe dili için kapsamlı bir kelime vektörü (word embedding) [1] deposu oluşturmayı amaçlıyoruz. Güncel kelime vektörü yöntemlerinin her biri kullanılarak, bir derlem (corpus) üzerinden dildeki tüm kelimelerin vektörleri oluşturulacaktır. İlk aşamada, yaygın olarak kullanılan üç vektörleme yöntemi (Word2Vec [2]-[3], Glove [4], Fasttext [5]) kullanılacak ve her biri için bir vektör sözlüğü oluşturulacaktır. Ardından, BERT [6] ve Elmo [7] gibi bağlama dayalı vektörleme yöntemleriyle devam edilecektir. Her yöntem, farklı derlemler ve farklı vektör boyutları gibi değişken parametrelerle uygulanacaktır. Yöntemler, analoji ve benzerlik görevleri üzerinde değerlendirilecektir.
Hızlı Kurulum
- Öncelikle, depoyu yerel makinenize klonlamanız gerekmektedir. Bunu terminalinizde aşağıdaki komutu yazarak yapabilirsiniz:
git clone <url> <path>
- (İsteğe bağlı olarak) bir sanal ortam oluşturun ve ardından terminalinizde aşağıdaki komutu yazarak gereksinimleri yükleyin:
python -m venv env # env adında bir sanal ortam oluşturur
pip install -r requirements.txt
- Talimatları izleyerek
.pybetiklerini veya.ipynbnot defterlerini çalıştırabilirsiniz. Ayrıntılar için lütfen wiki sayfamıza başvurun.
Sürümler
Açık Kaynak Türkçe Derlemler
İçsel (Intrinsic) Değerlendirme Veri Setleri
| Veri Seti | Kategori | Örnek Sayısı |
|---|---|---|
| Güngör ve ark. Veri Seti [12] | Sözdizimsel Analoji | 29,364 |
| Kurt Veri Seti [13] | Anlamsal Analoji | 3,296 |
| WordSimTr [14] | Sözdizimsel Benzerlik | 140 |
| AnlamVer [15] | Anlamsal Benzerlik | 500 |
Dışsal (Extrinsic) Değerlendirme Veri Setleri
| Görev | Veri Seti | Eğitim (cümle sayısı) | Test (cümle sayısı) |
|---|---|---|---|
| Duygu analizi | Turkish Movie Dataset [16] | 16,100 | 4,144 |
| Duygu analizi | Turkish Sentiment Analysis Dataset [17] | 286,854 | 32,873 |
| Duygu analizi | Turkish Twitter Dataset [18] | 1,055 | 476 |
| Varlık ismi tanıma | Turkish National Newspapers with NER labels [19] | 28,468 | 2,915 |
| PoS etiketleme | UD BOUN Treebank [20] | 8,782 | 979 |
İçsel değerlendirme kapsamında kullanılan veri setleri, tekrarlanabilirliği kolaylaştırmak ve araştırmacıların sonraki çalışmalara entegre etmelerini sağlamak amacıyla derlenmiş ve burada erişime açılmıştır. Güngör ve ark. tarafından sunulan veri seti ile ilgili olarak, veriyi belirlenen alt kategorilere ayırdık ve bu bölümleri bu depoda düzenleyip sakladık. WordSimTr içindeki benzerlik puanları, diğer benzerlik çiftleriyle uyumluluk sağlaması amacıyla 0 ile 10 arasında sayısal bir ölçeğe normalize edilmiştir.
Gereksinimler:
gensim==4.3.1ipykernel==6.22.0(Jupyter not defterleri için - alternatif olarak.pybetiklerini kullanabilirsiniz)py7zr==0.20.5(ön işleme için)pandas==2.0.0(yalnızca sonuçların görselleştirilmesi için)matplotlib==3.7.1(yalnızca sonuçların görselleştirilmesi için)tensorflow==2.10(yalnızca Word2Vec TensorFlow uygulaması için)elmoformanylangs==0.0.4(yalnızca Elmo için)elmoformanylangsile ilgili bir sorun yaşarsanız lütfenoverrides==3.1.0sürümünü yükleyin. İlgili sorun kaydına bakabilirsiniz.
Tekrarlanabilirlik
- İçsel değerlendirme sonuçlarını tekrarlamak için, ilgili kelime vektörü modelini sürümler bölümünden indirmeli ve ardından burada verilen talimatları izleyerek evaluation klasöründeki gerekli betikleri çalıştırmalısınız.
- Dışsal değerlendirme sonuçlarını tekrarlamak için, ilgili kelime vektörü modelini sürümler bölümünden indirmeli, ardından 7, 24 ve 30 rastgele tohum (random seed) değerleriyle NLP klasöründeki gerekli NLP görevini komut satırı üzerinden argüman sağlayarak çalıştırmalısınız (üçüncü Duygu Analizi görevi için lütfen gizli katman boyutunu 196 olarak ayarlayın:
-hs 196). Makalemizde sunulan sonuçlar, bu çalıştırmaların Wilson Güven Aralıkları ile hesaplanmış ortalamalarıdır.
Temel bulgularımızdan biri, bağlamsal kelime vektörü algoritması Bert'ten elde edilen kelime vektörlerinin, hem içsel hem de dışsal değerlendirme görevlerinin çoğunda geleneksel statik kelime vektörü modellerinden daha iyi performans gösterdiğini ortaya koymaktadır. X2Static Türkçe Bert kelime vektörlerini aşağıdaki bağlantıdan indirebilirsiniz: https://huggingface.co/CahidArda/bert-turkish-x2static/tree/main
Atıf
Çalışmalarınızda sonuçlarımızı/eğitilmiş modellerimizi/kıyaslama betiklerimizi kullanırsanız, ilgili makaleye atıfta bulunmanızı rica ederiz.
@article{SARITAS2024124123,
title = {A comprehensive analysis of static word embeddings for Turkish},
journal = {Expert Systems with Applications},
volume = {252},
pages = {124123},
year = {2024},
issn = {0957-4174},
doi = {https://doi.org/10.1016/j.eswa.2024.124123},
url = {https://www.sciencedirect.com/science/article/pii/S0957417424009898},
author = {Karahan Sarıtaş and Cahid Arda Öz and Tunga Güngör},
keywords = {Static word embeddings, Contextual word embeddings, Embedding models, Turkish},
abstract = {Word embeddings are fixed-length, dense and distributed word representations that are used in natural language processing (NLP) applications. There are basically two types of word embedding models which are non-contextual (static) models and contextual models. The former method generates a single embedding for a word regardless of its context, while the latter method produces distinct embeddings for a word based on the specific contexts in which it appears. There are plenty of works that compare contextual and non-contextual embedding models within their respective groups in different languages. However, the number of studies that compare the models in these two groups with each other is very few and there is no such study in Turkish. This process necessitates converting contextual embeddings into static embeddings. In this paper, we compare and evaluate the performance of several contextual and non-contextual models in both intrinsic and extrinsic evaluation settings for Turkish. We make a fine-grained comparison by analyzing the syntactic and semantic capabilities of the models separately. The results of the analyses provide insights about the suitability of different embedding models in different types of NLP tasks. We also build a Turkish word embedding repository comprising the embedding models used in this work, which may serve as a valuable resource for researchers and practitioners in the field of Turkish NLP. We make the word embeddings, scripts, and evaluation datasets publicly available.}
}
Kaynakça
- https://en.wikipedia.org/wiki/Word_embedding
- Mikolov, T., Sutskever, I., Chen, K., Corrado, G., Dean, J. (2013). Distributed representations of words and phrases and their compositionality. arXiv preprint arXiv:1310.4546.
- Mikolov, T., Chen, K., Corrado, G., Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv preprint arXiv:1301.3781.
- Pennington, J., Socher, R., Manning, C. D. (2014). Glove: Global vectors for word representation. In Proc. of the Conference on Empirical Methods in Natural Language Processing (EMNLP), s.1532-1543.
- Bojanowski, P., Grave, E., Joulin, A., Mikolov, T. (2017). Enriching word vectors with subword information. Transactions of the Association for Computational Linguistics, Cilt 5, s.135-146.
- Devlin, J., Chang, M. W., Lee, K., Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
- Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., Zettlemoyer, L. (2018). Deep contextualized word representations. arXiv preprint arXiv:1802.05365.
- Onur Güngör, Eray Yıldız, "Linguistic Features in Turkish Word Representations - Türkçe Sözcük Temsillerinde Dilbilimsel Özellikler", 2017 25. Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SİU), Antalya, 2017.
- Grave, E., Bojanowski, P., Gupta, P., Joulin, A., & Mikolov, T. (2018). Learning word vectors for 157 languages. In Proceedings of the International Conference on Language Resources and Evaluation (LREC 2018).
- Fares, M., Kutuzov, A., Oepen, S., & Velldal, E. (2017). Word vectors, reuse, and replicability: Towards a community repository of large-text resources. In Proceedings of the 21st Nordic Conference on Computational Linguistics (s. 271-276). Association for Computational Linguistics. http://www.aclweb.org/anthology/W17-0237
- Che, W., Liu, Y., Wang, Y., Zheng, B., & Liu, T. (2018). Towards better UD parsing: Deep contextualized word embeddings, ensemble, and treebank concatenation. In Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies (s. 55-64). Association for Computational Linguistics. Brüksel, Belçika. Erişim adresi: http://www.aclweb.org/anthology/K18-2005.
- Onur Güngör ve Eray Yıldız. 2017. Linguistic features in Turkish word representations. In 2017 25. Sinyal İşleme ve İletişim Uygulamaları Kurultayı (SİU). 1–4. https://doi.org/10.1109/SIU.2017.7960223
- Bünyamin Kurt. 2018. Word Embedding Models - Datasets. https://github.com/bunyamink/word-embedding-models/tree/master/datasets/analogy
- Ahmet Üstün, Murathan Kurfalı ve Burcu Can. 2018. Characters or Morphemes: How to Represent Words?. In Proceedings of the Third Workshop on Representation Learning for NLP, s. 144–153, Melbourne, Avustralya. Association for Computational Linguistics.
- Gökhan Ercan ve Olcay Taner Yıldız. 2018. AnlamVer: Semantic Model Evaluation Dataset for Turkish - Word Similarity and Relatedness. In Proceedings of the 27th International Conference on Computational Linguistics. Association for Computational Linguistics, Santa Fe, New Mexico, ABD, 3819–3836. https://aclanthology.org/C18-1323/
- Cumali Türkmenoğlu ve A. Cüneyd Tantuğ. 2014. Sentiment Analysis in Turkish Media. In Workshop on Issues of Sentiment Discovery and Opinion Mining, International Conference on Machine Learning (ICML).
- Winvoker. 2022. Turkish Sentiment Analysis Dataset. https://huggingface.co/datasets/winvoker/turkish-sentiment-analysis-dataset
- Aydın, C. R., & Güngör, T. (2021). Sentiment analysis in Turkish: Supervised, semi-supervised, and unsupervised techniques. Natural Language Engineering, 27(4), 455–483. doi:10.1017/S1351324920000200
- Onur Güngör, Suzan Üsküdarlı ve Tunga Güngör. 2018. Improving Named Entity Recognition by Jointly Learning to Disambiguate Morphological Tags. In Proceedings of the 27th International Conference on Computational Linguistics (COLING 2018).
- Utku Türk, Furkan Atmaca, Saziye Betül Özateş, Gözde Berk, Seyyit Talha Bedir, Abdullatif Köksal, Balkız Öztürk Başaran, Tunga Güngör ve Arzucan Özgür. 2020. Resources for Turkish Dependency Parsing: Introducing the BOUN Treebank and the BoAT Annotation Tool. CoRR abs/2002.10416 (2020). arXiv:2002.10416 https://arxiv.org/abs/2002.10416
Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.