Advancing Sentiment Analysis in Serbian Literature: A Zero and Few-Shot Learning Approach Using the Mistral Model

Објеката

Тип

Рад у зборнику

Верзија рада

објављена

Језик

енглески

Креатор

Milica Ikonić Nešić, Saša Petalinkar, Mihailo Škorić, Ranka Stanković, Biljana Rujević

Извор

Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, Sofia, Bulgaria, 9-10 September 2024

Уредник

Nicoletta Calzolari, Min-Yen Kan, Veronique Hoste, Alessandro Lenci, Sakriani Sakti, Nianwen Xue

Издавач

LREC | COLING

Датум издавања

2024

Сажетак

Ova studija predstavlja analizu sentimenta srpskih starih romana iz perioda 1840-1920, koristeći veliki jezički model (LLM) Mistral za tehniku učenja sa zasnovani na takozvanim "zero" i "few-shot" pokušajima. Glavni pristup uvodi inovacije osmišljavanjem istraživačkih upita (promptova) uključuju tekst sa uputstvom za klasifikaciju bez primera i na osnovu nekoliko primera, omogućavajući jezičkom modelu da klasifikuje osećanja u pozitivne, negativne ili objektivne kategorije. Ova metodologija ima za cilj da pojednostavi analizu osećanja ograničavanjem odgovora, čime se povećava preciznost klasifikacije. Python, zajedno sa bibliotekama Hugging Face Transformers i LangChain su tehnološka okosnica kaja olakšava kreiranje i usavršavanje istraživačkih procesa za analizu sentimenta na nivou rečenice. Rezultati analize sentimenta u oba scenarija, nultom i nekoliko hitaca, pokazali su da je nulti pristup bolji, postižući preciznost od 68,2%.

This study presents the Sentiment Analysis of the Serbian old novels from the 1840-1920 period, employing the Mistral Large Language Model (LLM) to pioneer zero and few-shot learning techniques. The main approach innovates by devising research prompts that include guidance text for zero-shot classification and examples for fewshot learning, enabling the LLM to classify sentiments into positive, negative, or objective categories. This methodology aims to streamline sentiment analysis by limiting responses, thereby enhancing classification precision. Python, along with the Hugging Face Transformers and LangChain libraries, serves as our technological backbone, facilitating the creation and refinement of research prompts tailored for sentence-level sentiment analysis. The results of sentiment analysis in both scenarios, zero-shot and few-shot, have indicated that the zero-shot approach outperforms, achieving an accuracy of 68.2%.

почетак странице

58

крај странице

70

Subject

zero-shot, few-shot, sentiment, Serbian, Mistral model

učenje bez primera, učenje sa nekoliko primera, srpski, model Mistral

УДК број

standardizacija, digitalna leksikografija, OntoLex, upiti korpusa, Povezani podaci, Lingvistički Povezani Otvoreni Podaci

Шира категорија рада

М30

Ужа категорија рада

М33

Је дио

TESLA

Права

Отворени приступ

Лиценца

Creative Commons – Attribution 4.0 International

Формат

.pdf

Скупови објеката

Ранка Станковић

Биљана Рујевић

Михаило Шкорић

Radovi istraživača

Медија

CLIB2024_sentiment_TESLA.pdf

Milica Ikonić Nešić, Saša Petalinkar, Mihailo Škorić, Ranka Stanković, Biljana Rujević. "Advancing Sentiment Analysis in Serbian Literature: A Zero and Few-Shot Learning Approach Using the Mistral Model" in Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation, Sofia, Bulgaria, 9-10 September 2024, LREC | COLING (2024)

This item was submitted on 14. септембар 2024. by [anonymous user] using the form “Рад у зборнику радова” on the site “Радови”: https://dr.rgf.bg.ac.rs/s/repo