Optimizing large language models: A comparative study of retrieval-augmented generation, fine-tuning, and hybrid approaches

GÜLSÜM BUDAKOĞLU

Optimizing large language models: A comparative study of retrieval-augmented generation, fine-tuning, and hybrid approaches

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: TED Üniversitesi, Lisansüstü Programlar Enstitüsü, Uygulamalı Veri Bilimi Abd, Türkiye

Tezin Onay Tarihi: 2024

Tezin Dili: İngilizce

Öğrenci: GÜLSÜM BUDAKOĞLU

Danışman: Hakan Emekci

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Günümüzde hızla gelişen dil modelleri ile birlikte, büyük dil modellerinin (LLMs) farklı uygulamalarda kullanılması çok kritik ve önemli bir hale gelmiştir. Bu çalışmada büyük dil modellerini geliştirmek için kullanılan, iki temel yöntem araştırıp, tartışılmıştır. Bu yöntemler Retrieval-Augmented Generation (RAG), Fine-Tuning ve bunları birleşiminden oluşan hibrit modeldir. Bu modellerin performansını ölçmek için veri seti olarak Stanford Soru Cevaplama Veri Seti (SQuAD) (Rajpurkar ve ark., 2016) kullanılmıştır. RAG yöntemi dışarıdan veri alarak beslenen bir yapıya sahiptir fakat diğer taraftan Fine-tuning yönteminin direk olarak modeli veri ile eğiterek, modelin parametrelerine ayar yapan bir yapısı vardır. Bu iki yöntemin birleşimiyle oluşan hibrit model ise sağlam veri odaklı bir yöntem sunmaktadır. Bu birleşim ile daha güçlü model oluşturabilir ve bu iki farklı yöntemin – RAG ve Fine-Tuning- negative boyutları azaltılabilir. RAG, hesaplama kaynağı gereksinimlerini azaltarak ölçeklenebilir bir çözüm sunarken, fine-tuning özellikle yüksek anlamsal hassasiyet gerektiren görevler için etkili bir yöntemdir. Hibrit model, anlamsal doğrulukta dengeli performans sağlayarak önemli bir potansiyel ortaya koyabilir ve bu da hem verimlilik hem de doğruluk gerektiren senaryolarda avantaj sağlayabilir. Bu çalışmadan çıkan bulgular kullanılan veri seti sınırlamalarına bağlı olarak her yöntemin özel uygulamalarını önermektedir. Bu çalışmada kullanılan RAG, fine- tuning ve hibrit modellerden, hangi durumlarda daha kullanışlı ve mantıklıdır bilgisini sunarken aynı zamanda bu alanda olabilecek gelecekteki çalışmalarada ışık tutmaktadır.