voxtral-mini-3b-tr-lora

Model Details

Model name: voxtral-mini-3b-tr-lora
Developed by: Yağmur Tuncer
Shared by: Yağmur Tuncer
Model type: Automatic Speech Recognition (ASR) – LoRA Adapter
Language(s): Turkish (tr)
License: Apache 2.0 (inherits base model license)
Finetuned from: mistralai/Voxtral-Mini-3B-2507

Model Description

This model is a Turkish Automatic Speech Recognition (ASR) LoRA adapter fine-tuned on top of Voxtral-Mini-3B-2507 using QLoRA.

The base Voxtral model is kept fully frozen, and only a small set of Low-Rank Adaptation (LoRA) parameters are trained.
This results in a parameter-efficient, lightweight, and easily deployable ASR model specialized for Turkish speech.

Intended Use Cases

Turkish speech transcription
Domain adaptation experiments
Research on parameter-efficient fine-tuning for multimodal ASR models

Model Sources

Base Model: mistralai/Voxtral-Mini-3B-2507
Repository: https://huggingface.co/yagmurtuncer/voxtral-mini-3b-tr-lora
LoRA Method: Hu et al., 2021
Paper: https://arxiv.org/abs/2106.09685

Uses

Direct Use

Transcribing Turkish speech audio (16 kHz WAV recommended)
ASR research using LoRA / PEFT
Continuing fine-tuning from this LoRA adapter

Downstream Use

Domain-specific ASR adaptation
Speech analytics pipelines
Dataset labeling / transcription automation

Out-of-Scope Use

Languages other than Turkish
Speaker identification
Real-time streaming ASR without additional optimization

Bias, Risks, and Limitations

The model inherits biases from the training datasets (Common Voice, FLEURS).
Performance may degrade on:
- Heavy accents
- Code-switched speech
- Noisy or low-quality audio
The model has not been evaluated for demographic fairness.

Recommendations

Users are advised to:

Validate performance on their own domain-specific data
Avoid use in legal or safety-critical transcription without human review
Experiment with decoding strategies (beam search, temperature tuning)

How to Get Started

import torch
from transformers import AutoProcessor, VoxtralForConditionalGeneration
from peft import PeftModel

BASE_MODEL = "mistralai/Voxtral-Mini-3B-2507"
LORA_REPO = "yagmurtuncer/voxtral-mini-3b-tr-lora"

processor = AutoProcessor.from_pretrained(BASE_MODEL)

base_model = VoxtralForConditionalGeneration.from_pretrained(
    BASE_MODEL,
    device_map="auto",
    torch_dtype=torch.float16,
)

model = PeftModel.from_pretrained(base_model, LORA_REPO)
model.eval()

🇹🇷 Türkçe

Model bilgileri

Model adı: voxtral-mini-3b-tr-lora
Geliştiren ve paylaşan: Yağmur Tuncer
Model türü: Otomatik konuşma tanıma (ASR), LoRA adaptörü
Dil: Türkçe (tr)
Lisans: Apache 2.0 (temel modelin lisansını izler)
Temel model: mistralai/Voxtral-Mini-3B-2507

Model açıklaması

Bu model, Voxtral-Mini-3B-2507 üzerine QLoRA ile ince ayar yapılmış bir Türkçe konuşma tanıma (ASR) LoRA adaptörüdür. Temel Voxtral modeli tamamen dondurulmuş, yalnızca küçük bir düşük sıralı uyarlama (LoRA) parametre kümesi eğitilmiştir. Sonuç, Türkçe konuşmaya özelleşmiş, parametre açısından verimli, hafif ve kolay kurulan bir ASR modelidir.

Kullanım alanları: Türkçe ses dökümü · alan uyarlama deneyleri · çok kipli ASR modellerinde parametre verimli ince ayar araştırmaları.

Kaynaklar

Temel model: mistralai/Voxtral-Mini-3B-2507 · Depo: https://huggingface.co/yagmurtuncer/voxtral-mini-3b-tr-lora · LoRA yöntemi: Hu vd., 2021 (https://arxiv.org/abs/2106.09685)

Kullanım

Doğrudan kullanım: Türkçe ses dökümü (16 kHz WAV önerilir) · LoRA / PEFT ile ASR araştırması · bu adaptörden devam eden ince ayar.
Dolaylı kullanım: Alana özel ASR uyarlaması · konuşma analitiği hatları · veri etiketleme ve döküm otomasyonu.
Kapsam dışı: Türkçe dışındaki diller · konuşmacı tanıma · ek iyileştirme yapılmadan gerçek zamanlı akış hâlinde ASR.

Yanlılık, riskler ve sınırlar

Model, eğitim verisindeki (Common Voice, FLEURS) yanlılıkları taşır.
Başarısı şu durumlarda düşebilir: yoğun aksan · dil karışımı (code-switching) · gürültülü ya da düşük kaliteli ses.
Model demografik adalet açısından değerlendirilmedi.

Öneriler

Başarıyı kendi alanınızdaki verilerle doğrulayın.
Hukuki ya da güvenlik açısından kritik dökümlerde insan kontrolü olmadan kullanmayın.
Farklı çözümleme stratejilerini deneyin (beam search, sıcaklık ayarı).

Başlarken

Kod örneği yukarıdaki İngilizce bölümde (How to Get Started): temel modeli yükleyin, PeftModel.from_pretrained ile bu LoRA adaptörünü ekleyin ve modeli değerlendirme kipine alın (model.eval()).