Transformers documentation

Qwen2.5-VL

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2025-02-19 tarihinde HF papers'ta yayımlandı ve 2025-01-23 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Qwen2.5-VL

Qwen2.5-VL, 3B, 7B ve 72B parametre seçenekleriyle sunulan ve 4,1T token üzerinde ön eğitilmiş çok modlu bir görme-dil modelidir. Model, eğitim ve çıkarımı hızlandırmak için ViT kodlayıcıda pencere dikkatini, farklı örnek alma hızlarında video anlama yeteneğini geliştirmek için uzamsal ve zamansal boyutlarda dinamik FPS örneklemeyi ve zamansal dinamikleri daha iyi yakalamak ve öğrenmek için geliştirilmiş MRoPE (çok çözünürlüklü döner konumsal kodlama) mekanizmasını sunar.

Tüm orijinal Qwen2.5-VL checkpoint'lerini Qwen2.5-VL koleksiyonunda bulabilirsiniz.

Qwen2.5-VL'nin farklı görme ve dil görevlerine nasıl uygulanacağına dair daha fazla örnek için sağ kenar çubuğundaki Qwen2.5-VL modellerine tıklayın.

from_pretrained() içinde use_kernels=True değerini ayarlayarak desteklenen katmanları Hub'daki optimize edilmiş çekirdeklerle değiştirin. Daha fazla bilgi için Çekirdekleri yükleme bölümüne bakın.

Aşağıdaki örnek, Pipeline veya AutoModel sınıfı kullanılarak bir görüntüye dayalı metin üretmenin nasıl yapılacağını göstermektedir.

Pipeline

AutoModel

Quantization, ağırlıkları daha düşük bir hassasiyetle temsil ederek büyük modellerin bellek yükünü azaltır. Daha fazla kullanılabilir quantization backend'i için Quantization genel bakışına başvurun.

Aşağıdaki örnek, ağırlıkları yalnızca int4 olarak nicelleştirmek için torchao kullanır.

from transformers import Qwen2_5_VLForConditionalGeneration, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    quantization_config=quantization_config
)

Notlar

Video girdileri için Qwen2.5-VL kullanmak için aşağıda gösterildiği gibi "type": "video" değerini ayarlayın.

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "text", "text": "What happened in the video?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    fps=1,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Inference: Generation of the output
output_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(inputs.input_ids, output_ids)]
output_text = processor.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)
print(output_text)

Qwen2.5-VL modelini girdilerin karışık bir partisi (görseller, videolar, metinler) için kullanın. Birden fazla görsel veya video işlerken aşağıda gösterildiği gibi daha iyi referans için etiketler ekleyin.

import torch
from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    device_map="auto",
    attn_implementation="sdpa"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"}, 
            {"type": "text", "text": "Hello, how are you?"}
        ]
    },
    {
        "role": "assistant",
        "content": "I'm doing well, thank you for asking. How can I assist you today?"
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Can you describe these images and video?"}, 
            {"type": "image"}, 
            {"type": "image"}, 
            {"type": "video"}, 
            {"type": "text", "text": "These are from my vacation."}
        ]
    },
    {
        "role": "assistant",
        "content": "I'd be happy to describe the images and video for you. Could you please provide more context about your vacation?"
    },
    {
        "role": "user",
        "content": "It was a trip to the mountains. Can you see the details in the images and video?"
    }
]

# default:
prompt_without_id = processor.apply_chat_template(conversation, add_generation_prompt=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n<|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?<|vision_start|><|image_pad|><|vision_end|><|vision_start|><|image_pad|><|vision_end|><|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'


# add ids
prompt_with_id = processor.apply_chat_template(conversation, add_generation_prompt=True, add_vision_id=True)
# Excepted output: '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nPicture 1: <|vision_start|><|image_pad|><|vision_end|>Hello, how are you?<|im_end|>\n<|im_start|>assistant\nI'm doing well, thank you for asking. How can I assist you today?<|im_end|>\n<|im_start|>user\nCan you describe these images and video?Picture 2: <|vision_start|><|image_pad|><|vision_end|>Picture 3: <|vision_start|><|image_pad|><|vision_end|>Video 1: <|vision_start|><|video_pad|><|vision_end|>These are from my vacation.<|im_end|>\n<|im_start|>assistant\nI'd be happy to describe the images and video for you. Could you please provide more context about your vacation?<|im_end|>\n<|im_start|>user\nIt was a trip to the mountains. Can you see the details in the images and video?<|im_end|>\n<|im_start|>assistant\n'

Çözünürlüğü ayarlamak için AutoProcessor içinde min_pixels ve max_pixels parametrelerini kullanın.

min_pixels = 224*224
max_pixels = 2048*2048
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Daha yüksek çözünürlük daha fazla hesaplama gücü gerektirebilirken çözünürlüğü azaltmak aşağıdaki gibi bellek tasarrufu sağlayabilir:

min_pixels = 256*28*28
max_pixels = 1024*28*28 
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)

Transformers

Qwen2.5-VL

Notlar

Qwen2_5_VLConfig

sınıf transformers.Qwen2_5_VLConfig

Qwen2_5_VLVisionConfig

sınıf transformers.Qwen2_5_VLVisionConfig

Qwen2_5_VLTextConfig

sınıf transformers.Qwen2_5_VLTextConfig

Qwen2_5_VLProcessor

sınıf transformers.Qwen2_5_VLProcessor

__call__

Qwen2_5_VLTextModel

sınıf transformers.Qwen2_5_VLTextModel

forward

Qwen2_5_VisionTransformerPretrainedModel

sınıf transformers.Qwen2_5_VisionTransformerPretrainedModel

forward

Qwen2_5_VLModel

sınıf transformers.Qwen2_5_VLModel

forward

get_video_features

get_image_features

Qwen2_5_VLForConditionalGeneration

sınıf transformers.Qwen2_5_VLForConditionalGeneration

forward

get_video_features

get_image_features

call