Hugging Face's logo

Transformers documentation

Higgs Audio V2 Tokenizer

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model, 2026-02-19 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

Higgs Audio V2 Tokenizer

Genel Bakış

  • Düşük Kare Hızı: 25 fps'de, tokenizörümüz yüksek ses kalitesini korurken birçok baz çizginin kare hızını yarıya indirir.
  • 24 kHz'de Birleşik Eğitim: Ses, müzik ve ses olayı kliplerini tek bir modelde birleştirerek hem semantik hem de akustik ayrıntıları yakalıyoruz; bu da ses dil modellerinin eğitimini büyük ölçüde kolaylaştırıyor.
  • Hızlı Çıkarım: Difüzyon adımlarından kaçınarak, kodlayıcı/çözücü (encoder/decoder) partileri (batch) hızlı işler; bu da onu gerçek zamanlı veya büyük ölçekli görevler için pratik kılar.

Model Mimarisi:

Kullanım

from datasets import Audio, load_dataset

from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel


# load model and feature extractor
model_id = "eustlb/higgs-audio-v2-tokenizer"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = HiggsAudioV2TokenizerModel.from_pretrained(model_id, device_map="auto")

# load audio sample
dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)

# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values

# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_values

HiggsAudioV2TokenizerConfig

sınıf transformers.HiggsAudioV2TokenizerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetarget_bandwidths: list[int | float] | tuple[int | float, ...] = (0.5, 1, 1.5, 2, 4)sample_rate: int = 24000kernel_size: int = 3channel_ratios: list[int] | tuple[int, ...] = (1, 1)strides: list[int] | tuple[int, ...] = (1, 1)block_dilations: list[int] | tuple[int, ...] = (1, 1)unit_kernel_size: int = 3codebook_size: int = 1024codebook_dim: int = 64initializer_range: float = 0.02acoustic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_sample_rate: int = 16000downsample_factor: int = 320 )

Parametreler

  • target_bandwidths (List[float], isteğe bağlı, varsayılan [0.5, 1, 1.5, 2]) — Modelin ses kodlayabileceği farklı bant genişliklerinin (kbps cinsinden) aralığı.
  • sample_rate (int, isteğe bağlı, varsayılan 24000) — Ses dosyalarının dijitalleştirilmesi gereken örneklem hızı, hertz (Hz) cinsinden ifade edilir.
  • kernel_size (int, isteğe bağlı, varsayılan 3) — Başlangıç semantik konvolüsyonu için çekirdek boyutu.
  • channel_ratios (List[float], isteğe bağlı, varsayılan [1, 1]) — Her anlamsal blokta çıktı kanal sayısının genişleme çarpanları.
  • strides (List[int], isteğe bağlı, varsayılan [1, 1]) — Her anlamsal kodlayıcı bloğu için adımlar.
  • block_dilations (List[int], isteğe bağlı, varsayılan [1, 1]) — Anlamsal bloklardaki artımsal birimler için genişleme çarpanları.
  • unit_kernel_size (int, isteğe bağlı, varsayılan 3) — Anlamsal bloklardaki her ResidualUnit içindeki çekirdek boyutu.
  • codebook_size (int, isteğe bağlı, varsayılan 1024) — Modelin kullandığı paralel kod kitaplarının sayısı.
  • codebook_dim (int, isteğe bağlı, varsayılan 64) — Her codebook gömme vektörünün boyutu.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • acoustic_model_config (Union[Dict, AutoConfig], isteğe bağlı) — Akustik (DAC) modelinin yapılandırması için bir örnek.
  • semantic_model_config (Union[Dict, AutoConfig], isteğe bağlı) — Semantik (HuBERT) modelinin yapılandırma nesnesinin bir örneği.
  • semantic_sample_rate (int, isteğe bağlı, varsayılan 16000) — Semantik modelin ses girdisini beklediği örnekleme hızı, hertz (Hz) cinsinden.
  • downsample_factor (int, isteğe bağlı, varsayılan 320) — Anlamsal özellikler için indirgeme çarpanı.

Bu, bir HiggsAudioV2TokenizerModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Higgs Audio V2 Tokenizer modelinin örneklenmesi için kullanılır ve model mimarisini tanımlar. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, bosonai/higgs-audio-v2-tokenizer modelinin yapılandırmasına benzer bir yapılandırma elde edilmesini sağlar.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import HiggsAudioV2TokenizerModel, HiggsAudioV2TokenizerConfig

>>> # Initializing configuration
>>> configuration = HiggsAudioV2TokenizerConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = HiggsAudioV2TokenizerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

HiggsAudioV2TokenizerModel

sınıf transformers.HiggsAudioV2TokenizerModel

< >

( config: HiggsAudioV2TokenizerConfig )

Parametreler

  • config (HiggsAudioV2TokenizerConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

HiggsAudioV2Tokenizer sinirsel ses kodlayıcı modeli.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

decode

< >

( audio_codes: Tensorreturn_dict: bool | None = None )

Parametreler

  • audio_codes (torch.LongTensor, şekli (batch_size, num_quantizers, codes_length)) — model.encode kullanılarak hesaplanan ayrık kod dizinleri.
  • return_dict (bool, isteğe bağlı) — Bir ModelOutput döndürülecek mi

encode

< >

( input_values: Tensorbandwidth: float | None = Nonereturn_dict: bool | None = None )

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, channels, num_samples)) — Giriş ses dalgasının ondalık sayı değerleri.
  • bandwidth (float, isteğe bağlı) — (kbps) cinsinden hedef bant genişliği, yalnızca config.target_bandwidths içindeki değerleri destekler. Varsayılan olarak en yüksek kullanılabilir bant genişliği olan 4.0 kbps kullanılır.
  • return_dict (bool, isteğe bağlı) — Bir ModelOutput döndürülecek mi?

forward

< >

( input_values: Tensoraudio_codes: typing.Optional[torch.Tensor] = Nonebandwidth: float | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → HiggsAudioV2TokenizerOutput or tuple (audio_codes, audio_values)

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, channels, num_samples)) — Girdi ses dalgasının ham ondalık sayı değerleri.
  • audio_codes (torch.LongTensor, şekli (batch_size, num_quantizers, codes_length) — model.encode kullanılarak hesaplanan ayrık kod dizinleri.
  • bandwidth (float, isteğe bağlı) — kbps cinsinden hedef bant genişliği. config.target_bandwidths içindeki değerlerden biri olmalıdır. Varsayılan olarak en yüksek kullanılabilir bant genişliği kullanılır.
  • bandwidth (float, isteğe bağlı) — kbps cinsinden hedef bant genişliği. config.target_bandwidths içindeki değerlerden biri olmalıdır. Varsayılan olarak en yüksek kullanılabilir bant genişliği kullanılır.

Dönüş değeri

HiggsAudioV2TokenizerOutput veya (audio_codes, audio_values) tuple'ı

  • audio_codes, şekli (batch_size, num_quantizers, codes_length): kuantize edilmiş ayrık kodlar.
  • audio_values, şekli (batch_size, channels, num_samples): kodlara göre yeniden oluşturulan ses dalgası.

HiggsAudioV2TokenizerModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

Örnek:

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel

>>> model_id = "hf-audio/higgs_audio_v2_tokenizer-hubert-librispeech"
>>> model = HiggsAudioV2TokenizerModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']

>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values
Update on GitHub

←Higgs Audio V2 Hubert→