Hugging Face's logo

Transformers documentation

NeuCodec

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình này được công bố trên HF papers vào ngày 2025-09-11 và được đóng góp cho Hugging Face Transformers vào ngày 2026-09-02.

NeuCodec

SDPA

Tổng quan

Mô hình NeuCodec được đề xuất trong Finite Scalar Quantization Enables Redundant and Transmission-Robust Neural Audio Compression at Low Bit-rates.

NeuCodec là một codec âm thanh neural mở rộng từ XCodec2. Nó tận dụng các tính năng sau:

  • Lượng tử hóa Scalar Hữu hạn (FSQ) dẫn đến một bảng mã duy nhất, khiến nó trở nên lý tưởng cho việc mô hình hóa tiếp theo với các Mô hình Ngôn ngữ Âm thanh.
  • Được huấn luyện với dữ liệu CC sao cho không có hạn chế dữ liệu phi thương mại.
  • Với tốc độ 50 token/giây và 16 bit cho mỗi token, tốc độ bit tổng thể là 0.8kbps.
  • Codec nhận đầu vào 16kHz và xuất ra 24kHz bằng cách sử dụng upsampling decoder.
  • Phương án mã hóa FSQ cho phép chống lỗi ở cấp độ bit, phù hợp với các kênh truyền không đáng tin cậy và nhiều nhiễu.

Mã mô hình hóa ban đầu có thể được tìm thấy tại đây.

Ví dụ sử dụng

Dưới đây là một ví dụ nhanh về cách mã hóa và giải mã âm thanh bằng mô hình này:

from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel

model_id = "neuphonic/neucodec"
model = AutoModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio = dataset[0]["audio"]["array"]
inputs = feature_extractor(audio=audio, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(
    model.device, model.dtype
)
print("Input waveform shape:", inputs["input_values"].shape)
# Input waveform shape: torch.Size([1, 1, 93760])

# encoder and decoder
audio_codes = model.encode(**inputs).audio_codes
print("Audio codes shape:", audio_codes.shape)
# Audio codes shape: torch.Size([1, 1, 292])
audio_values = model.decode(audio_codes).audio_values
print("Audio values shape:", audio_values.shape)

# Equivalently, you can do encoding and decoding in one step
model_output = model(**inputs)
audio_codes = model_output.audio_codes
audio_values = model_output.audio_values

Xử lý theo lô

Cài đặt này cũng hỗ trợ đầu vào theo lô!

from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel

batch_size = 2
model_id = "neuphonic/neucodec"
model = AutoModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audios = [dataset[i]["audio"]["array"] for i in range(batch_size)]
inputs = feature_extractor(audio=audios, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(
    model.device, model.dtype
)
print("Input waveform shape:", inputs["input_values"].shape)
# Input waveform shape: torch.Size([2, 1, 93760])

# encoder and decoder
encoder_output = model.encode(**inputs)
audio_codes = encoder_output.audio_codes
print("Audio codes shape:", audio_codes.shape)
# Audio codes shape: torch.Size([2, 1, 292])
audio_values = model.decode(audio_codes).audio_values
print("Audio values shape:", audio_values.shape)

# Equivalently, you can do encoding and decoding in one step
model_output = model(**inputs)
audio_codes = model_output.audio_codes
audio_values = model_output.audio_values

Tăng tốc với torch.compile

Bạn có thể tăng tốc suy luận bằng torch.compile. Vài lần gọi đầu tiên sẽ chậm hơn do chi phí biên dịch, nhưng các lần gọi sau đó sẽ nhanh hơn.

import torch
from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, AutoModel

batch_size = 4
model_id = "neuphonic/neucodec"
model = AutoModel.from_pretrained(model_id, device_map="auto")
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audios = [dataset[i]["audio"]["array"] for i in range(batch_size)]
inputs = feature_extractor(
    audio=audios, sampling_rate=feature_extractor.sampling_rate, padding=True, return_tensors="pt"
).to(model.device, model.dtype)

compiled_model = torch.compile(model, fullgraph=True)

# Warmup (includes compilation on first call)
for _ in range(10):
    with torch.inference_mode():
        _ = compiled_model(**inputs)

with torch.inference_mode():
    output = compiled_model(**inputs)
print("Audio values shape:", output.audio_values.shape)

NeuCodecConfig

lớp transformers.NeuCodecConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 1024intermediate_size: int = 4096num_hidden_layers: int = 12num_attention_heads: int = 16num_key_value_heads: int = 16hidden_act: str = 'silu'max_position_embeddings: int = 4096initializer_range: float = 0.02rms_norm_eps: float = 1e-06pad_token_id: int | None = Nonetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: int | float | None = 0.0head_dim: int = 64encoder_hidden_size: int = 48downsampling_ratios: list[int] | tuple[int, ...] = (2, 2, 4, 4, 5)semantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneactivation_dropout: float = 0.1quantization_dim: int = 2048quantization_levels: list[int] | tuple[int, ...] = (4, 4, 4, 4, 4, 4, 4, 4)input_sampling_rate: int = 16000output_sampling_rate: int = 24000 )

Tham số

  • hidden_size (int, tùy chọn, mặc định là 1024) — Kích thước của các biểu diễn ẩn.
  • intermediate_size (int, tùy chọn, mặc định là 4096) — Kích thước của các biểu diễn MLP.
  • num_hidden_layers (int, tùy chọn, mặc định là 12) — Số lượng lớp ẩn trong bộ giải mã Transformer.
  • num_attention_heads (int, tùy chọn, mặc định là 16) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer.
  • num_key_value_heads (int, tùy chọn, mặc định là 16) — Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu num_key_value_heads=num_attention_heads, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu num_key_value_heads=1 mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại sẽ sử dụng GQA. Khi chuyển đổi checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem bài báo này. Nếu không được chỉ định, giá trị mặc định sẽ là num_attention_heads.
  • hidden_act (str, tùy chọn, mặc định là silu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • max_position_embeddings (int, tùy chọn, mặc định là 4096) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng.
  • initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
  • rms_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa rms.
  • pad_token_id (int, tùy chọn) — Token id được sử dụng để đệm trong từ vựng.
  • tie_word_embeddings (bool, tùy chọn, mặc định là False) — Có nên gắn kết các trọng số nhúng theo ánh xạ tied_weights_keys của mô hình hay không.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho rope_theta và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với max_position_embeddings dài hơn.
  • attention_bias (bool, tùy chọn, mặc định là False) — Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.
  • attention_dropout (Union[int, float], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
  • head_dim (int, tùy chọn, mặc định là 64) — Kích thước chiều của đầu chú ý. Nếu là None, giá trị mặc định sẽ là hidden_size // num_attention_heads
  • encoder_hidden_size (int, tùy chọn, mặc định là 48) — Kích thước của các biểu diễn ẩn.
  • downsampling_ratios (list[int], tùy chọn, mặc định là [2, 2, 4, 4, 5]) — Tỷ lệ hạ mẫu trong bộ mã hóa.
  • semantic_model_config (Union[Dict, Wav2Vec2BertConfig], tùy chọn) — Một instance của đối tượng cấu hình cho mô hình semantic (Wav2Vec2BertConfig).
  • activation_dropout (float, tùy chọn, mặc định là 0.1) — Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ.
  • quantization_dim (int, tùy chọn, mặc định là 2048) — Kích thước cho bảng mã hóa lượng tử hóa vector.
  • quantization_levels (list[int], tùy chọn, mặc định là [4, 4, 4, 4, 4, 4, 4, 4]) — Các mức cho codebook lượng tử hóa vector.
  • input_sampling_rate (int, tùy chọn, mặc định là 16000) — Tần số lấy mẫu, tính bằng hertz (Hz), của dạng sóng âm thanh đầu vào của bộ mã hóa.
  • output_sampling_rate (int, tùy chọn, mặc định là 24000) — Tần số lấy mẫu, tính bằng hertz (Hz), của dạng sóng âm thanh đầu ra của bộ giải mã.

Đây là lớp cấu hình để lưu trữ cấu hình của một NeuCodecModel. Nó được sử dụng để khởi tạo một mô hình Neucodec theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của neuphonic/neucodec

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import NeuCodecConfig, NeuCodecModel

>>> # Initializing configuration
>>> configuration = NeuCodecConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = NeuCodecModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

NeuCodecFeatureExtractor

lớp transformers.NeuCodecFeatureExtractor

< >

( feature_size = 80sampling_rate = 16000padding_value = 1.0hop_length = 320**kwargs )

Tham số

  • feature_size (int, tùy chọn, mặc định là 80) — Kích thước chiều của các đặc trưng đã trích xuất.
  • sampling_rate (int, tùy chọn, mặc định là 16000) — Tần số lấy mẫu (tính bằng hertz (Hz)) mà các tệp âm thanh cần được số hóa.
  • padding_value (float, tùy chọn, mặc định là 1.0) — Giá trị được sử dụng để điền vào các vector đệm cho phổ mel.
  • hop_length (int, tùy chọn, mặc định là 320) — Số lượng mẫu âm thanh được mã hóa cho mỗi khung. Tương đương với tích của các tỷ lệ hạ mẫu. Cần thiết để đệm đầu vào cho bộ mã hóa âm học.

Tạo một bộ trích xuất đặc trưng NeuCodec, tính toán các đặc trưng mel-filter bank cho bộ mã hóa ngữ nghĩa và âm thanh đã đệm cho bộ mã hóa âm học.

Feature extractor này kế thừa từ SequenceFeatureExtractor, bao gồm hầu hết các phương thức chính. Người dùng nên tham khảo lớp cha này để biết thêm thông tin về các phương thức đó.

__call__

< >

( audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor']]padding: bool | str | transformers.utils.generic.PaddingStrategy = Truemax_length: int | None = Nonetruncation: bool = Falsereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = Nonedevice: str = 'cpu'**kwargs )

Tham số

  • audio (np.ndarray, torch.Tensor, list[np.ndarray], list[torch.Tensor]) — Mảng Numpy hoặc tensor torch có shape (num_channels, sequence_length). Có thể cung cấp một danh sách các mảng hoặc tensor như vậy cho một batch đầu vào.
  • padding (bool, str hoặc PaddingStrategy, tùy chọn, mặc định là True) — Chọn một chiến lược để đệm các chuỗi trả về (theo phía đệm và chỉ số đệm của mô hình) trong số các lựa chọn sau:
    • True hoặc 'longest': Lấp đầy đến trình tự dài nhất trong lô (hoặc không lấp đầy nếu chỉ có một trình tự được cung cấp).
    • 'max_length': Đệm (pad) đến độ dài tối đa được chỉ định bằng tham số max_length hoặc đến độ dài đầu vào tối đa mà mô hình chấp nhận được nếu tham số đó không được cung cấp.
    • False hoặc 'do_not_pad' (mặc định): Không đệm (tức là có thể xuất ra một lô với các chuỗi có độ dài khác nhau).
  • max_length (int, tùy chọn) — Độ dài tối đa của danh sách trả về và tùy chọn độ dài padding (xem bên trên).
  • truncation (bool) — Bật tính năng cắt để giảm các chuỗi đầu vào dài hơn max_length xuống còn max_length.
  • return_tensors (str hoặc TensorType, tùy chọn) — Nếu được đặt, sẽ trả về tensor thay vì danh sách các số nguyên Python. Các giá trị chấp nhận được là:
    • 'tf': Trả về các đối tượng tf.constant của TensorFlow.
    • 'pt': Trả về các đối tượng torch.Tensor của PyTorch.
    • 'np': Trả về các đối tượng Numpy np.ndarray.
  • sampling_rate (int, tùy chọn) — Tần số lấy mẫu mà đầu vào audio được lấy mẫu. Rất khuyến nghị truyền sampling_rate trong lời gọi forward để ngăn các lỗi âm thầm.
  • device (str, tùy chọn, mặc định là "cpu") — Thiết bị cho các tensor PyTorch trong quá trình trích xuất đặc trưng mel-filter bank.
  • kwargs (tùy chọn) — Từ điển các đối số từ khóa còn lại sẽ được truyền cho tokenizer hoặc feature extractor.

NeuCodecModel

lớp transformers.NeuCodecModel

< >

( config: NeuCodecConfig )

Tham số

  • config (NeuCodecConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Mô hình mã hóa âm thanh neural NeuCodec.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

decode

< >

( audio_codes: typing.Optional[torch.Tensor] = Nonelatents: typing.Optional[torch.Tensor] = Noneaudio_codes_mask: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → NeuCodecDecoderOutput or tuple(torch.Tensor)

Tham số

  • audio_codes (torch.LongTensor có hình dạng (batch_size, 1, codes_length)) — Chỉ số mã rời rạc được tính toán bằng model.encode.
  • latents (torch.Tensor có hình dạng (batch_size, dimension, time_steps), tùy chọn) — Biểu diễn liên tục đã lượng tử hóa của đầu vào.
  • audio_codes_mask (torch.Tensor có shape (batch_size, codes_length), tùy chọn) — Mặt nạ đánh dấu các vị trí hợp lệ (không phải padding), như được trả về bởi model.encode. Cần thiết để giải mã theo lô chính xác cho âm thanh có độ dài thay đổi.

Trả về

NeuCodecDecoderOutput hoặc tuple(torch.Tensor)

Một NeuCodecDecoderOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.

  • audio_values (torch.Tensor có hình dạng (batch_size, 1, segment_length), tùy chọn) — Các giá trị dạng sóng âm thanh đã giải mã trong miền thời gian, thu được bằng cách chuyển đổi các mã rời rạc trở lại thành tín hiệu âm thanh liên tục. Đây là âm thanh được tái tạo và có thể phát lại.

encode

< >

( input_values: Tensorinput_features: Tensorpadding_mask: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneoutput_latents: bool = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → NeuCodecEncoderOutput or tuple(torch.Tensor)

Tham số

  • input_values (torch.Tensor có hình dạng (batch_size, 1, sequence_length)) — Đường sóng âm thanh đầu vào.
  • input_features (torch.Tensor có hình dạng (batch_size, mel_bins, time_steps)) — Biểu đồ mel của âm thanh đầu vào để mã hóa ngữ nghĩa.
  • padding_mask (torch.Tensor có hình dạng (batch_size, 1, sequence_length)) — Mặt nạ đệm (padding mask) được sử dụng để đệm input_values.
  • input_features_mask (torch.Tensor có hình dạng (batch_size, time_steps), tùy chọn) — Mặt nạ chú ý cho đầu vào phổ âm (spectrogram) của bộ mã hóa ngữ nghĩa. 1 cho các khung hợp lệ, 0 cho phần đệm (padding).
  • output_latents (bool, tùy chọn, mặc định là False) — Có nên trả về biểu diễn latent liên tục từ bộ lượng tử hóa hay không.

Trả về

NeuCodecEncoderOutput hoặc tuple(torch.Tensor)

Một NeuCodecEncoderOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.

  • audio_codes (torch.LongTensor có hình dạng (batch_size, 1, codes_length), tùy chọn) — Các embedding mã rời rạc được tính toán bằng model.encode. Chúng đại diện cho dạng nén, lượng tử hóa của tín hiệu âm thanh đầu vào, có thể được sử dụng cho lưu trữ, truyền tải hoặc tạo sinh.
  • latents (torch.Tensor có hình dạng (batch_size, dimension, time_steps)) — Biểu diễn liên tục đã lượng tử hóa của embedding đầu vào.
  • audio_codes_mask (torch.int32 có shape (batch_size, 1, codes_length), tùy chọn) — padding_mask đã downsample để chỉ định các audio code hợp lệ trong audio_codes.

forward

< >

( input_values: Tensorinput_features: Tensorpadding_mask: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneoutput_latents: bool = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → NeuCodecOutput or tuple(torch.Tensor)

Tham số

  • input_values (torch.Tensor có hình dạng (batch_size, 1, sequence_length)) — Biên độ sóng âm đầu vào, được lấy mẫu ở tần số config.input_sampling_rate.
  • input_features (torch.Tensor có hình dạng (batch_size, mel_bins, time_steps)) — Biểu đồ mel của âm thanh đầu vào để mã hóa ngữ nghĩa.
  • padding_mask (torch.Tensor có hình dạng (batch_size, 1, sequence_length)) — Mặt nạ đệm (padding mask) được sử dụng để đệm input_values.
  • input_features_mask (torch.Tensor có hình dạng (batch_size, time_steps), tùy chọn) — Mặt nạ chú ý cho đầu vào phổ âm (spectrogram) của bộ mã hóa ngữ nghĩa. 1 cho các khung hợp lệ, 0 cho phần đệm (padding).
  • output_latents (bool, tùy chọn, mặc định là False) — Có nên trả về biểu diễn latent liên tục từ bộ lượng tử hóa hay không.

Trả về

NeuCodecOutput hoặc tuple(torch.Tensor)

Một NeuCodecOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (None) và đầu vào.

Phương thức forward của NeuCodecModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • audio_values (torch.Tensor có hình dạng (batch_size, 1, sequence_length), tùy chọn) — Các giá trị dạng sóng âm thanh đã giải mã trong miền thời gian, thu được bằng cách sử dụng phần giải mã của NeuCodec. Những giá trị này đại diện cho tín hiệu âm thanh đã được tái tạo.
  • audio_codes (torch.LongTensor có hình dạng (batch_size, 1, codes_length), tùy chọn) — Các embedding mã rời rạc được tính toán bằng model.encode. Đây là các biểu diễn đã lượng tử hóa của âm thanh đầu vào, được sử dụng cho các bước xử lý hoặc tạo tiếp theo.
  • latents (torch.Tensor có hình dạng (batch_size, dimension, time_steps)) — Biểu diễn liên tục đã lượng tử hóa của embedding đầu vào.
  • audio_codes_mask (torch.int32 có shape (batch_size, 1, codes_length), tùy chọn) — padding_mask đã downsample để chỉ định các audio code hợp lệ trong audio_codes.

Ví dụ:

>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, NeuCodecModel

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> audio = dataset["train"]["audio"][0]["array"]

>>> model_id = "neuphonic/neucodec"
>>> model = NeuCodecModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)

>>> inputs = feature_extractor(audio=audio, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt")

>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values  # sampled at 24kHz
Update on GitHub

←Nemotron ASR Streaming Parakeet→