# Hiera

## Обзор

Hiera была предложена в статье [Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles](https://huggingface.co/papers/2306.00989) авторами Chaitanya Ryali, Yuan-Ting Hu, Daniel Bolya, Chen Wei, Haoqi Fan, Po-Yao Huang, Vaibhav Aggarwal, Arkabandhu Chowdhury, Omid Poursaeed, Judy Hoffman, Jitendra Malik, Yanghao Li, Christoph Feichtenhofer

В статье представлен «Hiera» — иерархический Vision Transformer, который упрощает архитектуру современных иерархических vision-трансформеров, удаляя ненужные компоненты без потери точности или эффективности. В отличие от традиционных трансформеров, в которые добавляют сложные компоненты, специфичные для компьютерного зрения, чтобы улучшить результаты контролируемой классификации, Hiera демонстрирует, что такие дополнения, часто называемые «bells-and-whistles», не являются необходимыми для достижения высокой точности. За счет использования мощной визуальной предзадачей (MAE) для предварительного обучения Hiera сохраняет простоту и обеспечивает превосходную точность и скорость как на этапе инференса, так и на этапе обучения в различных задачах распознавания изображений и видео. Подход предполагает, что пространственные смещения, необходимые для задач компьютерного зрения, могут быть эффективно выучены при правильном предварительном обучении, что исключает необходимость в дополнительной архитектурной сложности.

Аннотация из статьи следующая:

*Современные иерархические vision-трансформеры добавили несколько компонентов, специфичных для задач компьютерного зрения, в погоне за качеством контролируемой классификации. Хотя эти компоненты обеспечивают высокую точность и привлекательное количество FLOP, добавленная сложность на самом деле делает такие трансформеры медленнее, чем их базовые аналоги на основе ViT. В данной статье мы утверждаем, что этот дополнительный «балласт» не нужен. Предуобучая модель с помощью мощной визуальной предпосылочной задачи (MAE), мы можем убрать все лишние элементы из передового многоэтапного vision-трансформера, не теряя в точности. В результате мы создали Hiera — чрезвычайно простой иерархический vision-трансформер, который точнее предыдущих моделей и при этом значительно быстрее как на этапе инференса, так и во время обучения. Мы оцениваем Hiera на разнообразных задачах распознавания изображений и видео. Наш код и модели доступны по адресу https://github.com/facebookresearch/hiera.*

<img src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/hiera_overview.png"
alt="drawing" width="600"/>

 Архитектура Hiera. Взято из оригинальной статьи.

Эта модель была разработана совместно [EduardoPacheco](https://huggingface.co/EduardoPacheco) и [namangarg110](https://huggingface.co/namangarg110). Исходный код можно найти [здесь] (https://github.com/facebookresearch/hiera).

## Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены 🌎), которые помогут вам начать работу с Hiera. Если вы хотите предложить ресурс для включения в этот список, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать существующий.

- [HieraForImageClassification](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraForImageClassification) поддерживается в этом [ноутбуке](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/image_classification.ipynb).
- См. также: [Руководство по задаче классификации изображений](../tasks/image_classification)

## HieraConfig[[transformers.HieraConfig]]

#### transformers.HieraConfig[[transformers.HieraConfig]]

```python
transformers.HieraConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, embed_dim: int = 96, image_size: list[int] | tuple[int, ...] = (224, 224), patch_size: list[int] | tuple[int, ...] = (7, 7), patch_stride: list[int] | tuple[int, ...] = (4, 4), patch_padding: list[int] | tuple[int, ...] = (3, 3), mlp_ratio: float = 4.0, depths: list[int] | tuple[int, ...] = (2, 3, 16, 3), num_heads: list[int] | tuple[int, ...] = (1, 2, 4, 8), embed_dim_multiplier: float | int = 2.0, num_query_pool: int = 3, query_stride: list[int] | tuple[int, ...] = (2, 2), masked_unit_size: list[int] | tuple[int, ...] = (8, 8), masked_unit_attention: list[bool] | tuple[bool, ...] = (True, True, False, False), drop_path_rate: float | int = 0.0, num_channels: int = 3, hidden_act: str = 'gelu', initializer_range: float = 0.02, layer_norm_init: float = 1.0, layer_norm_eps: float = 1e-06, decoder_hidden_size: int | None = None, decoder_depth: int | None = None, decoder_num_heads: int | None = None, normalize_pixel_loss: bool | None = True, mask_ratio: float = 0.6, _out_features: list[str] | None = None, _out_indices: list[int] | None = None)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/hiera/configuration_hiera.py#L25)

**Параметры:**

embed_dim (`int`, *необязательный*, по умолчанию `96`) : Размерность эмбеддингов и скрытых состояний.

image_size (`Union[list[int], tuple[int, ...]]`, *необязательный*, по умолчанию `(224, 224)`) : Размер (разрешение) каждого изображения.

patch_size (`Union[list[int], tuple[int, ...]]`, *необязательный*, по умолчанию `(7, 7)`) : Размер (разрешение) каждого патча.

patch_stride (`list(int)`, *необязательный*, по умолчанию `[4, 4]`) : Шаг (stride) патча.

patch_padding (`list(int)`, *необязательный*, по умолчанию `[3, 3]`) : Отступ (padding) патча.

mlp_ratio (`float`, *необязательный*, по умолчанию `4.0`) : Соотношение скрытого размера MLP к размеру эмбеддинга.

depths (`Union[list[int], tuple[int, ...]]`, *необязательный*, по умолчанию `(2, 3, 16, 3)`) : Глубина каждого слоя в Transformer.

num_heads (`list(int)`, *необязательный*, по умолчанию `[1, 2, 4, 8]`) : Количество головок внимания в каждом слое кодировщика Transformer.

embed_dim_multiplier (`float`, *optional*, по умолчанию 2.0) : Множитель размерности встраивания патчей в каждом слое кодировщика Transformer.

num_query_pool (`int`, *необязательный*, по умолчанию 3) : Количество этапов пула запросов.

query_stride (`list(int)`, *необязательный*, по умолчанию `[2, 2]`) : Шаг пулинга запросов.

masked_unit_size (`list(int)`, *необязательный*, по умолчанию `[8, 8]`) : Размер маскируемой единицы.

masked_unit_attention (`list(bool)`, *необязательный*, по умолчанию `[True, True, False, False]`) : Использовать ли маскированное единичное внимание в каждом слое кодировщика Transformer.

drop_path_rate (`Union[float, int]`, *необязательный*, по умолчанию `0.0`) : Коэффициент drop path для слияния патчей.

num_channels (`int`, *необязательный*, по умолчанию `3`) : Количество входных каналов.

hidden_act (`str`, *необязательный*, по умолчанию `gelu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

layer_norm_init (`float`, *необязательный*, по умолчанию 1.0) : Начальное значение веса для слоёв нормализации слоя.

layer_norm_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Значение epsilon, используемое слоями нормализации.

decoder_hidden_size (`int`, *необязательный*) : Размерность скрытых представлений.

decoder_depth (`int`, *optional*) : Глубина декодера для предварительного обучения MAE.

decoder_num_heads (`int`, *optional*) : Количество голов внимания для каждого слоя внимания в декодере Transformer.

normalize_pixel_loss (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли нормализовать потерю пикселей по количеству пикселей.

mask_ratio (`float`, *необязательный*, по умолчанию 0.6) : Доля замаскированных токенов во входных данных.

Это класс конфигурации для хранения настроек модели HieraModel. Он используется для создания модели Hiera в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [facebook/hiera-base-224](https://huggingface.co/facebook/hiera-base-224)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

Пример:

```python
>>> from transformers import HieraConfig, HieraModel

>>> # Initializing a Hiera hiera-base-patch16-224 style configuration
>>> configuration = HieraConfig()

>>> # Initializing a model (with random weights) from the hiera-base-patch16-224 style configuration
>>> model = HieraModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## HieraModel[[transformers.HieraModel]]

#### transformers.HieraModel[[transformers.HieraModel]]

```python
transformers.HieraModel(config: HieraConfig, add_pooling_layer: bool = True, is_mae: bool = False)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/hiera/modeling_hiera.py#L800)

**Параметры:**

config ([HieraConfig](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

add_pooling_layer (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли применять слой пулинга.

is_mae (`bool`, *необязательный*, по умолчанию `False`) : Указывает, следует ли запускать модель в режиме MAE.

Базовая модель Hiera, выводящая необработанные скрытые состояния без какого-либо специализированного слоя наверху.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.HieraModel.forward]]

```python
forward(pixel_values: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, interpolate_pos_encoding: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/hiera/modeling_hiera.py#L824)

**Параметры:**

pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`, *необязательно*) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [BitImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/bit#transformers.BitImageProcessor). Подробности см. в [BitImageProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) (`processor_class` использует [BitImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/bit#transformers.BitImageProcessor) для обработки изображений).

noise (`torch.Tensor` формы `(batch_size, num_mask_units)`, *необязательный*) : Используется преимущественно для тестирования, чтобы контролировать случайность и обеспечивать воспроизводимость

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

interpolate_pos_encoding (`bool`, *необязательный*) : Нужно ли интерполировать предобученные позиционные кодирования.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или `tuple(torch.Tensor)`

Объект [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([HieraConfig](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraConfig)) и входных данных.

Метод [HieraModel](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraModel) forward переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели.
- **pooler_output** (`torch.Tensor` формы `(batch_size, hidden_size)`) -- Скрытое состояние последнего слоя для первого токена последовательности (токен классификации) после дополнительной обработки слоями, используемыми для вспомогательной задачи предварительного обучения. Например, для моделей семейства BERT это возвращает токен классификации после обработки линейным слоем и функцией активации tanh. Веса линейного слоя обучаются по задаче предсказания следующего предложения (классификации) во время предварительного обучения.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
```

## HieraForPreTraining[[transformers.HieraForPreTraining]]

#### transformers.HieraForPreTraining[[transformers.HieraForPreTraining]]

```python
transformers.HieraForPreTraining(config: HieraConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/hiera/modeling_hiera.py#L1061)

**Параметры:**

config ([HieraConfig](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Трансформер Hiera Model с декодером сверху для самообучения без учителя.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.HieraForPreTraining.forward]]

```python
forward(pixel_values: typing.Optional[torch.Tensor] = None, noise: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, interpolate_pos_encoding: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/hiera/modeling_hiera.py#L1102)

**Параметры:**

pixel_values (`torch.Tensor` формы `(batch_size, num_channels, image_size, image_size)`, *необязательно*) : Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью [BitImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/bit#transformers.BitImageProcessor). Подробности см. в [BitImageProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) (`processor_class` использует [BitImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/bit#transformers.BitImageProcessor) для обработки изображений).

noise (`torch.Tensor` формы `(batch_size, num_mask_units)`, *необязательный*) : Используется преимущественно для тестирования, чтобы контролировать случайность и обеспечивать воспроизводимость

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

interpolate_pos_encoding (`bool`, *необязательный*) : Нужно ли интерполировать предобученные позиционные кодирования.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** `HieraForPreTrainingOutput` или `tuple(torch.Tensor)`

Объект `HieraForPreTrainingOutput` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([HieraConfig](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraConfig)) и входных данных.

Метод forward класса [HieraForPreTraining](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraForPreTraining) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`) — Потеря пиксельной реконструкции.
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, patch_size ** 2 * num_channels)`) -- Логиты реконструкции пикселей.
- **bool_masked_pos** (`torch.BoolTensor` формы `(batch_size, sequence_length)`) — тензор, указывающий, какие патчи замаскированы (0), а какие нет (1).
- **ids_restore** (`torch.LongTensor` формы `(batch_size, sequence_length)`) -- Тензор, содержащий исходные индексы (перемешанных) замаскированных патчей.
- **hidden_states** (`tuple[torch.Tensor]`, *необязательный*, возвращается, если передано `output_hidden_states=True` или если `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple[torch.Tensor]`, *необязательный*, возвращается при передаче `output_attentions=True` или когда `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
- **reshaped_hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого слоя) формы `(batch_size, height, width, hidden_size)`. Скрытые состояния модели на выходе каждого слоя, а также начальные выводы эмбеддингов, преобразованные в форму, включающую пространственные измерения.

Примеры:
```python
>>> from transformers import AutoImageProcessor, HieraForPreTraining
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-tiny-224-mae-hf")
>>> model = HieraForPreTraining.from_pretrained("facebook/hiera-tiny-224-mae-hf")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> logits = outputs.logits
>>> loss = outputs.loss
>>> print(list(logits.shape))
[1, 196, 768]
```

## HieraForImageClassification[[transformers.HieraForImageClassification]]

#### transformers.HieraForImageClassification[[transformers.HieraForImageClassification]]

```python
transformers.HieraForImageClassification(config: HieraConfig)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/hiera/modeling_hiera.py#L1207)

**Параметры:**

config ([HieraConfig](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraConfig)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Hiera: трансформер с головой для классификации изображений сверху (линейный слой поверх финального скрытого состояния со средним пулингом), например, для ImageNet.

Обратите внимание, что Hiera можно дообучать на изображениях с более высоким разрешением, чем те, на которых он обучался, установив `interpolate_pos_encoding` в `True` в forward модели. Это позволит интерполировать предобученные позиционные эмбеддинги до более высокого разрешения.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.HieraForImageClassification.forward]]

```python
forward(pixel_values, labels: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, interpolate_pos_encoding: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/hiera/modeling_hiera.py#L1222)

**Параметры:**

pixel_values (`` of shape `(batch_size, num_channels, image_size, image_size)`) : The tensors corresponding to the input images. Pixel values can be obtained using [BitImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/bit#transformers.BitImageProcessor). See [BitImageProcessor.__call__()](/docs/transformers/v5.23.0/ru/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) for details (`processor_class` uses [BitImageProcessor](/docs/transformers/v5.23.0/ru/model_doc/bit#transformers.BitImageProcessor) for processing images).

labels (`torch.LongTensor` формы `(batch_size,)`, *необязательный*) : Метки для вычисления потерь классификации/регрессии изображений. Индексы должны находиться в диапазоне `[0, ..., config.num_labels - 1]`. Если `config.num_labels == 1`, вычисляется потеря регрессии (среднеквадратичная потеря), если `config.num_labels > 1`, вычисляется потеря классификации (кросс-энтропия).

output_attentions (`bool`, *необязательный*) : Нужно ли возвращать тензоры внимания всех слоев внимания. Подробнее см. `attentions` в разделе возвращаемых тензоров.

output_hidden_states (`bool`, *необязательный*) : Нужно ли возвращать скрытые состояния всех слоёв. Подробнее о `hidden_states` в разделе возвращаемых тензоров.

interpolate_pos_encoding (`bool`, *необязательный*) : Нужно ли интерполировать предобученные позиционные кодирования.

return_dict (`bool`, *необязательный*) : Нужно ли возвращать [ModelOutput](/docs/transformers/v5.23.0/ru/main_classes/output#transformers.utils.ModelOutput) вместо обычного кортежа.

**Возвращает:** `HieraForImageClassificationOutput` или `tuple(torch.Tensor)`

Объект `HieraForImageClassificationOutput` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([HieraConfig](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraConfig)) и входных данных.

Метод [HieraForImageClassification](/docs/transformers/v5.23.0/ru/model_doc/hiera#transformers.HieraForImageClassification) forward переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потери классификации (или регрессии, если config.num_labels==1).
- **logits** (`torch.Tensor` формы `(batch_size, config.num_labels)`) — Оценки классификации (или регрессии, если config.num_labels==1) до применения SoftMax.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или при `config.output_hidden_states=True`) — Кортеж из `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет такой слой, + один для вывода каждого этапа) формы `(batch_size, sequence_length, hidden_size)`. Скрытые состояния (также называемые картами признаков) модели на выходе каждого этапа.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается, если передано `output_attentions=True` или если `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, patch_size, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
- **reshaped_hidden_states** (`tuple(torch.Tensor)`, `optional`) — Кортеж `torch.Tensor` (один для вывода эмбеддингов + один для вывода каждого этапа) формы `(batch_size, height, width, hidden_size)`. Это переформатированные и свернутые обратно скрытые состояния модели.

  Скрытые состояния модели на выходе каждого слоя, а также выходные значения начального слоя встраиваний, преобразованные с включением пространственных измерений.

Пример:

```python
>>> from transformers import AutoImageProcessor, HieraForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/hiera-base-224")
>>> model = HieraForImageClassification.from_pretrained("facebook/hiera-base-224")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...
```

