Mô hình này được công bố trên HF papers vào ngày 2022-04-14 và được đóng góp cho Hugging Face Transformers vào ngày 2022-09-22.

ViTMSN

Tổng quan

Mô hình ViTMSN được đề xuất trong Masked Siamese Networks for Label-Efficient Learning của Mahmoud Assran, Mathilde Caron, Ishan Misra, Piotr Bojanowski, Florian Bordes, Pascal Vincent, Armand Joulin, Michael Rabbat, Nicolas Ballas. Bài báo trình bày một kiến trúc nhúng chung (joint-embedding) để khớp các nguyên mẫu (prototypes) của các mảnh bị che (masked patches) với các nguyên mẫu của các mảnh không bị che (unmasked patches). Với cấu hình này, phương pháp của họ cho thấy hiệu suất xuất sắc trong các chế độ low-shot và extreme low-shot.

Tóm tắt từ bài báo như sau:

Chúng tôi đề xuất Masked Siamese Networks (MSN), một khung học không giám sát để học biểu diễn ảnh. Phương pháp của chúng tôi khớp biểu diễn của một góc nhìn ảnh chứa các mảnh (patch) bị che ngẫu nhiên với biểu diễn của ảnh gốc không bị che. Chiến lược tiền huấn luyện không giám sát này đặc biệt có khả năng mở rộng khi áp dụng cho Vision Transformers vì chỉ các mảnh không bị che mới được xử lý bởi mạng. Kết quả là, MSN cải thiện khả năng mở rộng của các kiến trúc nhúng chung (joint-embedding), đồng thời tạo ra các biểu diễn ở mức ngữ nghĩa cao, đạt hiệu suất cạnh tranh trong phân loại ảnh với ít mẫu (low-shot). Ví dụ, trên ImageNet-1K, với chỉ 5.000 ảnh được chú thích, mô hình MSN cơ bản của chúng tôi đạt độ chính xác top-1 là 72,4%, và với 1% nhãn của ImageNet-1K, chúng tôi đạt độ chính xác top-1 là 75,7%, thiết lập mức tiên tiến mới (state-of-the-art) cho học không giám sát trên bộ chuẩn này.

Mô hình này được đóng góp bởi sayakpaul. Mã gốc có thể được tìm thấy tại đây.

Mẹo sử dụng

• MSN (mạng siamese có che) là một phương pháp tiền huấn luyện tự giám sát cho Vision Transformers (ViTs). Mục tiêu tiền huấn luyện là khớp các nguyên mẫu được gán cho các góc nhìn không bị che của hình ảnh với các nguyên mẫu của các góc nhìn bị che của cùng những hình ảnh đó.
• Các tác giả chỉ phát hành trọng số đã huấn luyện trước của backbone (huấn luyện trước trên ImageNet-1k). Vì vậy, để sử dụng nó trên bộ dữ liệu phân loại ảnh của riêng bạn, hãy dùng lớp ViTMSNForImageClassification được khởi tạo từ ViTMSNModel. Làm theo notebook này để có hướng dẫn chi tiết về fine-tuning.
• MSN đặc biệt hữu ích trong các chế độ low-shot và extreme low-shot. Đáng chú ý, khi được fine-tune, nó đạt độ chính xác top-1 là 75,7% chỉ với 1% nhãn của ImageNet-1K.

Sử dụng Scaled Dot Product Attention (SDPA)

PyTorch bao gồm một toán tử scaled dot-product attention (SDPA) bản địa như một phần của torch.nn.functional. Hàm này bao gồm một số triển khai có thể được áp dụng tùy thuộc vào đầu vào và phần cứng đang sử dụng. Xem tài liệu chính thức hoặc trang GPU Inference để biết thêm thông tin.

SDPA được sử dụng mặc định cho torch>=2.1.1 khi có sẵn một bản triển khai, nhưng bạn cũng có thể đặt attn_implementation="sdpa" trong from_pretrained() để yêu cầu sử dụng SDPA một cách rõ ràng.

from transformers import ViTMSNForImageClassification


model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-base", attn_implementation="sdpa", device_map="auto")
...

Để đạt được tốc độ tăng tốc tốt nhất, chúng tôi khuyến nghị nạp mô hình ở độ chính xác nửa (ví dụ: torch.float16 hoặc torch.bfloat16).

Trên một benchmark cục bộ (A100-40GB, PyTorch 2.3.0, hệ điều hành Ubuntu 22.04) với float32 và mô hình facebook/vit-msn-base, chúng tôi đã quan sát thấy các mức tăng tốc sau trong quá trình suy luận.

Tài nguyên

Danh sách các tài nguyên chính thức của Hugging Face và cộng đồng (được đánh dấu bằng 🌎) để giúp bạn bắt đầu với ViT MSN.

• ViTMSNForImageClassification được hỗ trợ bởi notebook này.
• Xem thêm: Hướng dẫn tác vụ phân loại hình ảnh

Nếu bạn quan tâm đến việc gửi một tài nguyên để được đưa vào đây, hãy thoải mái mở một Pull Request và chúng tôi sẽ xem xét! Lý tưởng nhất là tài nguyên nên minh họa một điều gì đó mới thay vì sao chép một tài nguyên hiện có.

ViTMSNConfig

>>> from transformers import ViTMSNModel, ViTMSNConfig

>>> # Initializing a ViT MSN vit-msn-base style configuration
>>> configuration = ViTConfig()

>>> # Initializing a model from the vit-msn-base style configuration
>>> model = ViTMSNModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ViTMSNModel

>>> from transformers import AutoImageProcessor, ViTMSNModel
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNModel.from_pretrained("facebook/vit-msn-small")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> last_hidden_states = outputs.last_hidden_state

ViTMSNForImageClassification

>>> from transformers import AutoImageProcessor, ViTMSNForImageClassification
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> torch.manual_seed(2)
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read())).convert("RGB")

>>> image_processor = AutoImageProcessor.from_pretrained("facebook/vit-msn-small")
>>> model = ViTMSNForImageClassification.from_pretrained("facebook/vit-msn-small")

>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
tusker