Thống kê tải xuống các mô hình

Số lượt tải xuống của các mô hình được tính như thế nào?

Việc đếm số lượt tải xuống của các model không phải là một nhiệm vụ đơn giản, vì một kho lưu trữ model có thể chứa nhiều tệp, bao gồm nhiều tệp trọng số model (ví dụ: với các model được chia mảnh) và các định dạng khác nhau tùy thuộc vào thư viện (GGUF, PyTorch, TensorFlow, v.v.). Để tránh đếm trùng số lượt tải xuống (ví dụ: đếm một lượt tải xuống của model thành nhiều lượt), Hub sử dụng một tập hợp các tệp truy vấn được dùng để đếm số lượt tải xuống. Không có thông tin nào được gửi từ phía người dùng và không có thêm các cuộc gọi nào được thực hiện cho mục đích này. Việc đếm được thực hiện ở phía máy chủ khi Hub cung cấp tệp để tải xuống.

Mọi yêu cầu HTTP đến các tệp này, bao gồm GET và HEAD, đều được tính là một lượt tải xuống. Mặc định, khi không chỉ định thư viện nào, Hub sử dụng config.json làm tệp truy vấn mặc định. Ngược lại, tệp truy vấn phụ thuộc vào từng thư viện, và Hub có thể kiểm tra các tệp như pytorch_model.bin hoặc adapter_config.json.

Which are the query files for different libraries?

Mặc định, Hub xem xét config.json, config.yaml, hyperparams.yaml, params.json và meta.yaml. Một số thư viện ghi đè các mặc định này bằng cách chỉ định bộ lọc riêng của chúng (chỉ định countDownloads). Mã nguồn định nghĩa các ghi đè này là mã nguồn mở. Ví dụ, đối với thư viện nemo, tất cả các tệp có phần mở rộng .nemo được sử dụng để đếm lượt tải xuống.

Tôi có thể thêm các tệp truy vấn của mình cho thư viện không?

Có, bạn có thể mở một Pull Request tại đây. Dưới đây là một ví dụ tối giản thêm các chỉ số tải xuống cho VFIMamba. Xem hướng dẫn tích hợp để biết thêm chi tiết.

Các tệp GGUF được xử lý như thế nào?

Các tệp GGUF là tự chứa và không bị ràng buộc với một thư viện duy nhất, do đó tất cả chúng đều được tính vào lượt tải xuống. Điều này sẽ dẫn đến việc tính trùng lượt tải xuống trong trường hợp người dùng thực hiện việc sao chép toàn bộ kho lưu trữ, nhưng hầu hết người dùng và giao diện chỉ tải xuống một tệp GGUF duy nhất cho một kho lưu trữ nhất định.

diffusers được xử lý như thế nào?

Thư viện diffusers là một trường hợp ngoại lệ và bộ lọc của nó được cấu hình trong mã nguồn nội bộ. Bộ lọc đảm bảo các kho được gắn thẻ diffusers tính cả các tệp được tải qua thư viện cũng như qua các giao diện người dùng yêu cầu người dùng phải tải thủ công tệp safetensors cấp cao nhất.

filter: [
		{
			bool: {
				/// Include documents that match at least one of the following rules
				should: [
					/// Downloaded from diffusers lib
					{
						term: { path: "model_index.json" },
					},
					/// Downloaded from diffusers lib through modular pipelines
					{
						term: { path: "modular_model_index.json" },
					},
					/// Direct downloads (LoRa, Auto1111 and others)
					/// Filter out nested safetensors and pickle weights to avoid double counting downloads from the diffusers lib
					{
						regexp: { path: "[^/]*\\.safetensors" },
					},
					{
						regexp: { path: "[^/]*\\.ckpt" },
					},
					{
						regexp: { path: "[^/]*\\.bin" },
					},
				],
				minimum_should_match: 1,
			},
		},
	]
}

Nếu tôi cần dữ liệu tải xuống chi tiết hơn cho các mô hình của mình thì sao?

Nếu bạn cần dữ liệu tải xuống chi tiết hơn, chẳng hạn để:

• phân biệt config.json với trọng số mô hình,
• loại trừ các lượt tải xuống khỏi các pipeline CI/CD,
• hoặc khử trùng lặp người dùng (tức là đếm số người tải xuống duy nhất),

sau đó Publisher Analytics, và đặc biệt là tính năng granular logs, có thể cung cấp các nhật ký truy cập ở cấp độ yêu cầu, đã được ẩn danh, cho tất cả các mô hình và bộ dữ liệu do tổ chức của bạn phát hành.

Các dữ liệu này được cung cấp dưới dạng nhật ký thô, vì hầu hết các tổ chức sẽ muốn áp dụng các quy tắc tùy chỉnh của riêng mình.