Использование Ollama с любой моделью GGUF на Hugging Face Hub

Вы также можете запускать частные GGUF с Hugging Face Hub.

Ollama — это приложение на базе llama.cpp, позволяющее взаимодействовать с LLM непосредственно на вашем компьютере. Вы можете использовать любые GGUF-кванты, созданные сообществом (bartowski, MaziyarPanahi и многие другие) на Hugging Face, напрямую в Ollama, без создания нового Modelfile. На момент написания на Hub доступно 45K публичных GGUF-чекпоинтов, и любой из них можно запустить одной командой ollama run. Мы также предоставляем возможности кастомизации, такие как выбор типа квантования, системного промпта и другие, чтобы улучшить ваш общий опыт работы.

Начать работу так же просто:

1. Включите ollama в разделе Настройки локальных приложений.
2. На странице модели выберите ollama в выпадающем списке Use this model. Например: bartowski/Llama-3.2-1B-Instruct-GGUF.

Фрагмент будет иметь следующий формат:

ollama run hf.co/{username}/{repository}

Обратите внимание, что в качестве доменного имени можно использовать как hf.co, так и huggingface.co.

Вот несколько моделей, которые можно попробовать:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

Пользовательское квантование

По умолчанию используется схема квантования Q4_K_M, если она присутствует в репозитории модели. В противном случае по умолчанию выбирается один из разумных типов квантования, доступных в репозитории.

Чтобы выбрать другую схему, просто:

1. На вкладке Files and versions на странице модели откройте просмотрщик GGUF для конкретного файла GGUF.
2. Выберите ollama из выпадающего списка Use this model.

Фрагмент будет иметь следующий формат (добавлен тег квантования):

ollama run hf.co/{username}/{repository}:{quantization}

Например:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

Пользовательский шаблон чата и параметры

По умолчанию шаблон выбирается автоматически из списка часто используемых шаблонов. Выбор основывается на встроенных метаданных tokenizer.chat_template, хранящихся внутри файла GGUF.

Если в вашем файле GGUF нет встроенного шаблона или вы хотите настроить шаблон чата, вы можете создать новый файл с именем template в репозитории. Шаблон должен быть шаблоном Go, а не шаблоном Jinja. Вот пример:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

Чтобы узнать больше о формате шаблонов Go, обратитесь к этой документации

При необходимости вы можете настроить системный промпт, создав в репозитории новый файл с именем system.

Чтобы изменить параметры выборки, создайте файл с именем params в репозитории. Файл должен быть в формате JSON. Список всех доступных параметров приведён в этой документации.

Запуск частных GGUF из Hugging Face Hub

Вы можете запустить приватные GGUF из вашего личного аккаунта или из связанного аккаунта организации в два простых шага:

1. Скопируйте ваш SSH-ключ Ollama, это можно сделать с помощью: cat ~/.ollama/id_ed25519.pub | pbcopy
2. Добавьте соответствующий ключ в свой аккаунт Hugging Face, перейдя в настройки аккаунта и нажав Add new SSH key.
3. Всё готово! Теперь вы можете запускать приватные GGUF с Hugging Face Hub: ollama run hf.co/{username}/{repository}.

Ссылки

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf