LLM Router

يتضمن واجهة المحادثة نظام توجيه ذكي يختار تلقائيًا أفضل نموذج لكل طلب. عند تفعيله، يرى المستخدمون نموذجًا افتراضيًا باسم “Omni” يوجّه الطلبات إلى نماذج متخصصة بناءً على سياق المحادثة.

تتم عملية اختيار المسار محليًا كإجراء متزامن — لا يتم استدعاء خدمة توجيه منفصلة أو نموذج اختيار.

كيف يعمل

عندما يرسل المستخدم رسالة عبر مستعار Omni، يختار الموجّه مسارًا بالترتيب التالي:

توجد مدخلات صورة → مسار multimodal (إذا كان معرّفًا في السياسة)
تم اختيار خادم MCP → مسار agentic (إذا كان معرّفًا في السياسة)
وإلا → مسار default (قابل للتهيئة عبر LLM_ROUTER_DEFAULT_ROUTE)

يُجرَّب primary_model الخاص بالطريق المحدد أولاً؛ وفي حال حدوث خطأ، تُجرَّب كل مدخلات fallback_models بالترتيب. وإذا لم تكن أي من نماذج الطريق قابلة للوصول، فإن الطلب يعود إلى LLM_ROUTER_FALLBACK_MODEL. وتُصدر الطريق والنموذج المختاران على شكل RouterMetadata حتى تتمكن واجهة المستخدم من عرضهما.

الإعداد

الإعداد الأساسي

# Path to your routes policy JSON
LLM_ROUTER_ROUTES_PATH=./config/routes.json

# Route name used when no specific heuristic matches (default: "default")
LLM_ROUTER_DEFAULT_ROUTE=default

# Model to use if every candidate in the selected route fails
LLM_ROUTER_FALLBACK_MODEL=meta-llama/Llama-3.3-70B-Instruct

سياسة المسارات

أنشئ مصفوفة JSON للمسارات. مع التوجيه الاستدلالي، يتم التعرف على ثلاثة أسماء للمسارات: default، وmultimodal، وagentic. أضف ما تحتاجه منها.

[
	{
		"name": "default",
		"description": "General purpose route for all conversations.",
		"primary_model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
		"fallback_models": [
			"deepseek-ai/DeepSeek-V4.1-Flash",
			"moonshotai/Kimi-K2.6",
			"zai-org/GLM-4.6"
		]
	},
	{
		"name": "multimodal",
		"description": "Route for requests with image inputs.",
		"primary_model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
		"fallback_models": [
			"deepseek-ai/DeepSeek-V4.1-Flash",
			"moonshotai/Kimi-K2.6",
			"Qwen/Qwen3-VL-235B-A22B-Instruct"
		]
	},
	{
		"name": "agentic",
		"description": "Route for MCP server tool calling.",
		"primary_model": "deepseek-ai/DeepSeek-V4.1-Flash-1017",
		"fallback_models": [
			"deepseek-ai/DeepSeek-V4.1-Flash",
			"moonshotai/Kimi-K2.6",
			"zai-org/GLM-4.6"
		]
	}
]

اختصار متعدد الوسائط

عندما يكون LLM_ROUTER_ENABLE_MULTIMODAL=true ومرفق صورة، يتجاوز الموجّه ملف السياسة بالكامل ويوجّه مباشرة إلى LLM_ROUTER_MULTIMODAL_MODEL:

LLM_ROUTER_ENABLE_MULTIMODAL=true
LLM_ROUTER_MULTIMODAL_MODEL=deepseek-ai/DeepSeek-V4.1-Flash-1017

إذا كان العلم معطلاً، فإن مدخلات الصور لا تزال تمر عبر الاستدلال وتختار مسار multimodal من ملف السياسة.

اختصار الأدوات

عندما يكون LLM_ROUTER_ENABLE_TOOLS=true وكان لدى المستخدم خادم MCP واحد على الأقل مفعّلًا، يتجاوز الموجّه ملف السياسة ويوجّه مباشرة إلى LLM_ROUTER_TOOLS_MODEL:

LLM_ROUTER_ENABLE_TOOLS=true
LLM_ROUTER_TOOLS_MODEL=deepseek-ai/DeepSeek-V4.1-Flash-1017

إذا كان العلم معطلاً (أو لم يتم العثور على نموذج يدعم الأدوات)، فإن الطلبات النشطة للأدوات تمر عبر الاستدلال التقريري وتختار مسار agentic من ملف السياسة.

تخصيص واجهة المستخدم

خصص مظهر الموجّه في مُحدِّد النموذج:

PUBLIC_LLM_ROUTER_ALIAS_ID=omni
PUBLIC_LLM_ROUTER_DISPLAY_NAME=Omni
PUBLIC_LLM_ROUTER_LOGO_URL=https://example.com/logo.png

Update on GitHub

Chat UI