App iFood
SDK OpenAI/Anthropic contra a LiteLLM. Model id tencent/deepseek-v4-flash.
Homologação LiteLLM ↔ TokenHub · PR #31903 + bugfix #38100
O iFood manteve o provider nativo tencent/ no LiteLLM.
Este host bate no TokenHub com o payload que essa transformation tem de emitir:
Chat Completions, Anthropic Messages, thinking no body, MiniMax
adaptive vs enabled. EdgeOne só publica o lab.
SDK OpenAI/Anthropic contra a LiteLLM. Model id tencent/deepseek-v4-flash.
TencentChatConfig e TencentAnthropicMessagesConfig. TENCENT_API_KEY. Thinking só se supports_reasoning.
/v1/chat/completions e /v1/messages. Intl. Cost map do PR: só DeepSeek V4 Pro/Flash.
EdgeOne na frente. Mostra HTTP, TTFT, reasoning tokens e o JSON que a LiteLLM precisa mandar.
Não usar provider “OpenAI-compatible” genérico. Usar o provider
tencent do
PR #31903.
Thinking no chat vai em extra_body
(#38100),
senão a LiteLLM estoura HTTP 500 antes de chegar na Tencent.
MiniMax rejeita thinking.type=enabled — tem de ser adaptive.
Cost map do #31903 só lista DeepSeek V4. GLM, MiniMax e Kimi existem no TokenHub, mas ainda não estão no pricing da LiteLLM — por isso o botão GLM está no lab.
Cada botão manda o payload que a transformation deveria emitir.
MiniMax enabled e tool arguments como objeto devem falhar (400).
—
| Cenário | Modelo | Protocolo | Thinking | HTTP | TTFT | Total | Reasoning |
|---|
400 no MiniMax enabled é evidência do bug #38100. 500 na LiteLLM (antes do TokenHub) era o crash de thinking no SDK.
Só com SSE. Reasoning tokens > 0 = thinking chegou no modelo. Cost map do PR não cobre GLM.
Só entrega o lab. eo-log-uuid / MISS. Não é métrica da transformation.