LLM
Nemotron 3 Nano 聊天
提出問題,或試試簡短的寫作任務。傳送第一則訊息時再登入即可。
Licensed by NVIDIA Corporation under the NVIDIA Open Model License
模型授權
NVIDIA Nemotron 3 Nano IQ4_XS GGUF derivative · LicenseRef-NVIDIA-Open-Model-2025-10-24
NVIDIA Open Model License Agreement (24 October 2025). Keep the agreement and Notice with distributed model copies; comply with NVIDIA Trustworthy AI terms and retain applicable safeguards.
與 NVIDIA Nemotron 3 Nano 聊天,這是比手機規格聊天模型更大的開放模型。在您連接的裝置上免費 AI 聊天。一台高效能電腦即可容納;否則工作會分散到您加入的各台機器上。僅支援文字。首次下載量很大,之後的聊天會重複使用。模型採用 NVIDIA Open Model License。
API 參考
透過 REST 提交
使用您的個人 API 金鑰(msk_…),從您自己的工具為此工作負載建立工作。以這種方式啟動的工作,會在您於 您的裝置 連接的同一批裝置上執行——至少須有一部在線上。
https://cp.meshlabs.cloud/v1/organizations/jobs使用 X-Organization-Api-Key: msk_your_personal_api_key 進行驗證。此標頭名稱與組織金鑰相同;個人金鑰使用同一個端點。
POST https://cp.meshlabs.cloud/v1/organizations/job-inputs/presign,將您的檔案上傳到傳回的 upload_url,然後在 job_spec 中傳入 download_url(例如作為 input_image_url)。請求內文
{
"workload_type": "nemotron3-nano-30b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}job_spec 欄位
| 欄位 | 必填 | 預設值 | 說明 |
|---|---|---|---|
system_prompt | 否 | — | 選填的系統提示詞 |
enable_thinking | 否 | true | 在給出最終答案前啟用思考/推理。Nemotron-3 Nano 的引導詞為 ChatML 的 <think>/</think>(id 12/13);進行推理時請保持開啟。temperature=1.0 / top_p=1.0 是該模式的模型卡預設值。 |
max_new_tokens | 否 | 2048 | 生成 token 數上限(思考加答案)。需要長篇輸出時可調高。提示詞與生成內容共用上下文視窗,因此生成會在上下文處停止,而不會擴大階段的記憶體下限。 |
max_context | 否 | 8192 | 階段主機為 KV/循環狀態配置的 token 總數,包含提示詞與生成內容。上限是 Oracle 對此模型實測過的最大上下文,因此配置不必外推到證據範圍之外。提高此值會提高記憶體下限,也因此縮小能執行此工作的裝置範圍。 |
kv_hot_window | 否 | 32768 | 實體注意力 KV 上限為最新的 N 個 token,因此超過 N 的對話會忘掉最早的幾輪,而不是在上下文上限處停止。0 表示保留完整上下文常駐。等於或低於上下文視窗時不會有任何改變,記憶體與注意力皆相同;若調低到上下文視窗以下,則是以長距離回想換取不受限的對話長度,因為模型確實看不到視窗之外的內容。 |
turns | 否 | — | Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`. |
temperature | 否 | 1 | Temperature |
top_p | 否 | 1 | Top P |
top_k | 否 | 20 | Top K |
presence_penalty | 否 | 0 | Presence Penalty |
repetition_penalty | 否 | 1 | Repetition Penalty |
seed | 否 | — | 可重現結果的隨機種子 |
speculative_ngram | 否 | false | 提示詞查找草稿:將上下文中重複的 n-gram 作為草稿區塊重播,並由模型在一次傳遞中驗證,因此單次網路往返就能確認多個 token。不需額外模型;輸出與逐步解碼完全相同。 |
speculative_draft_model | 否 | false | 在檢查點節點上執行小型 GGUF 草稿模型來提出草稿區塊(建議使用「內建草稿模型檔名」;外部 URL 仍可作為備援)。當草稿模型無法使用時,會退回 n-gram 草稿。 |
draft_model_file | 否 | — | 此工作負載套件中未分割的 GGUF 草稿模型檔名。SDK 會從 required_files 解析它,因此私有 S3 儲存貯體可使用伺服器提供的簽署/代理 URL,而不必使用公開 URL。 |
draft_model_url | 否 | — | 小型 GGUF 草稿模型的選填外部 HTTPS URL。當「內建草稿模型檔名」未設定或不在 required_files 中時,作為備援使用。 |
speculative_max_draft | 否 | 8 | 每個區塊所驗證的草稿 token 數上限。實際長度會依觀察到的接受率調整。 |
min_remote_stages | 否 | 0 | 用於 GGUF 管線平行測試的診斷配置選項。大於 0 時,檢查點只會指派給至少會透過 WebRTC(而非本機)執行這麼多階段的節點。在檢查點對等節點寬限期過後會退回,以免讓正式工作餓死。 |
wire_hidden_dtype | 否 | f16 | GGUF 管線階段之間的隱藏啟動值資料型別。f16 讓預填與推測區塊的傳輸負載減半;f32 為診斷用的備援。 |
wire_hidden_codec | 否 | fp16 | 用於 GGUF 管線階段之間多 token 隱藏啟動值區塊的實驗性編解碼器。單 token 解碼維持低成本的資料型別路徑;通用編解碼器僅用於位元組節省足以抵銷編解碼成本的預填/推測區塊。fp16 最安全;auto8/hq8 為診斷用。 |
stage_chaining | 否 | true | 當所有 GGUF 階段都在遠端且支援串接協定時,直接在階段之間傳送隱藏啟動值,而不必經由檢查點協調器轉送每個邊界。 |
latent_mode | 否 | off | 在 <think>…</think> 期間使用免訓練的 Soft Thinking / SwiReasoning。需要階段主機上具備含 _lstage_eval_soft 的 GGUF WASM;否則退回離散解碼。在 CDN WASM 重新建置前預設為關閉。啟用 Soft Thinking 時與推測互斥。 |
latent_phase | 否 | tagged | tagged = 思考標記;prefix = 從第 0 步開始(無標記的模型)。 |
latent_exit_text | 否 | Final answer: | 僅在 latent_phase=prefix 時使用(一般詞彙 token)。 |
latent_top_n | 否 | 15 | Soft top-n |
latent_entropy_tau | 否 | 0.05 | Cold Stop 熵 τ |
latent_cold_stop_k | 否 | 256 | Cold Stop 連續步數 |
swi_dwell_window | 否 | 512 | Swi 顯式→潛在停留 |
swi_max_switches | 否 | 8 | Swi 潛在→顯式最大切換次數 |
max_thinking_tokens | 否 | 1536 | 強制 </think> / 前綴結束前的硬性預算。此值必須明顯低於 `max_new_tokens`:若推理預算等於或高於總生成預算,回覆會在思考途中被截斷,完全沒有答案。控制平面會根據所選配置實際負擔得起的預算重新裁定此值,因此較小的值會被採用,較大的值則會被限縮。 |
min_thinking_tokens | 否 | 0 | 下限:在出現這麼多推理 token 之前,從取樣中遮蔽 </think>。0 表示停用。可避免思考區塊在第一個生成的 token 就關閉,導致完全沒有推理就回答。 |
prompt | 是 | — | 聊天模型的使用者訊息 / 提示詞 |
cURL
curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
-H "X-Organization-Api-Key: msk_your_personal_api_key" \
-H "Content-Type: application/json" \
-d '{
"workload_type": "nemotron3-nano-30b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}'https://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}使用同一個 API 金鑰輪詢,直到 status 進入終止狀態(COMPLETED、FAILED、CANCELED 或 MODERATION_BLOCKED)。啟用內容審核時,工作可能會先處於 MODERATION_PENDING 狀態,之後才進入運算佇列。已完成的工作會在每個輸出上附帶預先簽署的 download_url 值。
建立回應
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "nemotron3-nano-30b-gguf-pp",
"status": "PENDING",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [],
"outputs": [],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "2026-06-08T12:00:00Z"
}完成回應
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "nemotron3-nano-30b-gguf-pp",
"status": "COMPLETED",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [
{
"id": "…",
"index": 0,
"status": "COMPLETED"
}
],
"outputs": [
{
"id": "…",
"output_type": "<output type>",
"filename": "<output filename>",
"size_bytes": 524288,
"download_url": "<presigned output download URL>"
}
],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "<completion timestamp>"
}