LLM

Nemotron 3 Nano 聊天

提出問題,或試試簡短的寫作任務。傳送第一則訊息時再登入即可。

Licensed by NVIDIA Corporation under the NVIDIA Open Model License

模型授權

NVIDIA Nemotron 3 Nano IQ4_XS GGUF derivative · LicenseRef-NVIDIA-Open-Model-2025-10-24

NVIDIA Open Model License Agreement (24 October 2025). Keep the agreement and Notice with distributed model copies; comply with NVIDIA Trustworthy AI terms and retain applicable safeguards.

隨附授權

聲明

免費線上無限制Licensed by NVIDIA Corporation under the NVIDIA Open Model License API 存取

準備好了就開始吧。

輸入訊息並按下「傳送」,即可登入並開始。

與 NVIDIA Nemotron 3 Nano 聊天,這是比手機規格聊天模型更大的開放模型。在您連接的裝置上免費 AI 聊天。一台高效能電腦即可容納;否則工作會分散到您加入的各台機器上。僅支援文字。首次下載量很大,之後的聊天會重複使用。模型採用 NVIDIA Open Model License。

API 參考

透過 REST 提交

使用您的個人 API 金鑰(msk_…),從您自己的工具為此工作負載建立工作。以這種方式啟動的工作,會在您於 您的裝置 連接的同一批裝置上執行——至少須有一部在線上。

隱藏 API 詳細資料
POSThttps://cp.meshlabs.cloud/v1/organizations/jobs

使用 X-Organization-Api-Key: msk_your_personal_api_key 進行驗證。此標頭名稱與組織金鑰相同;個人金鑰使用同一個端點。

輸入檔案:使用同一個 API 金鑰呼叫 POST https://cp.meshlabs.cloud/v1/organizations/job-inputs/presign,將您的檔案上傳到傳回的 upload_url,然後在 job_spec 中傳入 download_url(例如作為 input_image_url)。

請求內文

{
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "job_spec": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  }
}

job_spec 欄位

欄位必填預設值說明
system_prompt否—選填的系統提示詞
enable_thinking否true在給出最終答案前啟用思考/推理。Nemotron-3 Nano 的引導詞為 ChatML 的 <think>/</think>(id 12/13);進行推理時請保持開啟。temperature=1.0 / top_p=1.0 是該模式的模型卡預設值。
max_new_tokens否2048生成 token 數上限(思考加答案)。需要長篇輸出時可調高。提示詞與生成內容共用上下文視窗,因此生成會在上下文處停止,而不會擴大階段的記憶體下限。
max_context否8192階段主機為 KV/循環狀態配置的 token 總數,包含提示詞與生成內容。上限是 Oracle 對此模型實測過的最大上下文,因此配置不必外推到證據範圍之外。提高此值會提高記憶體下限,也因此縮小能執行此工作的裝置範圍。
kv_hot_window否32768實體注意力 KV 上限為最新的 N 個 token,因此超過 N 的對話會忘掉最早的幾輪,而不是在上下文上限處停止。0 表示保留完整上下文常駐。等於或低於上下文視窗時不會有任何改變,記憶體與注意力皆相同;若調低到上下文視窗以下,則是以長距離回想換取不受限的對話長度,因為模型確實看不到視窗之外的內容。
turns否—Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`.
temperature否1Temperature
top_p否1Top P
top_k否20Top K
presence_penalty否0Presence Penalty
repetition_penalty否1Repetition Penalty
seed否—可重現結果的隨機種子
speculative_ngram否false提示詞查找草稿:將上下文中重複的 n-gram 作為草稿區塊重播,並由模型在一次傳遞中驗證,因此單次網路往返就能確認多個 token。不需額外模型;輸出與逐步解碼完全相同。
speculative_draft_model否false在檢查點節點上執行小型 GGUF 草稿模型來提出草稿區塊(建議使用「內建草稿模型檔名」;外部 URL 仍可作為備援)。當草稿模型無法使用時,會退回 n-gram 草稿。
draft_model_file否—此工作負載套件中未分割的 GGUF 草稿模型檔名。SDK 會從 required_files 解析它,因此私有 S3 儲存貯體可使用伺服器提供的簽署/代理 URL,而不必使用公開 URL。
draft_model_url否—小型 GGUF 草稿模型的選填外部 HTTPS URL。當「內建草稿模型檔名」未設定或不在 required_files 中時,作為備援使用。
speculative_max_draft否8每個區塊所驗證的草稿 token 數上限。實際長度會依觀察到的接受率調整。
min_remote_stages否0用於 GGUF 管線平行測試的診斷配置選項。大於 0 時,檢查點只會指派給至少會透過 WebRTC(而非本機)執行這麼多階段的節點。在檢查點對等節點寬限期過後會退回,以免讓正式工作餓死。
wire_hidden_dtype否f16GGUF 管線階段之間的隱藏啟動值資料型別。f16 讓預填與推測區塊的傳輸負載減半;f32 為診斷用的備援。
wire_hidden_codec否fp16用於 GGUF 管線階段之間多 token 隱藏啟動值區塊的實驗性編解碼器。單 token 解碼維持低成本的資料型別路徑;通用編解碼器僅用於位元組節省足以抵銷編解碼成本的預填/推測區塊。fp16 最安全;auto8/hq8 為診斷用。
stage_chaining否true當所有 GGUF 階段都在遠端且支援串接協定時,直接在階段之間傳送隱藏啟動值,而不必經由檢查點協調器轉送每個邊界。
latent_mode否off在 <think>…</think> 期間使用免訓練的 Soft Thinking / SwiReasoning。需要階段主機上具備含 _lstage_eval_soft 的 GGUF WASM;否則退回離散解碼。在 CDN WASM 重新建置前預設為關閉。啟用 Soft Thinking 時與推測互斥。
latent_phase否taggedtagged = 思考標記;prefix = 從第 0 步開始(無標記的模型)。
latent_exit_text否 Final answer: 僅在 latent_phase=prefix 時使用(一般詞彙 token)。
latent_top_n否15Soft top-n
latent_entropy_tau否0.05Cold Stop 熵 τ
latent_cold_stop_k否256Cold Stop 連續步數
swi_dwell_window否512Swi 顯式→潛在停留
swi_max_switches否8Swi 潛在→顯式最大切換次數
max_thinking_tokens否1536強制 </think> / 前綴結束前的硬性預算。此值必須明顯低於 `max_new_tokens`:若推理預算等於或高於總生成預算,回覆會在思考途中被截斷,完全沒有答案。控制平面會根據所選配置實際負擔得起的預算重新裁定此值,因此較小的值會被採用,較大的值則會被限縮。
min_thinking_tokens否0下限:在出現這麼多推理 token 之前,從取樣中遮蔽 </think>。0 表示停用。可避免思考區塊在第一個生成的 token 就關閉,導致完全沒有推理就回答。
prompt是—聊天模型的使用者訊息 / 提示詞

cURL

curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
  -H "X-Organization-Api-Key: msk_your_personal_api_key" \
  -H "Content-Type: application/json" \
  -d '{
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "job_spec": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  }
}'
GEThttps://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}

使用同一個 API 金鑰輪詢,直到 status 進入終止狀態(COMPLETED、FAILED、CANCELED 或 MODERATION_BLOCKED)。啟用內容審核時,工作可能會先處於 MODERATION_PENDING 狀態,之後才進入運算佇列。已完成的工作會在每個輸出上附帶預先簽署的 download_url 值。

建立回應

{
  "id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "status": "PENDING",
  "job_spec_json": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  },
  "work_units": [],
  "outputs": [],
  "created_at": "2026-06-08T12:00:00Z",
  "updated_at": "2026-06-08T12:00:00Z"
}

完成回應

{
  "id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "status": "COMPLETED",
  "job_spec_json": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  },
  "work_units": [
    {
      "id": "…",
      "index": 0,
      "status": "COMPLETED"
    }
  ],
  "outputs": [
    {
      "id": "…",
      "output_type": "<output type>",
      "filename": "<output filename>",
      "size_bytes": 524288,
      "download_url": "<presigned output download URL>"
    }
  ],
  "created_at": "2026-06-08T12:00:00Z",
  "updated_at": "<completion timestamp>"
}