LLM

Nemotron 3 Nano-chatt

Ställ en fråga eller prova en kort skrivuppgift. Logga in när du skickar ditt första meddelande.

Licensed by NVIDIA Corporation under the NVIDIA Open Model License

Modelllicenser

NVIDIA Nemotron 3 Nano IQ4_XS GGUF derivative · LicenseRef-NVIDIA-Open-Model-2025-10-24

NVIDIA Open Model License Agreement (24 October 2025). Keep the agreement and Notice with distributed model copies; comply with NVIDIA Trustworthy AI terms and retain applicable safeguards.

Medföljande licens

Meddelande

GratisOnlineObegränsatLicensed by NVIDIA Corporation under the NVIDIA Open Model License API-åtkomst

När du är redo.

Skriv ditt meddelande och tryck på Skicka för att logga in och börja.

Chatta med NVIDIA Nemotron 3 Nano, en större öppen modell än chattarna i mobilstorlek. Gratis AI-chatt på enheter du ansluter. En kraftfull dator kan hålla den; annars delas arbetet upp över maskiner du lägger till. Endast text. Den första nedladdningen är stor, och senare chattar återanvänder den. Modellen omfattas av NVIDIA Open Model License.

API-referens

Skicka via REST

Använd din personliga API-nyckel (msk_…) för att skapa jobb för den här arbetslasten från dina egna verktyg. Jobb som startas på det här sättet körs på samma enheter som du har anslutit under Dina enheter — minst en måste vara online.

Dölj API-detaljer
POSThttps://cp.meshlabs.cloud/v1/organizations/jobs

Autentisera med X-Organization-Api-Key: msk_your_personal_api_key. Huvudnamnet är detsamma som för organisationsnycklar; personliga nycklar använder samma slutpunkt.

Indatafiler:Anropa POST https://cp.meshlabs.cloud/v1/organizations/job-inputs/presign med samma API-nyckel, ladda upp din fil till den returnerade upload_url och skicka sedan download_url i job_spec (till exempel som input_image_url).

Begärans brödtext

{
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "job_spec": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  }
}

Fält för job_spec

FältObligatorisktStandardBeskrivning
system_promptNej—Valfri systemprompt
enable_thinkingNejtrueAktivera tänkande/resonemang före det slutliga svaret. Nemotron-3 Nano-primers är ChatML <think>/</think> (id 12/13); låt detta vara på för resonerande. temperature=1.0 / top_p=1.0 är kortets standardvärden för det läget.
max_new_tokensNej2048Maximalt antal genererade tokens (tänkande + svar). Höj för långa texter. Prompt och generering delar kontextfönstret, så genereringen stoppas vid kontexten i stället för att öka stegets minnesgolv.
max_contextNej8192Totalt antal tokens som stegvärdarna allokerar KV-/rekurrent tillstånd för – prompt plus generering. Taket är den största kontext som Oracle mätte den här modellen vid, så placeringen behöver aldrig extrapolera bortom bevisen. Om du höjer det höjs minnesgolvet, vilket minskar antalet enheter som kan köra jobbet.
kv_hot_windowNej32768Fysiskt attention-KV begränsas till de senaste N tokens, så en konversation längre än N glömmer sina äldsta repliker i stället för att stanna vid kontextgränsen. 0 behåller hela kontexten residente. På eller under kontextfönstret ändras ingenting – samma minne, samma attention – och om du sänker det under kontextfönstret byter du långdistansminne mot obegränsad konversationslängd, eftersom modellen faktiskt inte kan se bortom fönstret.
turnsNej—Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`.
temperatureNej1Temperature
top_pNej1Top P
top_kNej20Top K
presence_penaltyNej0Presence Penalty
repetition_penaltyNej1Repetition Penalty
seedNej—Slumpmässig seed för reproducerbarhet
speculative_ngramNejfalseUtkast via promptsökning: upprepade n-gram från kontexten spelas upp som utkastblock och verifieras av modellen i ETT pass, så att en enda nätverksrundtur kan bekräfta flera tokens. Ingen extra modell; utdata är identiska med sekventiell avkodning.
speculative_draft_modelNejfalseKör en liten GGUF-utkastmodell på checkpoint-noden för att föreslå utkastblock (föredra 'Draft model bundled filename'; extern URL finns kvar som reserv). Faller tillbaka på n-gram-utkast när utkastmodellen inte är tillgänglig.
draft_model_fileNej—Filnamn på en opartitionerad GGUF-utkastmodell i det här arbetsbelastningspaketet. SDK:n löser upp det från required_files, så privata S3-hinkar kan använda den server-tillhandahållna signerade/proxy-URL:en i stället för en offentlig URL.
draft_model_urlNej—Valfri extern HTTPS-URL till den lilla GGUF-utkastmodellen. Används som reserv när 'Draft model bundled filename' saknas eller inte finns i required_files.
speculative_max_draftNej8Övre gräns för antalet utkasttokens som verifieras per block. Den effektiva längden anpassas efter den observerade acceptansgraden.
min_remote_stagesNej0Diagnostisk placeringsparameter för test av GGUF pipelineparallellism. När > 0 tilldelas checkpointen bara noder som skulle köra minst så här många steg över WebRTC i stället för lokalt. Faller tillbaka efter checkpoint-peerns respitfönster för att inte svälta produktionsjobb.
wire_hidden_dtypeNejf16Datatyp för dolda aktiveringar mellan GGUF-pipelinesteg. f16 halverar trådens nyttolast för prefill och spekulativa block; f32 är en diagnostisk reserv.
wire_hidden_codecNejfp16Experimentell kodek för dolda aktiveringsblock med flera tokens mellan GGUF-pipelinesteg. Avkodning av en enda token behåller den billiga datatypsvägen; generiska kodekar används bara för prefill-/spekulativa block där bytebesparingen kan väga upp kodekkostnaden. fp16 är säkrast; auto8/hq8 är diagnostik.
stage_chainingNejtrueNär alla GGUF-steg är fjärrstyrda och stöder kedjeprotokollet skickas dolda aktiveringar direkt från steg till steg i stället för att vidarebefordra varje gräns via checkpoint-koordinatorn.
latent_modeNejoffTräningsfri Soft Thinking / SwiReasoning under <think>…</think>. Kräver GGUF WASM med _lstage_eval_soft på stegvärdar; annars faller den tillbaka på diskret avkodning. Standard av tills CDN-WASM har byggts om. Utesluter spekulation när Soft Thinking är aktivt.
latent_phaseNejtaggedtagged = tänkemarkörer; prefix = från steg 0 (modeller utan markörer).
latent_exit_textNej Final answer: Används bara när latent_phase=prefix (vanliga vokabulärtokens).
latent_top_nNej15Soft top-n
latent_entropy_tauNej0.05Cold Stop-entropi τ
latent_cold_stop_kNej256Cold Stop på varandra följande steg
swi_dwell_windowNej512Swi Explicit→Latent-vistelse
swi_max_switchesNej8Swi max antal växlingar Latent→Explicit
max_thinking_tokensNej1536Hård budget före tvingad </think> / prefixutgång. Måste ligga märkbart under `max_new_tokens`: en resonemangsbudget som ligger på eller över den totala genereringsbudgeten ger ett svar som bryts mitt i tanken utan något svar alls. Kontrollplanet beräknar om detta utifrån den budget som den valda placeringen faktiskt klarar, så ett lägre värde respekteras medan ett högre begränsas.
min_thinking_tokensNej0Golv: maskar </think> ur samplingen tills så här många resonemangstokens finns. 0 inaktiverar. Hindrar ett think-block från att stängas vid den första genererade token och svara utan något resonemang alls.
promptJa—Användarmeddelande / prompt till chattmodellen

cURL

curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
  -H "X-Organization-Api-Key: msk_your_personal_api_key" \
  -H "Content-Type: application/json" \
  -d '{
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "job_spec": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  }
}'
GEThttps://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}

Polla med samma API-nyckel tills status är slutgiltig (COMPLETED, FAILED, CANCELED eller MODERATION_BLOCKED). När innehållsmoderering är aktiverad kan jobb börja i MODERATION_PENDING innan de går in i beräkningskön. Slutförda jobb innehåller försignerade download_url-värden för varje utdata.

Svar vid skapande

{
  "id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "status": "PENDING",
  "job_spec_json": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  },
  "work_units": [],
  "outputs": [],
  "created_at": "2026-06-08T12:00:00Z",
  "updated_at": "2026-06-08T12:00:00Z"
}

Svar vid slutförande

{
  "id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
  "workload_type": "nemotron3-nano-30b-gguf-pp",
  "status": "COMPLETED",
  "job_spec_json": {
    "enable_thinking": true,
    "max_new_tokens": 2048,
    "max_context": 8192,
    "kv_hot_window": 32768,
    "temperature": 1,
    "top_p": 1,
    "top_k": 20,
    "presence_penalty": 0,
    "repetition_penalty": 1,
    "speculative_ngram": false,
    "speculative_draft_model": false,
    "speculative_max_draft": 8,
    "min_remote_stages": 0,
    "wire_hidden_dtype": "f16",
    "wire_hidden_codec": "fp16",
    "stage_chaining": true,
    "latent_mode": "off",
    "latent_phase": "tagged",
    "latent_exit_text": "\n\nFinal answer:\n",
    "latent_top_n": 15,
    "latent_entropy_tau": 0.05,
    "latent_cold_stop_k": 256,
    "swi_dwell_window": 512,
    "swi_max_switches": 8,
    "max_thinking_tokens": 1536,
    "min_thinking_tokens": 0,
    "prompt": "A photorealistic lighthouse at dusk"
  },
  "work_units": [
    {
      "id": "…",
      "index": 0,
      "status": "COMPLETED"
    }
  ],
  "outputs": [
    {
      "id": "…",
      "output_type": "<output type>",
      "filename": "<output filename>",
      "size_bytes": 524288,
      "download_url": "<presigned output download URL>"
    }
  ],
  "created_at": "2026-06-08T12:00:00Z",
  "updated_at": "<completion timestamp>"
}