LLM
Nemotron 3 Nano-chat
Stil et spørgsmål, eller prøv en kort skriveopgave. Du logger ind, når du sender din første besked.
Licensed by NVIDIA Corporation under the NVIDIA Open Model License
Modellicenser
NVIDIA Nemotron 3 Nano IQ4_XS GGUF derivative · LicenseRef-NVIDIA-Open-Model-2025-10-24
NVIDIA Open Model License Agreement (24 October 2025). Keep the agreement and Notice with distributed model copies; comply with NVIDIA Trustworthy AI terms and retain applicable safeguards.
Chat med NVIDIA Nemotron 3 Nano, en større åben model end chatmodellerne i telefonstørrelse. Gratis AI-chat på enheder, du tilslutter. Én stærk computer kan rumme den; ellers fordeles arbejdet på de maskiner, du tilføjer. Kun tekst. Den første download er stor, og senere chats genbruger den. Modellen er underlagt NVIDIA Open Model License.
API-reference
Indsend via REST
Brug din personlige API-nøgle (msk_…) til at oprette jobs for denne workload fra dine egne værktøjer. Jobs, der startes på denne måde, kører på de samme enheder, som du har forbundet under Dine enheder — mindst én skal være online.
https://cp.meshlabs.cloud/v1/organizations/jobsGodkend med X-Organization-Api-Key: msk_your_personal_api_key. Headernavnet er det samme som for organisationsnøgler; personlige nøgler bruger det samme endpoint.
POST https://cp.meshlabs.cloud/v1/organizations/job-inputs/presign med den samme API-nøgle, upload din fil til den returnerede upload_url, og send derefter download_url i job_spec (f.eks. som input_image_url).Forespørgslens body
{
"workload_type": "nemotron3-nano-30b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}Felter i job_spec
| Felt | Påkrævet | Standard | Beskrivelse |
|---|---|---|---|
system_prompt | Nej | — | Valgfrit systemprompt |
enable_thinking | Nej | true | Aktivér tænkning/ræsonnement før det endelige svar. Nemotron-3 Nano-primere er ChatML <think>/</think> (id 12/13); lad den stå slået til for ræsonnement. temperature=1.0 / top_p=1.0 er kortets standardværdier for den tilstand. |
max_new_tokens | Nej | 2048 | Maksimalt antal genererede tokens (tænkning + svar). Hæv til langt output. Prompt og generering deler kontekstvinduet, så genereringen stopper ved konteksten i stedet for at øge stadiets hukommelsesgulv. |
max_context | Nej | 8192 | Samlet antal tokens, som stadiernes værter afsætter KV-/rekurrent tilstand til – prompt plus generering. Loftet er den største kontekst, Oracle har målt denne model ved, så placeringen aldrig behøver at ekstrapolere ud over beviserne. Hvis du hæver det, hæves hukommelsesgulvet, og dermed bliver det snævrere, hvilke enheder der kan køre opgaven. |
kv_hot_window | Nej | 32768 | Fysisk attention-KV begrænses til de nyeste N tokens, så en samtale, der er længere end N, glemmer sine ældste replikker i stedet for at stoppe ved kontekstgrænsen. 0 beholder hele konteksten resident. Ved eller under kontekstvinduet ændrer dette intet – samme hukommelse, samme attention – og hvis du sænker det under kontekstvinduet, bytter du langtrækkende genkaldelse for ubegrænset samtalelængde, fordi modellen reelt ikke kan se ud over vinduet. |
turns | Nej | — | Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`. |
temperature | Nej | 1 | Temperature |
top_p | Nej | 1 | Top P |
top_k | Nej | 20 | Top K |
presence_penalty | Nej | 0 | Presence Penalty |
repetition_penalty | Nej | 1 | Repetition Penalty |
seed | Nej | — | Tilfældigt seed for reproducerbarhed |
speculative_ngram | Nej | false | Prompt-opslagsudkast: gentagne n-gram fra konteksten afspilles igen som udkastblokke og verificeres af modellen i ÉT gennemløb, så en enkelt netværksrundtur kan fastlægge flere tokens. Ingen ekstra model; outputtet er identisk med sekventiel afkodning. |
speculative_draft_model | Nej | false | Kør en lille GGUF-udkastmodel på checkpoint-noden for at foreslå udkastblokke (foretræk 'Draft model bundled filename'; ekstern URL er fortsat tilgængelig som fallback). Falder tilbage til n-gram-udkast, når udkastmodellen ikke er tilgængelig. |
draft_model_file | Nej | — | Filnavn på en upartitioneret GGUF-udkastmodel i denne workload-pakke. SDK'et finder den i required_files, så private S3-buckets kan bruge den serverleverede signerede/proxy-URL i stedet for en offentlig URL. |
draft_model_url | Nej | — | Valgfri ekstern HTTPS-URL til den lille GGUF-udkastmodel. Bruges som fallback, når 'Draft model bundled filename' mangler eller ikke findes i required_files. |
speculative_max_draft | Nej | 8 | Øvre grænse for udkasttokens, der verificeres pr. blok. Den effektive længde tilpasser sig den observerede accepteringsrate. |
min_remote_stages | Nej | 0 | Diagnostisk placeringsknap til test af GGUF-pipelineparallelisme. Når den er > 0, tildeles checkpointet kun til noder, der ville køre mindst så mange stadier over WebRTC i stedet for lokalt. Falder tilbage efter checkpoint-peerens henstandsvindue for ikke at udsulte produktionsopgaver. |
wire_hidden_dtype | Nej | f16 | Dtype for skjulte aktiveringer mellem GGUF-pipelinestadier. f16 halverer wire-nyttelasten for prefill og spekulative blokke; f32 er en diagnostisk fallback. |
wire_hidden_codec | Nej | fp16 | Eksperimentel codec til skjulte aktiveringsblokke med flere tokens mellem GGUF-pipelinestadier. Afkodning af enkelte tokens bruger den billige dtype-sti; generiske codecs bruges kun til prefill-/spekulative blokke, hvor bytebesparelser kan opveje codec-omkostningen. fp16 er sikrest; auto8/hq8 er diagnostik. |
stage_chaining | Nej | true | Når alle GGUF-stadier er eksterne og understøtter kædeprotokollen, sendes skjulte aktiveringer direkte fra stadie til stadie i stedet for at blive videresendt via checkpoint-koordinatoren ved hver grænse. |
latent_mode | Nej | off | Træningsfri Soft Thinking / SwiReasoning under <think>…</think>. Kræver GGUF WASM med _lstage_eval_soft på stadiehosts; ellers falder den tilbage til diskret afkodning. Standard fra, indtil CDN-WASM er genbygget. Udelukker spekulation, når Soft Thinking er aktiv. |
latent_phase | Nej | tagged | tagged = tænkemarkører; prefix = fra trin 0 (modeller uden markører). |
latent_exit_text | Nej | Final answer: | Bruges kun, når latent_phase=prefix (almindelige vokabulartokens). |
latent_top_n | Nej | 15 | Soft top-n |
latent_entropy_tau | Nej | 0.05 | Cold Stop-entropi τ |
latent_cold_stop_k | Nej | 256 | Cold Stop på hinanden følgende trin |
swi_dwell_window | Nej | 512 | Swi Explicit→Latent-ophold |
swi_max_switches | Nej | 8 | Swi maks. Latent→Explicit-skift |
max_thinking_tokens | Nej | 1536 | Hårdt budget før tvungen </think> / præfiksafslutning. Skal ligge mærkbart under `max_new_tokens`: et ræsonnementsbudget på eller over det samlede genereringsbudget giver et svar, der afbrydes midt i tankerne uden noget svar overhovedet. Kontrolplanet beregner dette igen ud fra det budget, den valgte placering faktisk kan klare, så en mindre værdi respekteres, og en større begrænses. |
min_thinking_tokens | Nej | 0 | Gulv: maskér </think> ud af samplingen, indtil så mange ræsonnementstokens findes. 0 deaktiverer. Forhindrer, at en tænkeblok lukker på det første genererede token og svarer helt uden ræsonnement. |
prompt | Ja | — | Brugerbesked / prompt til chatmodellen |
cURL
curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
-H "X-Organization-Api-Key: msk_your_personal_api_key" \
-H "Content-Type: application/json" \
-d '{
"workload_type": "nemotron3-nano-30b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}'https://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}Poll med den samme API-nøgle, indtil status er endelig (COMPLETED, FAILED, CANCELED eller MODERATION_BLOCKED). Når indholdsmoderering er aktiveret, kan jobs starte i MODERATION_PENDING, før de kommer i beregningskøen. Fuldførte jobs indeholder forhåndssignerede download_url-værdier for hvert output.
Svar ved oprettelse
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "nemotron3-nano-30b-gguf-pp",
"status": "PENDING",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [],
"outputs": [],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "2026-06-08T12:00:00Z"
}Svar ved fuldførelse
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "nemotron3-nano-30b-gguf-pp",
"status": "COMPLETED",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [
{
"id": "…",
"index": 0,
"status": "COMPLETED"
}
],
"outputs": [
{
"id": "…",
"output_type": "<output type>",
"filename": "<output filename>",
"size_bytes": 524288,
"download_url": "<presigned output download URL>"
}
],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "<completion timestamp>"
}