LLM
Nemotron 3 Nano Chat
Stellen Sie eine Frage oder probieren Sie eine kurze Schreibaufgabe. Angemeldet werden Sie, wenn Sie Ihre erste Nachricht senden.
Licensed by NVIDIA Corporation under the NVIDIA Open Model License
Modelllizenzen
NVIDIA Nemotron 3 Nano IQ4_XS GGUF derivative · LicenseRef-NVIDIA-Open-Model-2025-10-24
NVIDIA Open Model License Agreement (24 October 2025). Keep the agreement and Notice with distributed model copies; comply with NVIDIA Trustworthy AI terms and retain applicable safeguards.
Chatten Sie mit NVIDIA Nemotron 3 Nano, einem größeren offenen Modell als die smartphonegerechten Chats. Kostenloser KI-Chat auf Geräten, die Sie verbinden. Ein starker Computer kann es allein halten; andernfalls verteilt sich die Arbeit auf Rechner, die Sie hinzufügen. Nur Text. Der erste Download ist groß, und spätere Chats verwenden ihn erneut. Das Modell steht unter der NVIDIA Open Model License.
API-Referenz
Per REST übermitteln
Verwenden Sie Ihren persönlichen API-Schlüssel (msk_…), um aus Ihren eigenen Tools Jobs für diesen Workload zu erstellen. So gestartete Jobs laufen auf denselben Geräten, die Sie unter Ihre Geräte verbunden haben – mindestens eines muss online sein.
https://cp.meshlabs.cloud/v1/organizations/jobsAuthentifizieren Sie sich mit X-Organization-Api-Key: msk_your_personal_api_key. Der Header-Name entspricht dem der Organisationsschlüssel; persönliche Schlüssel verwenden denselben Endpunkt.
POST https://cp.meshlabs.cloud/v1/organizations/job-inputs/presign mit demselben API-Schlüssel auf, laden Sie Ihre Datei an die zurückgegebene upload_url hoch und übergeben Sie dann download_url in job_spec (zum Beispiel als input_image_url).Anfrage-Body
{
"workload_type": "nemotron3-nano-30b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}Felder von job_spec
| Feld | Erforderlich | Standard | Beschreibung |
|---|---|---|---|
system_prompt | Nein | — | Optionaler System-Prompt |
enable_thinking | Nein | true | Denken/Reasoning vor der endgültigen Antwort aktivieren. Nemotron-3-Nano-Primer sind ChatML <think>/</think> (IDs 12/13); lassen Sie dies für Reasoning eingeschaltet. temperature=1.0 / top_p=1.0 sind die Standardwerte der Karte für diesen Modus. |
max_new_tokens | Nein | 2048 | Maximal generierte Tokens (Denken + Antwort). Für lange Ausgaben erhöhen. Prompt und Generierung teilen sich das Kontextfenster, sodass die Generierung am Kontext endet, statt die Speicheruntergrenze der Stufe zu erhöhen. |
max_context | Nein | 8192 | Gesamtzahl der Tokens, für die die Stufen-Hosts KV-/rekurrenten Zustand reservieren – Prompt plus Generierung. Die Obergrenze ist der größte Kontext, bei dem das Oracle dieses Modell gemessen hat, sodass die Platzierung nie über die Messwerte hinaus extrapolieren muss. Ein höherer Wert erhöht die Speicheruntergrenze und schränkt damit ein, welche Geräte den Auftrag ausführen können. |
kv_hot_window | Nein | 32768 | Der physische Attention-KV wird auf die neuesten N Tokens begrenzt, sodass eine Unterhaltung, die länger als N ist, ihre ältesten Beiträge vergisst, statt an der Kontextgrenze anzuhalten. 0 hält den gesamten Kontext resident. Bei oder unterhalb des Kontextfensters ändert dies nichts – gleicher Speicher, gleiche Attention – und eine Senkung darunter tauscht Langzeiterinnerung gegen unbegrenzte Unterhaltungslänge, weil das Modell jenseits des Fensters tatsächlich nichts sehen kann. |
turns | Nein | — | Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`. |
temperature | Nein | 1 | Temperature |
top_p | Nein | 1 | Top P |
top_k | Nein | 20 | Top K |
presence_penalty | Nein | 0 | Presence Penalty |
repetition_penalty | Nein | 1 | Repetition Penalty |
seed | Nein | — | Zufalls-Seed für Reproduzierbarkeit |
speculative_ngram | Nein | false | Prompt-Lookup-Drafting: Wiederholte N-Gramme aus dem Kontext werden als Entwurfsblöcke eingespielt und vom Modell in EINEM Durchlauf verifiziert, sodass ein einzelner Netzwerk-Roundtrip mehrere Tokens festschreiben kann. Kein zusätzliches Modell; die Ausgabe ist identisch mit sequenzieller Dekodierung. |
speculative_draft_model | Nein | false | Führen Sie ein winziges GGUF-Entwurfsmodell auf dem Checkpoint-Knoten aus, um Entwurfsblöcke vorzuschlagen (bevorzugen Sie 'Draft model bundled filename'; die externe URL bleibt als Fallback verfügbar). Fällt auf N-Gramm-Drafting zurück, wenn das Entwurfsmodell nicht verfügbar ist. |
draft_model_file | Nein | — | Dateiname eines unpartitionierten GGUF-Entwurfsmodells in diesem Workload-Bundle. Das SDK löst ihn aus required_files auf, sodass private S3-Buckets die vom Server bereitgestellte signierte/Proxy-URL statt einer öffentlichen URL verwenden können. |
draft_model_url | Nein | — | Optionale externe HTTPS-URL des winzigen GGUF-Entwurfsmodells. Wird als Fallback verwendet, wenn 'Draft model bundled filename' fehlt oder nicht in required_files enthalten ist. |
speculative_max_draft | Nein | 8 | Obergrenze für die pro Block verifizierten Entwurfs-Tokens. Die effektive Länge passt sich der beobachteten Akzeptanzrate an. |
min_remote_stages | Nein | 0 | Diagnostischer Platzierungsregler für GGUF-Pipeline-parallele Tests. Bei > 0 wird der Checkpoint nur Knoten zugewiesen, die mindestens so viele Stufen über WebRTC statt lokal ausführen würden. Fällt nach dem Kulanzfenster des Checkpoint-Peers zurück, um Produktionsaufträge nicht auszuhungern. |
wire_hidden_dtype | Nein | f16 | Datentyp der versteckten Aktivierungen zwischen GGUF-Pipeline-Stufen. f16 halbiert die Wire-Nutzlast für Prefill und spekulative Blöcke; f32 ist ein diagnostischer Fallback. |
wire_hidden_codec | Nein | fp16 | Experimenteller Codec für Mehr-Token-Blöcke versteckter Aktivierungen zwischen GGUF-Pipeline-Stufen. Die Einzel-Token-Dekodierung bleibt beim günstigen Datentyp-Pfad; generische Codecs werden nur für Prefill-/spekulative Blöcke verwendet, bei denen Byte-Einsparungen die Codec-Kosten ausgleichen können. fp16 ist am sichersten; auto8/hq8 sind Diagnosewerkzeuge. |
stage_chaining | Nein | true | Wenn alle GGUF-Stufen remote laufen und das Chain-Protokoll unterstützen, werden versteckte Aktivierungen direkt von Stufe zu Stufe gesendet, statt jede Grenze über den Checkpoint-Koordinator weiterzuleiten. |
latent_mode | Nein | off | Trainingsfreies Soft Thinking / SwiReasoning während <think>…</think>. Erfordert GGUF-WASM mit _lstage_eval_soft auf den Stufen-Hosts; andernfalls Rückfall auf diskrete Dekodierung. Standardmäßig aus, bis das CDN-WASM neu gebaut ist. Schließt sich mit Speculation gegenseitig aus, wenn Soft Thinking aktiv ist. |
latent_phase | Nein | tagged | tagged = Denk-Marker; prefix = ab Schritt 0 (Modelle ohne Marker). |
latent_exit_text | Nein | Final answer: | Wird nur bei latent_phase=prefix verwendet (gewöhnliche Vokabular-Tokens). |
latent_top_n | Nein | 15 | Soft Top-n |
latent_entropy_tau | Nein | 0.05 | Cold-Stop-Entropie τ |
latent_cold_stop_k | Nein | 256 | Cold-Stop aufeinanderfolgende Schritte |
swi_dwell_window | Nein | 512 | Swi Verweildauer Explizit→Latent |
swi_max_switches | Nein | 8 | Swi max. Wechsel Latent→Explizit |
max_thinking_tokens | Nein | 1536 | Hartes Budget vor erzwungenem </think> / Prefix-Ausstieg. Muss deutlich unter `max_new_tokens` bleiben: Ein Reasoning-Budget auf oder über dem gesamten Generierungsbudget führt zu einer mitten im Gedanken abgebrochenen Antwort ohne jede Lösung. Die Control Plane berechnet dies anhand des Budgets, das die gewählte Platzierung tatsächlich leisten kann, neu: Ein kleinerer Wert wird beachtet, ein größerer begrenzt. |
min_thinking_tokens | Nein | 0 | Untergrenze: maskiert </think> beim Sampling, bis so viele Reasoning-Tokens vorhanden sind. 0 deaktiviert. Verhindert, dass ein Think-Block beim ersten generierten Token schließt und ganz ohne Reasoning antwortet. |
prompt | Ja | — | Benutzernachricht / Prompt für das Chatmodell |
cURL
curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
-H "X-Organization-Api-Key: msk_your_personal_api_key" \
-H "Content-Type: application/json" \
-d '{
"workload_type": "nemotron3-nano-30b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}'https://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}Fragen Sie mit demselben API-Schlüssel ab, bis status einen Endzustand erreicht (COMPLETED, FAILED, CANCELED oder MODERATION_BLOCKED). Ist die Inhaltsmoderation aktiviert, können Jobs in MODERATION_PENDING beginnen, bevor sie in die Compute-Warteschlange gelangen. Abgeschlossene Jobs enthalten für jede Ausgabe vorsignierte download_url-Werte.
Antwort beim Erstellen
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "nemotron3-nano-30b-gguf-pp",
"status": "PENDING",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [],
"outputs": [],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "2026-06-08T12:00:00Z"
}Antwort nach Abschluss
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "nemotron3-nano-30b-gguf-pp",
"status": "COMPLETED",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 1,
"top_p": 1,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [
{
"id": "…",
"index": 0,
"status": "COMPLETED"
}
],
"outputs": [
{
"id": "…",
"output_type": "<output type>",
"filename": "<output filename>",
"size_bytes": 524288,
"download_url": "<presigned output download URL>"
}
],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "<completion timestamp>"
}