LLM
Ornith 1.5 35B A3B
提出問題,或試試簡短的寫作任務。傳送第一則訊息時再登入即可。
Publisher sibling LICENSE: Copyright (c) 2026 deepreinforce.ai; no separate weights holder supplied.
Copyright 2026 Alibaba Cloud
模型授權
Ornith-1.5-35B-A3B · MIT
Owner accepted publisher MIT declaration 2026-11-18. Full text comes from publisher sibling repository, tied by publisher README sentence; no weights-specific copyright holder supplied. Keep MIT and MESH provenance/change notice. Own-device gate remains unchanged.
Qwen3.6-35B-A3B (inferred ancestor; conservative notice) · Apache-2.0
Conservative upstream notice preservation: lineage inferred from five matching sampled tensors, not confirmed by Ornith publisher or exhaustive checkpoint comparison. Keep Apache licence and modification notice. No separate upstream NOTICE found.
選擇模型
輸入訊息並按下「傳送」,即可登入並開始。
輸入提示詞,即可從 Ornith 1.5 35B 取得回答。這是一個先思考再回覆的模型,專為撰寫程式碼、除錯與逐步推理而打造。它是混合專家(MoE)模型:總共 350 億個參數,但每個字只會用到約三十億個,這正是如此高能力的模型也能在一般硬體上執行的原因。 以一般方式部署它需要一張 80 GB 的資料中心 GPU。在這裡,它被拆成許多小片段,分散到您連接的裝置上,可以是筆電、桌上型電腦、閒置的機器,或是多台一起使用,每台只需承載不到 1 GB。這讓它成為您真正能自己執行、而不是租用的免費線上 LLM。您可以請它寫函式、找出錯誤、規劃重構,或解答困難的問題;它會先呈現推理過程,再給出答案。 輸入文字、輸出文字:它不會讀取或產生圖片,答案會以可複製的純文字呈現。
API 參考
透過 REST 提交
使用您的個人 API 金鑰(msk_…),從您自己的工具為此工作負載建立工作。以這種方式啟動的工作,會在您於 您的裝置 連接的同一批裝置上執行——至少須有一部在線上。
https://cp.meshlabs.cloud/v1/organizations/jobs使用 X-Organization-Api-Key: msk_your_personal_api_key 進行驗證。此標頭名稱與組織金鑰相同;個人金鑰使用同一個端點。
POST https://cp.meshlabs.cloud/v1/organizations/job-inputs/presign,將您的檔案上傳到傳回的 upload_url,然後在 job_spec 中傳入 download_url(例如作為 input_image_url)。請求內文
{
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}job_spec 欄位
| 欄位 | 必填 | 預設值 | 說明 |
|---|---|---|---|
system_prompt | 否 | — | 選填的系統提示詞 |
enable_thinking | 否 | true | 在給出最終答案前啟用思考/推理。Ornith 的聊天範本會開啟 `<think>` 區塊;請保持開啟。 |
max_new_tokens | 否 | 2048 | 生成 token 數上限(思考加答案)。需要長篇輸出時可調高。提示詞與生成內容共用上下文視窗,因此生成會在上下文處停止,而不會擴大階段的記憶體下限。 |
max_context | 否 | 8192 | 階段主機為 KV/循環狀態配置的 token 總數,包含提示詞與生成內容。上限是 Oracle 對此模型實測過的最大上下文,因此配置不必外推到證據範圍之外。提高此值會提高記憶體下限,也因此縮小能執行此工作的裝置範圍。 |
kv_hot_window | 否 | 32768 | 實體注意力 KV 上限為最新的 N 個 token,因此超過 N 的對話會忘掉最早的幾輪,而不是在上下文上限處停止。0 表示保留完整上下文常駐。等於或低於上下文視窗時不會有任何改變,記憶體與注意力皆相同;若調低到上下文視窗以下,則是以長距離回想換取不受限的對話長度,因為模型確實看不到視窗之外的內容。 |
turns | 否 | — | Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`. |
temperature | 否 | 0.6 | Temperature |
top_p | 否 | 0.95 | Top P |
top_k | 否 | 20 | Top K |
presence_penalty | 否 | 0 | Presence Penalty |
repetition_penalty | 否 | 1 | Repetition Penalty |
seed | 否 | — | 可重現結果的隨機種子 |
speculative_ngram | 否 | false | 提示詞查找草稿:將上下文中重複的 n-gram 作為草稿區塊重播,並由模型在一次傳遞中驗證,因此單次網路往返就能確認多個 token。不需額外模型;輸出與逐步解碼完全相同。 |
speculative_draft_model | 否 | false | 在檢查點節點上執行小型 GGUF 草稿模型來提出草稿區塊(建議使用「內建草稿模型檔名」;外部 URL 仍可作為備援)。當草稿模型無法使用時,會退回 n-gram 草稿。 |
draft_model_file | 否 | — | 此工作負載套件中未分割的 GGUF 草稿模型檔名。SDK 會從 required_files 解析它,因此私有 S3 儲存貯體可使用伺服器提供的簽署/代理 URL,而不必使用公開 URL。 |
draft_model_url | 否 | — | 小型 GGUF 草稿模型的選填外部 HTTPS URL。當「內建草稿模型檔名」未設定或不在 required_files 中時,作為備援使用。 |
speculative_max_draft | 否 | 8 | 每個區塊所驗證的草稿 token 數上限。實際長度會依觀察到的接受率調整。 |
min_remote_stages | 否 | 0 | 用於 GGUF 管線平行測試的診斷配置選項。大於 0 時,檢查點只會指派給至少會透過 WebRTC(而非本機)執行這麼多階段的節點。在檢查點對等節點寬限期過後會退回,以免讓正式工作餓死。 |
wire_hidden_dtype | 否 | f16 | GGUF 管線階段之間的隱藏啟動值資料型別。f16 讓預填與推測區塊的傳輸負載減半;f32 為診斷用的備援。 |
wire_hidden_codec | 否 | fp16 | 用於 GGUF 管線階段之間多 token 隱藏啟動值區塊的實驗性編解碼器。單 token 解碼維持低成本的資料型別路徑;通用編解碼器僅用於位元組節省足以抵銷編解碼成本的預填/推測區塊。fp16 最安全;auto8/hq8 為診斷用。 |
stage_chaining | 否 | true | 當所有 GGUF 階段都在遠端且支援串接協定時,直接在階段之間傳送隱藏啟動值,而不必經由檢查點協調器轉送每個邊界。 |
latent_mode | 否 | off | 在 <think>…</think> 期間使用免訓練的 Soft Thinking / SwiReasoning。需要階段主機上具備含 _lstage_eval_soft 的 GGUF WASM;否則退回離散解碼。在 CDN WASM 重新建置前預設為關閉。啟用 Soft Thinking 時與推測互斥。 |
latent_phase | 否 | tagged | tagged = 思考標記;prefix = 從第 0 步開始(無標記的模型)。 |
latent_exit_text | 否 | Final answer: | 僅在 latent_phase=prefix 時使用(一般詞彙 token)。 |
latent_top_n | 否 | 15 | Soft top-n |
latent_entropy_tau | 否 | 0.05 | Cold Stop 熵 τ |
latent_cold_stop_k | 否 | 256 | Cold Stop 連續步數 |
swi_dwell_window | 否 | 512 | Swi 顯式→潛在停留 |
swi_max_switches | 否 | 8 | Swi 潛在→顯式最大切換次數 |
max_thinking_tokens | 否 | 1536 | 強制 </think> / 前綴結束前的硬性預算。此值必須明顯低於 `max_new_tokens`:若推理預算等於或高於總生成預算,回覆會在思考途中被截斷,完全沒有答案。控制平面會根據所選配置實際負擔得起的預算重新裁定此值,因此較小的值會被採用,較大的值則會被限縮。 |
min_thinking_tokens | 否 | 0 | 下限:在出現這麼多推理 token 之前,從取樣中遮蔽 </think>。0 表示停用。可避免思考區塊在第一個生成的 token 就關閉,導致完全沒有推理就回答。 |
prompt | 是 | — | 聊天模型的使用者訊息 / 提示詞 |
cURL
curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
-H "X-Organization-Api-Key: msk_your_personal_api_key" \
-H "Content-Type: application/json" \
-d '{
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}'https://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}使用同一個 API 金鑰輪詢,直到 status 進入終止狀態(COMPLETED、FAILED、CANCELED 或 MODERATION_BLOCKED)。啟用內容審核時,工作可能會先處於 MODERATION_PENDING 狀態,之後才進入運算佇列。已完成的工作會在每個輸出上附帶預先簽署的 download_url 值。
建立回應
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"status": "PENDING",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [],
"outputs": [],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "2026-06-08T12:00:00Z"
}完成回應
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"status": "COMPLETED",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [
{
"id": "…",
"index": 0,
"status": "COMPLETED"
}
],
"outputs": [
{
"id": "…",
"output_type": "<output type>",
"filename": "<output filename>",
"size_bytes": 524288,
"download_url": "<presigned output download URL>"
}
],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "<completion timestamp>"
}