LLM
Ornith 1.5 35B A3B
Đặt câu hỏi hoặc thử một yêu cầu viết ngắn. Bạn sẽ đăng nhập khi gửi tin nhắn đầu tiên.
Publisher sibling LICENSE: Copyright (c) 2026 deepreinforce.ai; no separate weights holder supplied.
Copyright 2026 Alibaba Cloud
Giấy phép mô hình
Ornith-1.5-35B-A3B · MIT
Owner accepted publisher MIT declaration 2026-11-18. Full text comes from publisher sibling repository, tied by publisher README sentence; no weights-specific copyright holder supplied. Keep MIT and MESH provenance/change notice. Own-device gate remains unchanged.
Qwen3.6-35B-A3B (inferred ancestor; conservative notice) · Apache-2.0
Conservative upstream notice preservation: lineage inferred from five matching sampled tensors, not confirmed by Ornith publisher or exhaustive checkpoint comparison. Keep Apache licence and modification notice. No separate upstream NOTICE found.
Nhập lời nhắc và nhận câu trả lời từ Ornith 1.5 35B — một mô hình biết suy nghĩ trước khi trả lời, được xây dựng cho lập trình, gỡ lỗi và suy luận từng bước. Đây là mô hình hỗn hợp chuyên gia: tổng cộng 35 tỷ tham số, nhưng chỉ khoảng ba tỷ được dùng cho mỗi từ, đó là lý do một mô hình đủ năng lực như vậy có thể chạy được trên phần cứng thông thường. Cách vận hành thông thường cần một GPU trung tâm dữ liệu 80 GB. Ở đây nó được chia thành các mảnh nhỏ trải ra trên các thiết bị bạn kết nối — một laptop, một máy tính để bàn, một máy dự phòng, hoặc nhiều máy cùng nhau — và mỗi máy chỉ giữ dưới một gigabyte. Nhờ vậy đây là một LLM trực tuyến miễn phí mà bạn có thể tự chạy thay vì phải thuê. Hãy nhờ nó viết một hàm, tìm lỗi, lên kế hoạch tái cấu trúc, hoặc giải một câu hỏi khó; nó sẽ trình bày lập luận trước rồi mới đưa ra câu trả lời. Văn bản vào, văn bản ra — nó không đọc hay tạo hình ảnh, và câu trả lời đến dưới dạng văn bản thuần mà bạn có thể sao chép.
Tài liệu tham khảo API
Gửi qua REST
Dùng khóa API cá nhân của bạn (msk_…) để tạo tác vụ cho workload này từ công cụ của riêng bạn. Tác vụ khởi chạy theo cách này chạy trên chính các thiết bị bạn đã kết nối tại Thiết bị của bạn — ít nhất một thiết bị phải trực tuyến.
https://cp.meshlabs.cloud/v1/organizations/jobsXác thực bằng X-Organization-Api-Key: msk_your_personal_api_key. Tên header giống với khóa tổ chức; khóa cá nhân dùng cùng endpoint.
POST https://cp.meshlabs.cloud/v1/organizations/job-inputs/presign với cùng khóa API, tải tệp của bạn lên upload_url được trả về, rồi truyền download_url trong job_spec (ví dụ dưới dạng input_image_url).Nội dung yêu cầu
{
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}Các trường của job_spec
| Trường | Bắt buộc | Mặc định | Mô tả |
|---|---|---|---|
system_prompt | Không | — | Lời nhắc hệ thống (không bắt buộc) |
enable_thinking | Không | true | Bật chế độ suy nghĩ/suy luận trước khi đưa ra câu trả lời cuối cùng. Mẫu trò chuyện của Ornith mở một khối `<think>`; hãy để bật. |
max_new_tokens | Không | 2048 | Số token tối đa được sinh ra (suy nghĩ + câu trả lời). Tăng lên cho đầu ra dài. Lời nhắc và phần sinh dùng chung cửa sổ ngữ cảnh, nên quá trình sinh dừng ở giới hạn ngữ cảnh thay vì làm tăng mức bộ nhớ tối thiểu của giai đoạn. |
max_context | Không | 8192 | Tổng số token mà các máy chủ giai đoạn cấp phát cho trạng thái KV/hồi quy — gồm lời nhắc và phần sinh. Mức trần là ngữ cảnh lớn nhất mà Oracle đã đo cho mô hình này, nhờ đó việc bố trí không bao giờ phải ngoại suy vượt quá bằng chứng. Tăng giá trị này sẽ nâng mức bộ nhớ tối thiểu và do đó thu hẹp số thiết bị có thể chạy tác vụ. |
kv_hot_window | Không | 32768 | KV attention vật lý bị giới hạn ở N token mới nhất, nên cuộc trò chuyện dài hơn N sẽ quên những lượt cũ nhất thay vì dừng ở giới hạn ngữ cảnh. 0 giữ toàn bộ ngữ cảnh thường trú. Ở mức bằng hoặc thấp hơn cửa sổ ngữ cảnh thì không có gì thay đổi — cùng bộ nhớ, cùng attention — và hạ thấp xuống dưới cửa sổ ngữ cảnh là đánh đổi khả năng nhớ xa để lấy độ dài cuộc trò chuyện không giới hạn, vì mô hình thực sự không thể nhìn ra ngoài cửa sổ. |
turns | Không | — | Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`. |
temperature | Không | 0.6 | Temperature |
top_p | Không | 0.95 | Top P |
top_k | Không | 20 | Top K |
presence_penalty | Không | 0 | Presence Penalty |
repetition_penalty | Không | 1 | Repetition Penalty |
seed | Không | — | Seed ngẫu nhiên để có thể tái lập kết quả |
speculative_ngram | Không | false | Soạn nháp theo tra cứu lời nhắc: các n-gram lặp lại trong ngữ cảnh được phát lại như các khối nháp và được mô hình xác minh trong MỘT lượt, nhờ đó một vòng truyền mạng có thể chốt nhiều token. Không cần mô hình bổ sung; kết quả giống hệt giải mã tuần tự. |
speculative_draft_model | Không | false | Chạy một mô hình nháp GGUF nhỏ trên node điểm kiểm tra để đề xuất các khối nháp (ưu tiên 'Tên tệp mô hình nháp đi kèm'; URL bên ngoài vẫn dùng được làm phương án dự phòng). Quay về soạn nháp n-gram khi không có mô hình nháp. |
draft_model_file | Không | — | Tên tệp của một mô hình nháp GGUF chưa phân vùng trong gói workload này. SDK phân giải nó từ required_files, nhờ đó các bucket S3 riêng tư có thể dùng URL ký/proxy do máy chủ cung cấp thay vì URL công khai. |
draft_model_url | Không | — | URL HTTPS bên ngoài (không bắt buộc) của mô hình nháp GGUF nhỏ. Được dùng làm phương án dự phòng khi 'Tên tệp mô hình nháp đi kèm' vắng mặt hoặc không có trong required_files. |
speculative_max_draft | Không | 8 | Giới hạn trên của số token nháp được xác minh trong mỗi khối. Độ dài thực tế thích ứng theo tỷ lệ chấp nhận quan sát được. |
min_remote_stages | Không | 0 | Núm chẩn đoán bố trí để kiểm thử GGUF song song theo đường ống. Khi > 0, điểm kiểm tra chỉ được giao cho các node chạy ít nhất số giai đoạn này qua WebRTC thay vì cục bộ. Quay về sau khoảng thời gian ân hạn của máy ngang hàng điểm kiểm tra để tránh làm đói các tác vụ production. |
wire_hidden_dtype | Không | f16 | Kiểu dữ liệu kích hoạt ẩn giữa các giai đoạn đường ống GGUF. f16 giảm một nửa tải truyền cho prefill và các khối suy đoán; f32 là phương án dự phòng để chẩn đoán. |
wire_hidden_codec | Không | fp16 | Bộ mã hóa/giải mã thử nghiệm cho các khối kích hoạt ẩn nhiều token giữa các giai đoạn đường ống GGUF. Giải mã từng token giữ đường kiểu dữ liệu nhẹ; các bộ mã hóa/giải mã chung chỉ dùng cho prefill/khối suy đoán nơi lượng byte tiết kiệm có thể bù chi phí mã hóa. fp16 an toàn nhất; auto8/hq8 dùng để chẩn đoán. |
stage_chaining | Không | true | Khi tất cả giai đoạn GGUF đều ở xa và hỗ trợ giao thức chuỗi, gửi kích hoạt ẩn trực tiếp từ giai đoạn này sang giai đoạn khác thay vì chuyển tiếp qua bộ điều phối điểm kiểm tra tại mỗi ranh giới. |
latent_mode | Không | off | Soft Thinking / SwiReasoning không cần huấn luyện trong <think>…</think>. Cần GGUF WASM có _lstage_eval_soft trên các máy chủ giai đoạn; nếu không sẽ quay về giải mã rời rạc. Mặc định tắt cho đến khi WASM trên CDN được dựng lại. Loại trừ lẫn nhau với suy đoán khi Soft Thinking đang hoạt động. |
latent_phase | Không | tagged | tagged = dấu hiệu think; prefix = từ bước 0 (mô hình không có dấu hiệu). |
latent_exit_text | Không | Final answer: | Chỉ dùng khi latent_phase=prefix (token từ vựng thông thường). |
latent_top_n | Không | 15 | Soft top-n |
latent_entropy_tau | Không | 0.05 | Ngưỡng entropy τ của Cold Stop |
latent_cold_stop_k | Không | 256 | Số bước liên tiếp của Cold Stop |
swi_dwell_window | Không | 512 | Thời gian lưu lại Swi Explicit→Latent |
swi_max_switches | Không | 8 | Số lần chuyển Swi Latent→Explicit tối đa |
max_thinking_tokens | Không | 1536 | Ngân sách cứng trước khi buộc </think> / thoát tiền tố. Giá trị phải thấp hơn đáng kể so với `max_new_tokens`: ngân sách suy luận bằng hoặc vượt tổng ngân sách sinh sẽ khiến câu trả lời bị cắt ngang giữa chừng và không có đáp án nào. Control plane sẽ cắt lại giá trị này theo ngân sách mà phương án bố trí đã chọn thực sự đáp ứng được, vì vậy giá trị nhỏ hơn được giữ nguyên còn giá trị lớn hơn sẽ bị giới hạn lại. |
min_thinking_tokens | Không | 0 | Mức sàn: che </think> khỏi quá trình lấy mẫu cho đến khi có đủ số token suy luận này. 0 là tắt. Ngăn khối suy nghĩ đóng ngay ở token đầu tiên được sinh ra và trả lời mà không có chút suy luận nào. |
prompt | Có | — | Tin nhắn / lời nhắc của người dùng cho mô hình trò chuyện |
cURL
curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
-H "X-Organization-Api-Key: msk_your_personal_api_key" \
-H "Content-Type: application/json" \
-d '{
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"job_spec": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
}
}'https://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}Thăm dò bằng cùng khóa API cho đến khi status ở trạng thái kết thúc (COMPLETED, FAILED, CANCELED hoặc MODERATION_BLOCKED). Khi kiểm duyệt nội dung được bật, tác vụ có thể bắt đầu ở MODERATION_PENDING trước khi vào hàng đợi tính toán. Tác vụ đã hoàn tất có các giá trị download_url được ký trước trên mỗi đầu ra.
Phản hồi khi tạo
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"status": "PENDING",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [],
"outputs": [],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "2026-06-08T12:00:00Z"
}Phản hồi khi hoàn tất
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "ornith-15-35b-a3b-gguf-pp",
"status": "COMPLETED",
"job_spec_json": {
"enable_thinking": true,
"max_new_tokens": 2048,
"max_context": 8192,
"kv_hot_window": 32768,
"temperature": 0.6,
"top_p": 0.95,
"top_k": 20,
"presence_penalty": 0,
"repetition_penalty": 1,
"speculative_ngram": false,
"speculative_draft_model": false,
"speculative_max_draft": 8,
"min_remote_stages": 0,
"wire_hidden_dtype": "f16",
"wire_hidden_codec": "fp16",
"stage_chaining": true,
"latent_mode": "off",
"latent_phase": "tagged",
"latent_exit_text": "\n\nFinal answer:\n",
"latent_top_n": 15,
"latent_entropy_tau": 0.05,
"latent_cold_stop_k": 256,
"swi_dwell_window": 512,
"swi_max_switches": 8,
"max_thinking_tokens": 1536,
"min_thinking_tokens": 0,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [
{
"id": "…",
"index": 0,
"status": "COMPLETED"
}
],
"outputs": [
{
"id": "…",
"output_type": "<output type>",
"filename": "<output filename>",
"size_bytes": 524288,
"download_url": "<presigned output download URL>"
}
],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "<completion timestamp>"
}