大语言模型
Qwen3.8 27B Q6:编程聊天
提个问题,或试试一个简短的写作任务。发送第一条消息时再登录。
Qwen3.8 by Alibaba Cloud
模型许可证
Qwen3.8-27B Q6_K pipeline stages, MTP and tokenizer · Apache-2.0
Retain the original Apache-2.0 licence and copyright/attribution notices, accompany modified files with their change notices, and respect patent termination and trademark limitations. The licence grants commercial use and redistribution; it grants no automatic rights in arbitrary user inputs or generated content.
输入编程问题,获得 Qwen 3.8 27B 的回复。这是官方 Qwen3.8-27B 模型直接量化为 Q6_K,不含视觉编码器,因此整个上下文窗口都可用于对话以及智能体读取的文件。128k 上下文可以容纳很长的对话串;较短的任务保持 8k 的默认值。
API 参考
通过 REST 提交
使用您的个人 API 密钥(msk_…),从您自己的工具为此工作负载创建任务。以这种方式启动的任务会在您于您的设备中连接的同一批设备上运行——至少需要有一台在线。
https://cp.meshlabs.cloud/v1/organizations/jobs使用 X-Organization-Api-Key: msk_your_personal_api_key 进行身份验证。该请求头名称与组织密钥相同;个人密钥使用相同的端点。
请求体
{
"workload_type": "qwen38-27b-q6-gguf-pp",
"job_spec": {
"max_context": 8192,
"kv_hot_window": 0,
"speculative_mtp": true,
"mtp_model_file": "Qwen3.8-27B-Q6-mtp.gguf",
"speculative_max_draft": 2,
"enable_thinking": true,
"max_new_tokens": 2048,
"prompt": "A photorealistic lighthouse at dusk"
}
}job_spec 字段
| 字段 | 必填 | 默认值 | 说明 |
|---|---|---|---|
tools | 否 | — | 模型可以调用的函数,采用 OpenAI 格式:{"type": "function", "function": {"name", "description", "parameters"}}。调用会在结果中以 tool_calls 返回,每个都带有名称及其参数。最多 16 个工具,每个 8 KB,总计 32 KB。 |
max_context | 否 | 8192 | 阶段主机为 KV/循环状态分配的总 token 数,即提示词加生成内容。上限是 Oracle 测得该模型支持的最大上下文,因此部署决策无需外推到证据之外。调高它会提高内存下限,从而缩小能运行该任务的设备范围。 |
kv_hot_window | 否 | 0 | 物理注意力 KV 被限制在最新的 N 个 token,因此超过 N 的对话会忘记最早的轮次,而不是在上下文上限处停止。0 表示完整上下文保持驻留。等于或低于上下文窗口时不会有任何变化:内存相同、注意力相同;若调到低于上下文窗口,则是用远程回忆换取不受限的对话长度,因为模型确实无法看到窗口之外的内容。 |
turns | 否 | — | Prior turns of this conversation, oldest first, including the current user message as the final row. Supplying them lets a stage host that still holds this conversation's KV state extend it instead of re-prefilling the whole history. Omit for a single-shot request; the workload then reads `prompt`. |
speculative_mtp | 否 | true | 在持有完整模型的节点上,模型内置的下一个 token 预测头会提出候选 token,模型再通过一次前向计算对其进行校验。输出与不使用时相同,只是更快。 |
mtp_model_file | 否 | Qwen3.8-27B-Q6-mtp.gguf | 此工作负载包中草稿头的文件。 |
speculative_max_draft | 否 | 2 | 草稿头每次提出的 token 数量。 |
enable_thinking | 否 | true | Enable Thinking |
max_new_tokens | 否 | 2048 | Max New Tokens |
prompt | 是 | — | Prompt |
cURL
curl -X POST https://cp.meshlabs.cloud/v1/organizations/jobs \
-H "X-Organization-Api-Key: msk_your_personal_api_key" \
-H "Content-Type: application/json" \
-d '{
"workload_type": "qwen38-27b-q6-gguf-pp",
"job_spec": {
"max_context": 8192,
"kv_hot_window": 0,
"speculative_mtp": true,
"mtp_model_file": "Qwen3.8-27B-Q6-mtp.gguf",
"speculative_max_draft": 2,
"enable_thinking": true,
"max_new_tokens": 2048,
"prompt": "A photorealistic lighthouse at dusk"
}
}'https://cp.meshlabs.cloud/v1/organizations/jobs/{job_id}使用同一 API 密钥轮询,直到 status 进入终态(COMPLETED、FAILED、CANCELED 或 MODERATION_BLOCKED)。启用内容审核时,任务可能会先处于 MODERATION_PENDING 状态,然后才进入计算队列。已完成的任务会在每个输出上包含预签名的 download_url 值。
创建响应
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "qwen38-27b-q6-gguf-pp",
"status": "PENDING",
"job_spec_json": {
"max_context": 8192,
"kv_hot_window": 0,
"speculative_mtp": true,
"mtp_model_file": "Qwen3.8-27B-Q6-mtp.gguf",
"speculative_max_draft": 2,
"enable_thinking": true,
"max_new_tokens": 2048,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [],
"outputs": [],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "2026-06-08T12:00:00Z"
}完成响应
{
"id": "3fa85f64-5717-4562-b3fc-2c963f66afa6",
"workload_type": "qwen38-27b-q6-gguf-pp",
"status": "COMPLETED",
"job_spec_json": {
"max_context": 8192,
"kv_hot_window": 0,
"speculative_mtp": true,
"mtp_model_file": "Qwen3.8-27B-Q6-mtp.gguf",
"speculative_max_draft": 2,
"enable_thinking": true,
"max_new_tokens": 2048,
"prompt": "A photorealistic lighthouse at dusk"
},
"work_units": [
{
"id": "…",
"index": 0,
"status": "COMPLETED"
}
],
"outputs": [
{
"id": "…",
"output_type": "<output type>",
"filename": "<output filename>",
"size_bytes": 524288,
"download_url": "<presigned output download URL>"
}
],
"created_at": "2026-06-08T12:00:00Z",
"updated_at": "<completion timestamp>"
}