KTC 端侧 AI 算力计算器 v2

1. 设备

2. 模型

3. 场景

4. 权重量化（KV 独立）

视觉语言 MiniCPM-V 4.6

可进入 Demo 验证

Decode 速度

- tok/s

-

Warm TTFT

-

-

峰值内存估算

-

-

生成速度上限

算力上限

-

带宽上限

-

最终估算

-

完整响应构成 -

内存构成

模型权重-

KV cache-

Runtime-

多模态工作区-

可用内存余量 -

高级参数

模型结构

总参数 B

有效参数 B

层数

Hidden size

Head dim

Attention heads

KV heads

有效 KV 层比例

KV cache bit

量化格式开销 %

Runtime 占权重 %

多模态工作区 GiB

场景负载

Prompt tokens

Output tokens

KV 预留 tokens

并发路数

多模态负载系数

多模态首包 ms

设备资源

内存 / 显存 GiB

系统预留 GiB

INT8 TOPS

内存带宽 GB/s

模型加载 MB/s

固定开销 ms

Runtime 校准

Prefill 算力利用率 %

Decode 算力利用率 %

带宽利用率 %

KV 读取比例 %

保守系数 %

这是选型级估算，不是量产跑分承诺。模型结构来自 OpenBMB、 Qwen 和 Google DeepMind 的公开配置；芯片利用率与部分 TOPS 为工程规划基线，最终应由真实模型包、runtime、功耗与散热测试校准。