← 全部筆記
Tag

Inference

7 篇相關筆記

多模態推理：Visual Token 為什麼這麼昂貴？ Multimodal 16 min 推測解碼：用小模型加速大模型 Speculative Decoding 26 min vLLM 與 PagedAttention：高吞吐推理的關鍵 VLLM 28 min KV Cache：為什麼推理需要它 KV Cache 26 min LLM 部署的挑戰：延遲、吞吐、成本 Deployment 24 min 量化：FP16、INT8、INT4 的取捨 Quantization 28 min 大模型如何運作：從自回歸生成到推理採樣 Artificial Intelligence 12 min