摘要
GitHub Releases 显示,ggml-org/llama.cpp 已发布 b10064。发布说明列出的变更为:对 OpenCL 的 q4_K no-shuffle scales 进行转置,以实现更好的合并读取(coalesced reads)。
该发布页还列出了适用于 macOS(Apple Silicon、Intel)、iOS XCFramework,以及 Ubuntu x64、arm64、s390x、Vulkan、ROCm 和 OpenVINO 等环境的预编译下载包。
影响
这一改动面向 llama.cpp 的 OpenCL 路径,可能改善相关量化模型推理的数据读取效率;发布说明未提供性能测试数据,因此无法据此量化实际收益。
原始来源:GitHub Releases