源码编译llama.cpp for windows on arm
源码编译llama.cpp for windows on arm
这里有编译好的，直接下载使用
https://github.com/turingevo/llama.cpp-build/releases
1 先编译openblas for windows on arm
查看我的文章
《源码编译 openblas for windows on arm》
2 启用OpenBlas加速
上一步openblas 安装到路径 C:/workspace/program/openblas
原理 blas 加速是通过编译ggml提供的
所以修改llama.cpp/ggml/src/CMakeLists.txt ，在这一行代码if (GGML_BLAS) 前面添加以下代码：
# add custom blas
if (CUSTOM_BLAS)
set(BLAS_ROOT "C:/workspace/program/openblas")
set(BLAS_INCLUDE_DIRS
"${BLAS_ROOT}/include/"
"${BLAS_ROOT}/include/openblas"
)
set(BLAS_LIBRARIES "${BLAS_ROOT}/lib/openblas.lib")
list(APPEND GGML_CDEF_PUBLIC GGML_USE_BLAS)
set(GGML_HEADERS_BLAS ../include/ggml-blas.h)
set(GGML_SOURCES_BLAS ggml-blas.cpp)
list(APPEND GGML_EXTRA_LIBS_PRIVATE ${BLAS_LIBRARIES})
list(APPEND GGML_EXTRA_INCLUDES ${BLAS_INCLUDE_DIRS})
endif()
然后编译时指定 CUSTOM_BLAS=ON
- 使用命令行：
cmake -B build -DGGML_BLAS=OFF -DCUSTOM_BLAS=ON
cmake --build build --config Release
- 如果使用cmake-gui
编译器 Visual Studio 17 2022
Use default native compilers
然后点击 Configure 生成配置
去掉 GGML_BLAS ，勾选CUSTOM_BLAS
点击 Generate 生成
然后open project, 选择 vs 2022 打开
选择 Release ARM64 ，选中项目 ALL_BUILD 生成
原文地址：https://blog.csdn.net/WMX843230304WMX/article/details/142919933
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！