自学内容网 自学内容网

挑战华为昇腾920B2运行bge-large-zh-v1.5(二)


前沿

上回说道,我们想用昇腾的服务器去跑一个名为bge-large-zh-v1.5的embedding的模型。

挑战华为昇腾920B2运行bge-large-zh-v1.5(一)

这第一步竟然是需要对模型进行编译优化。

没想到这一步是真的久啊。

现在终于等到了。那我们久继续后面的过程。

安装RUST

# 对于ARM 64位CPU为aarch64,对于X86 64位CPU可将下面指令的aarch64替换为x86_64
wget https://static.rust-lang.org/dist/rust-1.79.0-aarch64-unknown-linux-gnu.tar.gz --no-check-certificate
tar -xvf rust-1.79.0-aarch64-unknown-linux-gnu.tar.gz
cd rust-1.79.0-aarch64-unknown-linux-gnu
bash install.sh

sudo apt update
apt install pkg-config

在这里插入图片描述
不好意思,又得接近俩小时。

在这里插入图片描述
兄弟们,我这边很顺利。没有遇到任何错。

用python查看torch的位置

Python 3.11.10 (main, Nov  5 2024, 04:00:52) [GCC 11.4.0] on linux
Type "help", 

原文地址:https://blog.csdn.net/xiezhipu/article/details/144298990

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!