git clone https://gitee.com/fly-llm/candle-run-llm.git

#下载 candle 项目

git clone https://github.com/huggingface/candle.git 

# 临时替换
export RUSTUP_DIST_SERVER="https://rsproxy.cn"
export RUSTUP_UPDATE_ROOT="https://rsproxy.cn/rustup"

export RUSTUP_HOME=/root/autodl-tmp/cargo
export CARGO_HOME=/root/autodl-tmp/cargo

source "/root/autodl-tmp/cargo/env"

export HF_HOME=/root/autodl-tmp/hf_cache

python3 download.py Qwen/Qwen1.5-0.5B-Chat

cargo run --example qwen --features cuda -- --model-id Qwen/Qwen1.5-0.5B-Chat --prompt 北京景点推荐

cargo run --example qwen -- --model-id Qwen/Qwen1.5-0.5B-Chat --prompt 北京景点推荐

python3 download.py Qwen/Qwen1.5-4B

cargo run --example qwen --features cuda -- --model-id Qwen/Qwen1.5-4B-Chat --prompt 北京景点推荐

python3 download.py 01-ai/Yi-6B-Chat-4bits

cargo run --example yi --features cuda -- --model-id 01-ai/Yi-6B --prompt 北京景点推荐

python3 download.py THUDM/chatglm3-6b
python3 download.py lmz/candle-chatglm

cargo run --example chatglm --features cuda -- --prompt 北京景点推荐