有勇气的牛排博客
☰

huggingface下载模型与加载案例

介绍

Hugging Face Hub 是一个平台，它旨在促进机器学习模型，特别是自然语言处理（NLP）模型的分享与协作。通过 Hugging Face Hub，研究人员和开发者能够轻松地发布他们的模型、数据集以及相关的代码，同时也能够方便地访问他人分享的资源。这个平台极大地推动了预训练模型的普及和应用，使得更多的人可以利用先进的AI技术。

官网：

https://huggingface.co/

镜像：

https://hf-mirror.com/

1 下载模型

python3.10

hf_xet==1.1.5

from huggingface_hub import snapshot_download

# import os
# os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

# 自定义保存路径
save_dir = "/tmp/model/all-MiniLM-L6-v2"
model_name = "sentence-transformers/all-MiniLM-L6-v2"

save_dir_new = f"{save_dir}/{model_name}"

# 设置你的 Token（推荐将其保存在环境变量或配置中）
token = None  # 替换为你的实际 token : hf_xxx...

# 下载模型（包含 config, tokenizer, pytorch_model.bin 等）
snapshot_download(
    repo_id=model_name,   				# 模型名称或路径
    local_dir=save_dir_new,            	# 自定义保存路径
    local_dir_use_symlinks=False,   	# 防止软链接，直接复制文件
    token=None
)

print("模型已下载到：", save_dir)

huggingface_hub下载模型案例

2 加载本地模型

文本向量化案例

all-MiniLM-L6-v2

from sentence_transformers import SentenceTransformer

# 模型本地路径
model_path = "E:/blog_article/tmp/model/all-MiniLM-L6-v2"

# 加载模型
model = SentenceTransformer(model_path)

sentences = [
    "你好，世界！",
    "这是一段用于向量化的文本。",
    "机器学习正在改变世界。"
]

# 向量化
embeddings = model.encode(sentences)

# 输出向量
for i, emb in enumerate(embeddings):
    print(f"第{i+1}个句子向量 shape: {emb.shape}")
    print(emb[:10])  # 只看前10维

评论区

×
×