如何離線使用 HuggingFace 型號?

如何離線使用 HuggingFace 型號?

閱讀全文
请先 登录 后评论
  • 1 關注
  • 0 收藏 42 浏覽
  • 用戶 提出于 2024-01-16 21:13:39

1 回答

厚德載物
擅長:AI
Hugging Face 是壹家于 2016 年成立的美國公司,專門開發用于構建機器學習應用的工具。該公司的代表産品是其爲自然語言處理應用構建的transformers庫,以及允許用戶共享機器學習模型和數據集的平台。本篇介紹如何使用 Python 使用 Hugging Face 上的模型。

使用 Hugging Face 的模型庫,必然需要使用其公司開發的 transformers 模型庫軟件包。Transformers模型庫(Transformers Library)是壹個Python軟件包,其中包含了用于文本、圖像和音頻任務的Transformer模型的開源實現。它與PyTorch、TensorFlow和JAX深度學習庫兼容,並包括了BERT和GPT-2等知名模型的實現。該庫最初名爲“pytorch-pretrained-bert”,後來更名爲“pytorch-transformers”,最終改名爲“transformers”。

借助 transformers 使用 blip2 模型,可以采用在線或離線的方式加載權重。在線加載會自動從 hugging face 下載模型權重。離線加載需要手動從 hugging face 下載模型權重,然後加載本地的權重文件夾。還有壹種是把在線加載的模型權重保存到某個文件夾下,然後離線使用。下面對其進行介紹。blip2 屬于多模態大模型壹種,權重比較大,如果 GPU 現存有限,那麽可以使用半精度或者 INT8,官網上也提供了實例代碼,請自行查看。本篇以半精度爲例介紹。
请先 登录 后评论