賛成票
1 回答
擅長：AI
Hugging Face 是壹家于 2016 年成立的美國公司，專門開發用于構建機器學習應用的工具。該公司的代表産品是其爲自然語言處理應用構建的transformers庫，以及允許用戶共享機器學習模型和數據集的平台。本篇介紹如何使用 Python 使用 Hugging Face 上的模型。
使用 Hugging Face 的模型庫，必然需要使用其公司開發的 transformers 模型庫軟件包。Transformers模型庫（Transformers Library）是壹個Python軟件包，其中包含了用于文本、圖像和音頻任務的Transformer模型的開源實現。它與PyTorch、TensorFlow和JAX深度學習庫兼容，並包括了BERT和GPT-2等知名模型的實現。該庫最初名爲“pytorch-pretrained-bert”，後來更名爲“pytorch-transformers”，最終改名爲“transformers”。
借助 transformers 使用 blip2 模型，可以采用在線或離線的方式加載權重。在線加載會自動從 hugging face 下載模型權重。離線加載需要手動從 hugging face 下載模型權重，然後加載本地的權重文件夾。還有壹種是把在線加載的模型權重保存到某個文件夾下，然後離線使用。下面對其進行介紹。blip2 屬于多模態大模型壹種，權重比較大，如果 GPU 現存有限，那麽可以使用半精度或者 INT8，官網上也提供了實例代碼，請自行查看。本篇以半精度爲例介紹。
もし私の回答が役に立つと思ったら、お気軽に投げ銭してください。あなたの支援が私の創作活動を励ますことになります！