鑽石舞台

感知市場冷暖，輔助投資決策

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

同寢四人全部保研？這種神仙寢室，你聽說過沒有？中南大學數統學院，美女寢室506，全寢室全部保研成功，她們分別保研上海財經大學、中國科學院大學、中南大學、中山大學，都是國內一流名校，她們堪稱美貌與智慧並存的「女神」，氣質更是不輸明星。

打開網易新聞 查看更多圖片

人與人交往時，都是相互影響的，學霸的體質也是能相互傳染的，同寢室在相處的過程中，相互學習，互相督促，養成良好的學習習慣。在保研的路上，四人一同努力，每天早上四五點起床，一起學習，各自的作息時間一樣，養成一樣的學習習慣，彼此最終都獲得保研名額，保研到不同的學校。她們三年如一日，一起堅持，一起努力，最終成為神仙寢室。

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

✦

微信公眾平台開發

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

作者 |郭人通 |本文轉自CSDN

「從用 Python 定義流水線，到生成 Docker 鏡像，再到啟動服務並調用執行，一共不到 30行代碼！？」

想要模型落地，有一連串大坑躲都躲不開：

模型轉不了 ONNX，TensorRT。

模型推理搞的飛快之後，發現預處理、後處理才是瓶頸。

除了需要搜尋各種英偉達的算法庫，還需要學習各種高性能計算和 CUDA 編程技術，對着圖片解碼、視頻解碼、tensor transform、分詞之類的操作一頓猛搞。

發現英偉達老爺的東西「又高又硬」，根本裝不起來。

不僅要寫一堆腳本程序，努力的把一整條處理流水線串起來，更要設計好服務的調用接口。

串完發現流水線各級速度不匹配，想着把慢的階段起多實例並行，又扯上了負載均衡和流水線優化。

流水線上的算法實例起多了，物理資源又不夠了。

一切內容終於準備就緒了，竟然又要去學寫 Dockerfile ......

為了解決上面一連串的問題，我們發起了一個開源項目 Towhee，任何用戶都能夠從 Python 代碼一鍵構建面向生產的高性能推理流水線。這個項目提供了一套優雅的函數式 Python 編程接口，以及一組覆蓋日常工作所需要的工具集，只需要幾行代碼，就能夠自動的解決上述問題：將推理流水線內出現的代碼（模型、算法、數據處理過程等）轉換成對應的高性能實現，組織端到端的推理服務代碼，一鍵生成 Docker 鏡像。

下面舉一個小例子演示如何使用 Towhee：用 CLIP 做圖片 embedding 特徵提取。從定義流水線到生成 Docker 鏡像，再到啟動服務並調用執行，一共不到 30 行代碼。

首先，用 Python 定義一個「流水線」：

流水線接受圖片作為輸入，輸出圖片對應的 embedding 向量。這個流水線包含兩個算子 image_decode.cv2_rgb 和 image_text_embedding.clip_image，分別負責圖片的解碼以及 CLIP 的圖片特徵提取。

例子裡對流水線進行了配置，通過 pipeline_config 的 format_priority 參數給到 Towhee 一個提示，告訴 Towhee 優先把模型轉到 TensorRT 的格式去做推理，如果失敗就嘗試走 ONNX。

image_decode.cv2_rgb 的算子配置是 num_instance=4，讓 Towhee 在流水線中起4個圖片解碼的實例提高並發。image_text_embedding.clip_image 的算子配置是 dev_id=0，讓 Towhee 在 GPU0 上跑 CLIP 的推理。如果指定了使用 GPU 進行模型推理，Towhee 會自動的選擇 GPU 版本的模型前後處理過程，並在同一塊 GPU 設備上執行前處理、模型推理、後處理。更多流水線配置能力詳見官方文檔（https://docs.towhee.io/）。

接下來，我們通過 Towhee 把這個流水線製作成 Docker 鏡像，這裡選用 Nvidia Triton 作為高性能推理服務框架：

命令執行完畢，我們將得到一個名為 clip_image_embedding:v1 的鏡像，使用下面的命令啟動服務實例：

在完成了模型服務啟動之後，我們在本地編寫一個簡單的測試程序，通過調用剛才啟動的服務，對當前目錄下 jpg 圖片做 embedding 特徵提取：

如果你想進一步做一個基於 CLIP 的 「文本-圖像跨模態」 召回服務，我們還可以再添加一個用 「CLIP 提取文本 embedding 特徵」 的流水線，並進一步豐富服務的調用代碼，完整程序不會超過 100 行 Python 代碼。（這裡因為和上面的示例代碼比較接近，就不展開贅述了，感興趣的同學可以自行嘗試，遇到問題歡迎到 Slack 或微信反饋，鏈接見文章末尾）

除了對大量工程細節的極致封裝，Towhee 在性能方面也有不俗的表現。在我自己的機器上（64核CPU，3080單卡），使用 HuggingFace 的 CLIP 預訓練模型和配套工具庫實現了同樣功能的流水線，並和 Towhee 的流水線進行了性能對比：

HuggingFace 與 Towhee 的流水線性能對比

經過多次實驗，HuggingFace 流水線的平均 QPS 67，Towhee 流水線的平均 QPS 328。Towhee 的流水線有接近 5 倍的提速。也就是說，通過使用 Towhee，僅用一塊卡就可以達到之前五塊卡的服務能力，兩個字，省錢！

接下來，繼續分享一些 Towhee 中的重要組件和實用工具：Towhee Operator Hub、DataCollection 編程接口、高性能推理服務，以及項目的 Roadmap。

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

(繼續閱讀...)

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()

鑽石舞台 發表在 痞客邦 留言(0) 人氣()