close

撰文 | Qi


深度學習（Deep learning, DL）模型對包括生命科學在內的各種成像應用影響深遠，但由於大多數DL方法都以源代碼形式提供，對於很多非專業用戶來說存在一定的技術挑戰。因此，越來越多的團隊開發不同工具來解決這個問題，例如，通過預訓練的DL模型在我們常用的ImageJ軟件中執行圖像分類任務的DeepClass4Bio【1】，以及在沒有任何編程基礎的情況下即可利用CSBDeep團隊開發出的插件訓練顯微圖像的去噪模型【2】等。雖然這些工具已經極大的方便DL在生物醫學圖像分析任務中的應用，但同時具備非代碼方式和統一整合格式的工具仍然缺失。

2021年9月30日，來自瑞士洛桑聯邦理工學院的Daniel Sage團隊和來自西班牙馬德里卡洛斯三世大學的Arrate Muñoz-Barrutia 團隊在Nature Methods雜誌上合作發表了一篇題為DeepImageJ: A user-friendly environment to run deep learning models in ImageJ的文章，該團隊開發出一種可以訪問最大的預訓練深度學習模型生物圖像存儲庫（BioImage Model Zoo）的deepImageJ工具，支持不含編程基礎的研究人員在ImageJ中使用預訓練的深度學習模型進行生物醫學圖像分析，包括像素和對象分類、實例分割、去噪或虛擬染色等任務，進一步推動了深度學習模型在生物圖像處理的應用和傳播。


DeepImageJ可以運行支持DL框架（TensorFlow和PyTorch）的主要DL庫中的多種第三方模型，被設計為ImageJ插件，安裝和運行非常簡單，且無需上傳數據，從而為用戶提供更好的隱私保護。在應用層面上，deepImageJ可以使用多種類型的模型來執行圖像處理任務，比如從圖像到矢量（圖像分類）、圖像到圖像（圖像分割、解卷積、虛擬標記、超分辨率）或金字塔特徵池化網絡（全景分割）等，重要的是，deepImageJ的格式幾乎通用，因此無論使用哪種模型對用戶而言都沒有技術難度。DeepImageJ格式遵循BioImage Model Zoo（https://bioimage.io/）規範，允許合作軟件之間的互操作性以及對模型存儲庫的無縫訪問。DeepImageJ工具箱的主要插件DeepImageJ_Run允許使用者一鍵執行DL模型，還由三個配套插件補充，分別用於模型捆綁、模型安裝和結果驗證（圖1）。

圖1. DeepImageJ的功能

然而，大多數用於顯微鏡圖像處理的DL模型仍然缺乏跨數據集泛化的能力，雖然該團隊對這一工具的通用性和數據交叉兼容性的未來發展充滿信心，但就當前而言仍需確保與其他現有的用戶友好工具，如Ilastik、ImJoy、ZeroCostDL4Mic 或 YAPIC的交叉兼容性以提供組合解決方案。YAPIC團隊已在軟件中集成了一項新功能，可以將他們的任何模型導出為deepImageJ格式。因此，利用這類組合可以更加靈活地連接不同的圖像處理步驟。

由於DL模型由很多層和操作組成，因此使用它們來處理圖像需要相當大的內存消耗，而DeepImageJ正好集成了一個智能功能，允許在可能的情況下將補丁大小調整為更小的圖像尺寸並自動完成平鋪策略，而無需進一步更改模型規範。儘管如此，未來仍可以進一步改進以設計用於運行DL模型的智能內存管理策略，例如，DeepimageJ 為用戶提供相關信息，以了解模型執行將消耗多少內存，從而確定模型是否可以在特定機器上使用等。總的來說，deepImageJ對生物圖像分析中DL的可用性和以標準化方式傳播DL模型做出了貢獻，並為生命科學研究人員的數據分析工作提供了幫助。

原文鏈接：
https://doi.org/10.1038/s41592-021-01262-9

製版人：十一


參考文獻


1. Inés, A., Domínguez, C., Heras, J., Mata, E. & Pascual, V. DeepClas4Bio: Connecting bioimaging tools with deep learning frameworks for image classification. Computers Biol. Med. 108, 49–56 (2019).
2. Weigert, M. et al. Content-aware image restoration:pushing the limits of fluorescence microscopy. Nat. Methods 15, 1090–1097 (2018).

轉載須知

【原創文章】BioArt原創文章，歡迎個人轉發分享，未經允許禁止轉載，所刊登的所有作品的著作權均為BioArt所擁有。BioArt保留所有法定權利，違者必究。

arrow
arrow
    全站熱搜
    創作者介紹
    創作者 鑽石舞台 的頭像
    鑽石舞台

    鑽石舞台

    鑽石舞台 發表在 痞客邦 留言(0) 人氣()