從數據表格出發的自動可視化設計長久以來受到許多關注。1986年喬克麥金萊 (Jork Machinlay) 就提出基於用戶對不同通道的感知有效性的APT [1] 工具。然而傳統的方法依賴於經驗規則，可能並不能得到最優結果。近年來，可視化研究社區也使用機器學習方法以支持可視化的自動創建[2]。但這些方法關注於給定數據屬性之後的映射方法的選擇，用戶仍然需要花費時間與精力選擇合適的數據項。為幫助用戶選擇數據，來自香港科技大學和微軟亞洲研究院的伍翱宇等人提出MultiVision[3]，旨在使用深度學習方法自動構建多視圖的可視化。該工作關注如何選擇重要有意義的數據屬性（列）構成圖表，以及選擇多個圖表構成多視圖可視化。圖1展示了方法的整體框架。數據表格（Data Table）是輸入。單圖表評估模型和多圖表評估模型共同構成了推薦器，用戶交互可以給推薦器提供約束，推薦器的結果渲染成可交互界面。用戶在與MultiVision 交互的結果也將作為多圖表評估模型的訓練數據。整個框架的最終輸出為一個多視圖的可視化
圖 1：MultiVision 的整體框架
MultiVision 將多視圖選擇問題抽象成為三層結構，如圖2所示，分別為屬性，視圖，多視圖。其中數個屬性構成一個視圖，數個視圖構成一個多視圖。本工作的任務為1.選擇多個屬性構建一個視圖，2. 選擇多個視圖構建一個多視圖。一個視圖的輸入為多個數據屬性和視圖的種類。此問題可以轉化成為給定多個數據屬性和對應的圖表類型，結果表格的評分是多少。類似地，一個多視圖的評分由多個圖表決定。因此兩個問題都可以轉化為一個多輸入到一個輸出分數的問題。
然而，並不存在直接的從圖表到評分或者是從多視圖到評分的直接數據集。兩個圖表或者兩個多視圖的比較關係的數據則較為易得。因此，該問題可以轉化為比較問題來解決：即通過兩個共享權重的評分網絡（圖3 A），將結果輸入到比較層中，若評分結果不滿足偏序關係，那麼則施加懲罰。由此可以由成對的偏序關係得到全局的評分。
圖 3：MultiVision 的模型結構
對於單圖表評估部分（圖3 B），每個數據屬性的向量都包含了語義向量、數據統計特徵、和屬性類別。多個數據屬性通過雙向長短期記憶模型獲得一個向量。並且同圖表類型共同作為輸入決定最後的分數。對於多視圖評估部分（圖3 C），每個單視圖評分的結果和一些多視圖的指導法則共同構成圖表的向量。多個向量通過雙向的LSTM和線性層得到最終的多視圖的評分。單視圖的評分網絡的訓練數據來源於Excel中表格和圖表的對應關係數據集，對於每個圖表，其中選中的圖表和其他的圖表構成一種比較關係：選擇的比其他的圖表評分要高。對於多視圖，由於相關的數據較為缺少，MultiVision 基於用戶對系統的操作記錄進行學習。具體方法為，用戶在編輯的過程中有許多中間結果，最終的結果是用戶較為滿意的，因此最終結果優於過程中的中間結果。MultiVision將現有的模型結構和NN和RankSVM進行比較。現有的模型在兩個任務中都由於其他模型結構。MultiVision 提供了兩種方式的推薦方法。一種是被動地推薦一個多視圖結果，另一種是主動地根據用戶的交互提供實時的推薦。這兩種分別對應了多視圖推薦器（Multiple-View Recommendation，圖4 B）和圖表構思（Chart Ideas，圖4 D）。由於全局遍歷所有的結果隨着屬性數量的增加，算法複雜度呈現指數爆炸的趨勢，因此在兩種方式中都採用貪心算法，每次選擇增加一個圖表使得總評分最高。
圖4 MultiVision交互界面
該工作在包括專家、各專業學生在內的被試中展開了用戶實驗。邀請用戶熟悉系統之後選擇相應的圖表，並且選擇自己不熟悉的數據展開數據分析。最終被試將給出MultiVision的評分。反饋表明MultiVision有用、便捷並且易於學習。同時在開始分析或者中途卡殼時系統能夠很好提供靈感。同時，被試們反饋，自動化方法和用戶的結合將十分有效。【參考文獻】[1] Jock Mackinlay. Automating the Design of Graphical Presentations of Relational Information.ACM Transactions onGraphics，5(2):110–141, 1986.
[2] Dominik Moritz, Chenglong Wang, Greg L. Nelson, Halden Lin, Adam M. Smith, Bill Howe, Jeffrey Heer. Formalizing visualization design knowledge as constraints: Actionable and extensible models in Draco.IEEE Transactions onVisualization and Computer Graphics,25(1):438–448, 2018.
[3] Aoyu Wu, Yun Wang, Mengyu Zhou, Xinyi He, Haidong Zhang, Huamin Qu, and Dongmei Zhang. MultiVision: Designing Analytical Dashboards with Deep Learning Based Recommendation.IEEE Transactions onVisualization and Computer Graphics (IEEE VIS 2021), Accepted.
可視化前沿進展是我們選取近期一些國內外在可視化方面的新進展的論文做簡要介紹，以饋對可視化有興趣的讀者。也歡迎有興趣的讀者撰稿聯繫刊登。投稿郵箱：pkuvis@pku.edu.cn。電子郵件標題請命名為：「公眾號前沿論文介紹投稿+文章名稱」。請在郵件里註明投稿人相關信息。
歡迎大家關注北京大學可視分析微信公眾號（VisualAnalytics），獲取最新消息。
北京大學可視化/可視分析博客(http://vis.pku.edu.cn/blog/)
我們在這裡和大家共享對可視化與可視分析研究領域的理解，一同探討可視化研究的進展，觀察和評論最新的可視化技術和應用。我們關心可視化與可視分析核心的成就，也關注相關領域的發展。歡迎關注！
留言列表