鑽石舞台

金磊 明敏 發自 凹非寺量子位 | 公眾號 QbitAI

學廢一位人類插畫師，AI只用了32張作品。

故事的主人公叫做Hollie Mengert（霍姐），她自打2011年從藝校畢業以來就從事着插畫相關工作。

11年來的打拼，也讓霍姐在插畫上有了自己獨樹一幟的風格。

然鵝……

有天霍姐一覺醒來卻收到朋友的來信：「姐~你現在成人家AI的模型了」。

於是乎，毫不知情的霍姐便去Reddit上看了看到底是咋回事，結果——

有位小哥搞了個AI，只用了霍姐32張作品訓練，就能模仿她的風格作畫！

△左：霍姐作品；右：AI作品

好了，這下子大家都能用這個AI，畫出霍姐風格的插畫了。

而且更「致命」的是，給AI輸入的提示詞必須帶上「holliemengert artstyle」（霍姐風）……

（多冒昧啊……）

這波操作也是直接讓網友炸了鍋，紛紛留言為霍姐抱不平：

人家還活着呢……

你可把這位姐妹坑慘了。

然後隨着這事的逐漸發酵，細節也逐漸浮出了水面。

2.5小時煉出新模型，成本不到15塊

事情最初只是一位來自加拿大的工程師Ogbogu Kalu（卡哥），出於個人愛好做了個插畫AI。

看着效果還不錯，他就把模型發到了Reddit上，結果一下子火了！

不少網友看了直呼：這是巨作！

本以為需要成千上萬張圖才能訓練出好的效果，沒想到這麼點兒也可以。

而且訓練成本也很低，卡哥說自己做這個模型，只是在雲端租了GPU、花2個半小時就搞定了。

折算成本不到2美元（人民幣約15塊）。

不過，卡哥當時做出這個AI也實屬意外，在此之前他並不了解霍姐的作品。選擇這一風格，只是因為他在幫別的網友微調模型，那位網友給出的風格和霍姐畫風相似。

通過改進數據集，他一晚上便弄出了一個效果更好的新模型，命名為「hollie-mengert-artstyle」。並把代碼也放了出來，人人都能免費試玩。

他用到的AI，主要是Stable Diffusion和DreamBooth。

後者是模仿風格精髓的關鍵。

這是谷歌在今年8月發布的新AI。它只需3-5張圖片，再加上文字表述，就能讓指定物體遷移到其他場景或風格中去。

和Dall-E 2、Imagen等最大的不同是，DreamBooth能對選定對象忠實還原。

具體方法是給物體加上「特殊標識符」。

原本圖像生成模型收到的指令只是一類物體，例如[cat]、[dog]等，但現在DreamBooth會在這類物體前加上一個特殊標識符，變成[V][物體類別]。

以下圖為例，將用戶上傳的三張狗子照片和相應的類名（如「狗」）作為輸入信息，得到一個經過微調的文本-圖像擴散模型。

該擴散模型用「a [V] dog」來特指用戶上傳圖片中的狗子，再把其帶入文字描述中，生成特定的圖像，其中[V]就是那個特殊標識符。

而且這種方法不局限於某個模型，Dall-E 2、Stable Diffusion等調整後也能實現如上效果。

比如之前亞馬遜工程師就發布過一個DreamBooth-Stable-Diffusion。

Hugging Face上這類模型超級多，各種風格都有，如迪士尼、賽博朋克等等。

卡哥的模型也屬於其中之一。

實際上，把DreamBooth用在Stable Diffusion不算難，油管就有現成教程。

有人用30張圖微調模型，全程不到20分鐘，並且效果是槓槓好，他的照片可以毫不違和地融入到各種風格中去。

（不過芝麻街這個很難判斷效果到底好不好）

「原作與此無關」

畢竟這事在圈裡被討論得甚是火熱，一位叫Andy Baio的吃瓜網友，就直接找到了兩位當事人聊了聊。

首先，霍姐談了談她的看法：

我得知這件事情的第一反應，就是覺得我名字出現在這個工具里，有被冒犯到。

我對這件事情一無所知，也沒人徵求過我的意見。

即便他過來問我「是否可以這麼做」，我也不會答應的。

霍姐認為，給AI訓練所用到的圖像就涉及到了版權問題。

因為當初她是和迪士尼等客戶有合作，沒有客戶的允許，霍姐自己都不能隨意在網上傳播插畫。

除此之外，霍姐還認為這個AI模型跟她的名字掛鈎，但並不能完全展現她插畫風格的獨到之處：

作為一名藝術家，我覺得讓我特別自豪的地方，就是作品能有真實的表達、吸睛的設計，並且人物能夠產生共鳴。

但AI生成的插畫，就挺難做到這些點的。

然後霍姐更細緻的對這個觀點做展開：

我覺得AI可以模仿筆刷的紋理和渲染、選擇一些顏色和形狀，但這並不代表就能勝任一個值得被僱傭的插畫家或設計師。

因為渲染、筆觸和顏色等，都是藝術最表層的部分。我認為人們最終會與藝術聯繫在一起，是因為一個可愛或讓人產生共鳴的角色。

總而言之，霍姐個人覺得AI生成的作品跟自己的藝術水平還是有很大的距離感。

但讓她非常無奈的是，自己的名字確確實實就跟AI「捆綁」到了一起，成了工具的一部分。

那麼站在工程師的角度，又如何看待這件事呢？

Andy Baio也找到了卡哥聊了聊：

我認為AI的訓練和圖片的使用都是合法的，即便這事鬧到法庭也很可能被判為「合理」，因為你是沒法給一種畫風申請版權的。

100TB的訓練數據壓縮成一個4GB的模型，AI作畫的方式也不能算「縫合」，更像是從生動記憶中提取並創新。

而且這是技術發展不可避免的事情，像Adobe在PhotoShop里搞AI工具，微軟也在自家設計套件里添加了圖像生成器。

那這就意味着藝術家們對自己的作品就沒有發言權了嗎？Andy Baio繼續追問道。

卡哥對此表示：

我覺得現在很多的反對意見是無解了AI的運作方式。

AI生成的內容並不是基於藝術家作品的拼貼，而是創造了全新的圖像，這是一種變革。

對AI不夠了解的人沒有真正意義上的發言權。

不過後來，卡哥還是把Hugging Face上模型的名字，從最初的Hollie-mengert-artstyle，改成了更為通用的Illustration-Diffusion。

並且還特意補充、強調了一句：

Hollie與此無關。

而在此數天之後，卡哥又發布了一個新模型。

這次他所採用的是另一位藝術家James Daly III的40張作品來訓練：

△左：James Daly III作品；右：AI生成作品

……

那麼對於這件事，你怎麼看呢？

參考鏈接：

[1]https://waxy.org/2022/11/invasive-diffusion-how-one-unwilling-illustrator-found-herself-turned-into-an-ai-model/[2]https://www.reddit.com/r/StableDiffusion/comments/yaquby/2d_illustration_styles_are_scarce_on_stable/[3]https://news.ycombinator.com/item?id=33422990[4]https://huggingface.co/ogkalu/Illustration-Diffusion

點這裡👇關注我，記得標星哦~