Miten tekoälytattoo-generaattorit toimivat: prosessi selitettynä

Tekoälytattoo-generaattori on diffuusiomalli, joka on hienosäädetty tatuointikuvastolla. Se lukee kehotteesi, poistaa kohinaa satunnaisesta kohinakentästä monen vaiheen ajan ja päätyy omaperäiseen taideteokseen, joka on muotoutunut koulutuksessa opittujen kuvioiden mukaan.

Millä malliarkkitehtuurilla tyypillinen tekoälytattoo-generaattori toimii?

Useimmat tattoo-generaattorit käyttävät latenttia diffuusiomallia, joka on hienosäädetty tatuointitaiteella. Tekstienkooderi muuntaa kehotteesi vektoreiksi, U-Net poistaa kohinaa latentista kuvasta useissa vaiheissa, ja dekooderi muuntaa lopullisen latentin näkyväksi suunnitelmaksi.

Hallitseva arkkitehtuuri tänä päivänä on latentti diffuusio — sama perhe, joka tukee Stable Diffusionia, SDXL:ää, Midjourneyn viimeisimpiä julkaisuja sekä useimpia avoimia tatuointikohtaisia haaroja. Sana "latentti" on avainasemassa: sen sijaan että kohinaa poistettaisiin täydessä pikseliresoluutiossa, malli toimii pakatussa esityksessä, joka on noin kuudestoistaosa todellisesta koosta — siksi generointi valmistuu sekunneissa eikä minuuteissa.

Kolme osaa on tärkeää. Tekstienkooderi (yleensä CLIP- tai T5-versio) kartoittaa kirjoitetun kehotteesi korkeaulotteisiksi vektoreiksi, jotka kielivät merkityksestä, eivät vain avainsanoista. U-Net tekee varsinaisen kohinanpoistotyön ja on jokaisessa vaiheessa ehdollistettu kyseisellä tekstivektorilla — malli ohjautuu jatkuvasti kohti "asioita, jotka näyttävät kehotteelta". Variationaalinen autoenkooderidekooderi laajentaa lopullisen latentin takaisin näkyväksi kuvaksi.

Tatuointikohtainen osa tapahtuu hienosäädön aikana. Avoimen webin nähneelle perusmallille opetetaan lisää kuratoitua tatuointitaidetta — flash-arkkeja, parantuneita valokuvia, viivatyötä, sapluunoita — kunnes verkon painot ohjaavat kohti tatuointien visuaalista kielioppia: varmat ääriviivat, hallittu negatiivinen tila, pistevarijoitus, ohutviivan ja perinteisen konventiot. Jotkut tuotteet lisäävät tyyliperusteisia LoRA-sovittimia. Alkuperäinen DDPM-artikkeli osoitteessa arxiv.org/abs/2006.11239 on kanoninen viite, jos haluat matematiikan kohinanpoistoprosessin taustalle. Käytännön tulos sinulle on, että työkalu ymmärtää jo etukäteen, mitä "single needle" tai "American traditional" tarkoittavat. Jos haluat vertailla nykyisiä tekoälytattootyökaluja, arkkitehtuuri on lähes aina jonkinlainen variantti tästä pinosta — erot ovat koulutusaineistossa ja oletusarvoissa.

Miten työkalu kääntää tekstikehotteen tatuointisuunnitelmaksi?

Kehotteesi pilkotaan merkkijonoihin, muunnetaan vektoreiksi ja syötetään U-Netille ehdollistuksena jokaisessa kohinanpoistoaskeleessa. Malli alkaa puhtaasta kohinasta ja poistaa iteratiivisesti osia, jotka eivät vastaa kehottevektoria, jättäen jäljelle kuvan, joka vastaa sitä.

Sanoista kuvaksi siirtyminen ei ole hakua. Malli ei etsi tietokannasta tatuointeja, jotka vastaavat kehottettasi — se luo kuvan, jota ei ole koskaan aiemmin ollut olemassa, ohjattuna koulutuksen aikana omaksutuista tilastollisista kuvioista. Tämä ero on tärkeä, koska se selittää sekä vahvuudet (omaperäisyys, loputon vaihtelu) että heikkoudet (ajoittaiset anatomiavirheet, kehotteen ajautuminen).

Mekaanisesti kehote kulkee tokenisaattorin läpi, joka pilkkoo sen osakohtaisiin yksiköihin, sitten tekstienkoodeerin läpi, joka tuottaa semanttista merkitystä kielivän vektorisarjan. "Kurki, ohutviiva, negatiivinen tila" muuttuu koordinaateiksi tilassa, jossa "kurki" sijaitsee lähellä muita pitkäkaulaisia lintuja, "ohutviiva" lähellä minimalistisia tyylejä ja "negatiivinen tila" vetää kohti sommitelmia, joissa on tarkoituksellinen tyhjyys. U-Net vastaanottaa tämän ehdollistuksen ja käyttää sitä päättääkseen jokaisessa kohinanpoistoaskeleessa, mitkä kohinakuviot säilyttää ja mitkä poistaa.

Luokittaja-vapaa ohjaus on vipu, joka hallitsee, kuinka kirjaimellisesti malli tulkitsee sinua. Matala ohjaus tuottaa pehmeämpiä, luovempia tulkintoja; korkea ohjaus pakottaa tiukan noudattamisen kehotteeseen — joskus kuvanlaadun kustannuksella. Tatuointiviritetyt tuotteet valitsevat yleensä keskiarvon puolestasi. Näytteenottoaskeleet (tyypillisesti kaksikymmentä viiteenkymmeneen) vaihtavat nopeuden viimeistelyyn. Siemen — yksittäinen kokonaisluku — määrittää aloituskohinakentän; sama kehote ja sama siemen tuottavat aina saman kuvan, minkä ansiosta iterointi muuttuu deterministiseksi eikä satunnaista. Kun olet löytänyt mieleisesi generoinnin, voit esikatsella generoitua tatuointia ihollasi tai muuntaa generoidun suunnitelman sapluunaksi vietäväksi taiteilijalle.

Mikä rooli valokuvasyötöllä on ihotietoisessa generoinnissa?

Valokuvasyöttö antaa mallin ehdollistua todelliseen anatomiaan. Kuva koodataan kehotteen rinnalla, joten generointi kunnioittaa kehon osan kaaria, mittakaavaa ja sijoittelua — sen sijaan että tuotettaisiin litteä suunnitelma, jota täytyy jälkeenpäin sovittaa iholle.

Pelkkä tekstistä kuvaksi -generointi tuottaa suunnitelman valkoisella taustalla. Se riittää valinnantekoon, mutta se jättää huomiotta sen tärkeimmän rajoituksen, joka oikealla tatuoinnilla on: keho, jolle se istuu. Iho on kaartuvaa, epäsymmetristä ja kolmiulotteista. Sommitelma, joka näyttää tasapainoiselta neliöisenä PNG-kuvana, saattaa näyttää vinolta, kun se kiertää kyynärvarren ympäri tai seuraa solisluun linjaa.

Valokuvaan ehdollistettu generointi sulkee tämän aukon. Taustalla järjestelmä käyttää yhtä useista tekniikoista — ControlNet, IP-Adapter, syvyysehdollistus tai img2img matalalla kohinanpoistovoimakkuudella — syöttääkseen valokuvastasi tietoa diffuusioprosessiin. Malli voi lukea kätesi kaaren, selän lihaksen määrittelyn, kylkikaaren vieton ja mukauttaa suunnitelman sen mukaisesti. Käsivarrtesi ympäri kiertymään tarkoitettu käärme generoidaan jo kiertymässä; sisemmälle kyynärvarrellesi tarkoitettu teos generoidaan oikeassa kuvasuhteessa.

Toinen käyttötapa valokuvasyötölle on virtuaalinen kokeilu: sen sijaan että ehdollistettaisiin generointia, järjestelmä liittää valmiin suunnitelman valokuvaasi perspektiivikorjauksella, läpinäkyvyyssäädöllä ja varjokäsittelyllä. Näin näet, miltä tatuointi näyttää ennen varaamista — ja se on halvin tapa havaita, että ihastuttava idea ruudulla ei toimi valitsemaasi sijoitteluun. Kumpikin työnkulku muuttaa suunnittelukeskustelun "pidänkö tästä kuvasta" kysymyksestä "pidänkö tästä tatuoinnista minulla" kysymykseksi — ja nämä ovat hyvin erilaisia kysymyksiä.

Missä tekoälytattoo-generointi yhä jää ihmistaiteilijasta jälkeen?

Tekoäly on erinomainen ideoinnissa ja heikko viimeistelytyössä. Se kamppailee tiukan symmetrian, kasvojen, käsien, tekstin ja käytännöllisen arvioinnin kanssa siitä, miten suunnitelma ikääntyy, arpeutuu ja luettavuus pienessä koossa — kaikki asiat, joita pätevä ihmistaiteilija tekee refleksistä.

Rehellinen vastaus on, että tekoäly on parempi ideointiyhteistyökumppani kuin viimeistelijä. Se on nopeampi kuin kukaan ihminen tutkimaan suuntia, generoimaan variaatioita ja näyttämään, miltä sata erilaista versiota samasta ideasta näyttää. Se muuttaa kaiken tatuoinnin suunnittelun alkuvaiheen osalta. Mutta kuilu "hyvän generoidun kuvan" ja "hyvän tatuoinnin" välillä on todellinen, ja se ilmenee tietyissä paikoissa.

Symmetria on ensimmäinen. Diffuusiomallit ovat probabilistisia — ne eivät pakota vasenta silmää vastaamaan oikeaa silmää, kahta kukkavartta peilautumaan puhtaasti tai mandalan kahtatoista sektoria olemaan identtiset. Voit päästä lähelle oikealla kehotteella ja siemenellä, mutta ihminen tiedoston siistimiseen on yleensä tarpeen, jos symmetria on teoksen pointti. Kasvot, kädet ja pieni teksti ovat toinen epäonnistumistapa samasta syystä: korkean taajuuden yksityiskohdat semanttisesti tiheillä alueilla ovat juuri se, missä diffuusio useimmin hallusinoi.

Syvempi rajoitus on arvostelukyky. Diffuusiomalli ei ole koskaan seurannut tatuoinnin paranemista. Se ei tiedä, että erittäin ohut viivat sormen kyljessä sumentuvat kahden vuoden sisällä, että valkoinen muste haalistuu auringossa, että tiiviisti pakattu suunnitelma kolmessa senttimetrissä menettää kaikki yksityiskohtansa mustelevittymiselle, tai että selässä oleva teos täytyy ottaa huomioon kehon liike. Nämä ovat asioita, joita työskentelevä tatuointitaiteilija kertoo sinulle heti paikan päällä. Käytä tekoälyä generoimiseen, iterointiin ja visuaalin validointiin — tuo sitten tiedosto henkilölle, jolla on tuhansia tunteja muste käyttäytymisen seuraamisessa keholla, ja anna heidän tehdä se osa, jonka kone ei pysty.

Generaattorityyppi syöttömodaliteetin ja tuloslaadun mukaan

diffuusiomalli — Generatiivinen neuroverkko, joka oppii kääntämään vaiheittaisen kohinaprosessin. Alkaen satunnaisesta kohinasta se ennustaa ja poistaa kohinaa iteratiivisesti — ohjattuna teksti- tai kuvakehotteella — kunnes koherentti kuva syntyy.