AI டாட்டூ ஜெனரேட்டர்கள் எவ்வாறு செயல்படுகின்றன: பைப்லைன் விளக்கம்

ஒரு AI டாட்டூ ஜெனரேட்டர் என்பது டாட்டூ படங்களில் நுண்-சரிசெய்யப்பட்ட ஒரு டிஃப்யூஷன் மாதிரி. இது உங்கள் பிரம்ட்டை படிக்கிறது, பல படிகளில் ஒரு சீரற்ற இரைச்சல் புலத்தை நீக்குகிறது, மற்றும் பயிற்சியின்போது கற்ற முறைகளால் வடிவமைக்கப்பட்ட அசல் கலைப்படைப்பில் இறங்குகிறது.

ஒரு வழக்கமான AI டாட்டூ ஜெனரேட்டருக்கு எந்த மாதிரி கட்டமைப்பு இயக்குகிறது?

பெரும்பாலான டாட்டூ ஜெனரேட்டர்கள் டாட்டூ கலையில் நுண்-சரிசெய்யப்பட்ட லேட்டன்ட் டிஃப்யூஷன் மாதிரியை இயக்குகின்றன. ஒரு உரை என்கோடர் உங்கள் பிரம்ட்டை திசையன்களாக மாற்றுகிறது, ஒரு U-Net பல படிகளில் ஒரு லேட்டன்ட் படத்தை நீக்குகிறது, மற்றும் ஒரு டிகோடர் இறுதி லேட்டன்ட்டை ஒரு தெரியும் வடிவமைப்பாக மாற்றுகிறது.

இன்றைய ஆதிக்க கட்டமைப்பு லேட்டன்ட் டிஃப்யூஷன் — Stable Diffusion, SDXL, Midjourney இன் சமீபத்திய வெளியீடுகள் மற்றும் பெரும்பாலான திறந்த டாட்டூ-குறிப்பிட்ட ஃபோர்க்குகளுக்கு அடிப்படையான அதே குடும்பம். "லேட்டன்ட்" என்பது முக்கிய வார்த்தை: முழு பிக்சல் தெளிவுத்திறனில் நீக்குவதற்குப் பதிலாக, மாதிரி ஒரு சுருக்கப்பட்ட பிரதிநிதித்துவத்தில் செயல்படுகிறது, அதனால்தான் ஒரு தலைமுறை நிமிடங்களுக்குப் பதிலாக வினாடிகளில் முடிகிறது.

மூன்று கூறுகள் முக்கியம். ஒரு உரை என்கோடர் (பொதுவாக CLIP அல்லது T5 வகை) உங்கள் எழுதப்பட்ட பிரம்ட்டை உயர்-பரிமாண திசையன்களாக மாப்பிங் செய்கிறது, வெறும் முக்கிய வார்த்தைகள் அல்ல, அர்த்தத்தை படம்பிடிக்கிறது. U-Net உண்மையான நீக்கும் பணியைச் செய்கிறது. ஒரு மாறுபடும் ஆட்டோ-என்கோடர் டிகோடர் பிறகு இறுதி லேட்டன்ட்டை ஒரு தெரியும் படமாக விரிவுபடுத்துகிறது.

டாட்டூ-குறிப்பிட்ட பகுதி நுண்-சரிசெய்தலின்போது நடக்கிறது. திறந்த இணையத்தில் பார்த்த அடிப்படை மாதிரி டாட்டூ கலையின் தொகுக்கப்பட்ட தொகுப்பில் — ஃபிளாஷ் தாள்கள், குணமடைந்த புகைப்படங்கள், கோட்டு வேலை, ஸ்டென்சில்கள் — மேலும் பயிற்சியளிக்கப்படுகிறது. நீக்கும் செயல்முறையின் பின்னால் உள்ள கணிதத்தை விரும்புவோருக்கு arxiv.org/abs/2006.11239 இல் உள்ள அசல் DDPM கட்டுரை இயல்பான குறிப்பு. தற்போதைய AI டாட்டூ கருவிகளை ஒப்பிட விரும்பினால், கட்டமைப்பு கிட்டத்தட்ட எப்போதும் இந்த அடுக்கின் சில வகையாகவே இருக்கும்.

கருவி உரை பிரம்ட்டை டாட்டூ வடிவமைப்பாக எவ்வாறு மொழிபெயர்க்கிறது?

உங்கள் பிரம்ட் டோக்கனைஸ் செய்யப்படுகிறது, ஒரு திசையனில் உட்பொதிக்கப்படுகிறது, மற்றும் ஒவ்வொரு நீக்கும் படியிலும் U-Net க்கு கண்டிஷனிங்காக வழங்கப்படுகிறது. மாதிரி தூய இரைச்சலில் இருந்து தொடங்கி பிரம்ட் திசையனுடன் பொருந்தாதவற்றை மீண்டும் மீண்டும் நீக்குகிறது, பொருந்துவதை விட்டுவிடுகிறது.

வார்த்தைகளில் இருந்து படத்திற்கான மொழிபெயர்ப்பு மீட்டெடுப்பு அல்ல. மாதிரி உங்கள் பிரம்ட்டுடன் பொருந்தும் விஷயங்களுக்காக டாட்டூக்களின் தரவுத்தளத்தை தேடவில்லை — இது ஒரு படத்தை உருவாக்குகிறது, அது பயிற்சியின்போது உள்வாங்கிய புள்ளியியல் முறைகளால் வழிகாட்டப்பட்டு, இதற்கு முன் ஒருபோதும் இல்லாத ஒரு படம். இந்த வேறுபாடு முக்கியம் ஏனெனில் இது வலிமைகளை (அசல்தன்மை, எல்லையற்ற மாறுபாடு) மற்றும் பலவீனங்களை (சில நேரங்களில் உடற்கூறியல் குளறுபடிகள், பிரம்ட் சறுக்கல்) விளக்குகிறது.

யந்திர ரீதியாக, பிரம்ட் ஒரு டோக்கனைஸரிலிருந்து செல்கிறது, பிறகு உரை என்கோடர் வழியாக, இது சொல்-கீழ் அலகுகளாக உடைக்கிறது. U-Net இந்த கண்டிஷனிங்கை பெறுகிறது மற்றும் ஒவ்வொரு நீக்கும் படியிலும் முடிவெடுக்க பயன்படுத்துகிறது. ஒரு தலைமுறை கிடைத்தால், நீங்கள் உங்கள் தோலில் உருவாக்கப்பட்ட டாட்டூவை முன்னோட்டமிட அல்லது உங்கள் கலைஞரிடம் எடுத்துச் செல்ல ஒரு ஸ்டென்சிலாக மாற்ற முடியும்.

தோல்-விழிப்புணர்வு தலைமுறையில் புகைப்பட உள்ளீடு என்ன பங்கு வகிக்கிறது?

ஒரு புகைப்பட உள்ளீடு மாதிரியை உங்கள் உண்மையான உடற்கூறியலில் கண்டிஷன் செய்ய அனுமதிக்கிறது. படம் பிரம்ட்டுடன் என்கோட் செய்யப்படுகிறது, எனவே தலைமுறை உடல் பகுதியின் வளைவுகள், அளவு மற்றும் இடத்தை மதிக்கிறது — பின்னர் தோலுக்கு ஏற்றுக்கொள்ள வேண்டிய ஒரு தட்டையான வடிவமைப்பை உருவாக்குவதற்கு பதிலாக.

தூய உரை-இல்-இருந்து-படம் தலைமுறை வெள்ளை பின்னணியில் மிதக்கும் ஒரு வடிவமைப்பை உருவாக்குகிறது. நீங்கள் விரும்புவதை தேர்ந்தெடுக்க இது நல்லது, ஆனால் இது ஒரு உண்மையான டாட்டூவின் ஒரே மிக முக்கியமான கட்டுப்பாட்டை புறக்கணிக்கிறது: அது அமர்ந்திருக்கும் உடல். தோல் வளைந்தது, சமச்சீரற்றது மற்றும் மூன்று பரிமாணத்தில் இருக்கிறது.

புகைப்பட-கண்டிஷன் செய்யப்பட்ட தலைமுறை அந்த இடைவெளியை நிரப்புகிறது. திரைக்கு பின்னால் அமைப்பு ControlNet, IP-Adapter, ஆழம் கண்டிஷனிங் அல்லது குறைந்த நீக்கும் வலிமையுடன் img2img ஆகிய நுட்பங்களில் ஒன்றை பயன்படுத்துகிறது — உங்கள் புகைப்படத்திலிருந்து தகவலை டிஃப்யூஷன் செயல்முறையில் செலுத்த. புகைப்பட உள்ளீட்டின் இரண்டாவது பயன்பாடு மெய்நிகர் முயற்சி: தலைமுறையை கண்டிஷன் செய்வதற்குப் பதிலாக, அமைப்பு முன்னோக்கு திருத்தல், ஒளிபுகாமை பொருத்தம் மற்றும் நிழல் கையாளுதலுடன் உங்கள் புகைப்படத்தில் ஒரு முடிந்த வடிவமைப்பை ஒருங்கிணைக்கிறது. முன்பதிவு செய்வதற்கு முன் டாட்டூ எப்படி இருக்கும் என்று பார்க்கிறீர்கள் என்பது இவ்வாறுதான்.

AI டாட்டூ தலைமுறை மனித கலைஞர்களை விட இன்னும் எங்கே குறைகிறது?

AI யோசனை உருவாக்கத்தில் சிறந்தது மற்றும் முடிப்பு வேலையில் பலவீனமானது. இது கடுமையான சமச்சீர்மை, முகங்கள், கைகள், உரை மற்றும் ஒரு வடிவமைப்பு எப்படி வயதாகும், தழும்புகள் ஏற்படும், சிறிய அளவுகளில் எப்படி தெரியும் என்பதற்கான நடைமுறை தீர்ப்பில் போராடுகிறது — ஒரு திறமையான மனித கலைஞர் எல்லாவற்றையும் பிரதிவினை மூலம் கையாளுகிறார்.

நேர்மையான பதில் என்னவெனில் AI ஒரு முடிப்பாளரை விட ஒரு சிறந்த மூளைச்சலவை கூட்டாளி. வழிகளை ஆராய்வதில், மாறுபாடுகளை உருவாக்குவதில் மற்றும் ஒரே யோசனையின் நூறு வெவ்வேறு பார்வைகளை உங்களுக்குக் காட்டுவதில் எந்த மனிதனையும் விட வேகமாக இருக்கிறது. ஆனால் "நல்ல உருவாக்கப்பட்ட படம்" மற்றும் "நல்ல டாட்டூ" இடையே உள்ள இடைவெளி உண்மையானது, மற்றும் அது குறிப்பிட்ட இடங்களில் தெரிகிறது.

சமச்சீர்மை முதலாவது. டிஃப்யூஷன் மாதிரிகள் நிகழ்தகவு சார்ந்தவை — இடது கண் வலதுக்கு பொருந்துகிறதா, இரண்டு மலர் தண்டுகள் தெளிவாக கண்ணாடியில் பிரதிபலிக்கின்றனவா என்பதை அவை அமலாக்குவதில்லை. முகங்கள், கைகள் மற்றும் சிறிய உரை ஒரே காரணத்திற்காக இரண்டாவது தோல்வி முறை.

ஆழமான வரம்பு தீர்ப்பு. ஒரு டிஃப்யூஷன் மாதிரி ஒரு டாட்டூ குணமடைவதை பார்த்ததில்லை. மிகவும் மெல்லிய கோடுகள் விரல் பக்கங்களில் இரண்டு ஆண்டுகளுக்குள் மங்கிவிடும், வெள்ளை மை வெயிலில் மங்குகிறது, மூன்று சென்டிமீட்டரில் இறுக்கமாக நிரம்பிய வடிவமைப்பு மை பரவுவதால் அனைத்து விவரங்களையும் இழக்கும் என்று அதற்குத் தெரியாது. AI ஐ பயன்படுத்தி உருவாக்குங்கள், மீண்டும் செய்யுங்கள் மற்றும் காட்சியை சரிபாருங்கள் — பின்னர் கோப்பை உடல்களில் மை எவ்வாறு நடந்துகொள்கிறது என்பதை கவனிக்க ஆயிரக்கணக்கான மணிநேரங்களை செலவிட்டவரிடம் கொண்டு செல்லுங்கள்.

உள்ளீட்டு முறை மற்றும் வெளியீட்டு தரத்தால் ஜெனரேட்டர் வகை

டிஃப்யூஷன் மாதிரி — ஒரு படிப்படியான இரைச்சல் செயல்முறையை மாற்றியமைக்க கற்றுக்கொள்ளும் ஒரு உருவாக்கும் நரம்பியல் வலையமைப்பு. சீரற்ற இரைச்சலில் இருந்து தொடங்கி, உரை அல்லது படம் பிரம்ட்டால் வழிகாட்டப்பட்டு, ஒரு ஒத்திசைவான படம் தோன்றும் வரை மீண்டும் மீண்டும் இரைச்சலை கணிக்கிறது மற்றும் நீக்குகிறது.