Najnowsze oprogramowanie Nvidia przekształca gryzmoły w fotorealistyczne krajobrazy w ciągu kilku sekund!

NVIDIA to firma technologiczna AI, która już zachwyciła świat swoimi komputerowymi, hiperrealistycznymi portretami nieistniejących ludzi, a teraz wracają z nowym oprogramowaniem. Poznaj AI GauGAN, nazwany na cześć malarza postimpresjonisty, interaktywnej aplikacji, która może zamienić twoje „proste gryzmoły” w fotorealistyczne arcydzieła.

Czy byłeś na zajęciach plastycznych, próbując odtworzyć zdjęcie wodospadu, aby skończyć z renderowaniem na poziomie przedszkolnym? Cóż, GauGAN może przekształcić twój rysunek w ciągu kilku sekund. „Narzędzie wykorzystuje generatywne sieci kontradyktoryjne lub GAN.” – pisze NVIDIA. „Do konwersji map segmentacji na realistyczne obrazy.” Technologia ta może brzmieć jak narzędzie do zabawy, ale naukowcy piszą, że może to być potężne narzędzie w wielu dziedzinach twórczych.

Bryan Catanzaro, wiceprezes w firmie NVIDIA, porównał technologię GauGAN do „inteligentnego pędzla”, który ma możliwość wypełniania szczegółów szorstkimi mapami segmentacji. Taka technologia może być bardzo przydatna dla architektów, urbanistów, projektantów krajobrazu, a nawet twórców gier. „Dzięki sztucznej inteligencji, która rozumie, jak wygląda rzeczywisty świat, ci profesjonaliści mogą lepiej prototypować pomysły i dokonywać szybkich zmian na scenie syntetycznej.” Catanzaro wyjaśnił dalej: „Dużo łatwiej jest tworzyć burze mózgów za pomocą prostych szkiców, a ta technologia jest w stanie przekształcić szkice w wysoce realistyczne obrazy.”

GauGAN to pozornie prosta technologia. Użytkownik rysuje mapę segmentacji, a następnie manipuluje sceną, oznaczając segmenty obrazu słowami takimi jak „niebo” lub „śnieg”. Sztuczna inteligencja jest szkolona z milionami obrazów i jest w stanie wypełnić elementy, które użytkownik oznaczył etykietą hiperrealistycznej formy. Jeśli użytkownik zmieni etykietę z „śniegu” na „morze”, cały obraz ulegnie przekształceniu. „To jest jak obraz z kolorowanki, który opisuje, gdzie jest drzewo, gdzie jest słońce, gdzie jest niebo.” – powiedział Catanzaro. „Następnie sieć neuronowa jest w stanie wypełnić wszystkie szczegóły i tekstury oraz odbicia, cienie i kolory, w oparciu o to, czego nauczyła się o prawdziwych obrazach.”

Podczas gdy ta sztuczna inteligencja nie ma pełnego zrozumienia świata fizycznego, GANS nadal generuje realistyczne wyniki dzięki dwuczęściowemu systemowi – generatorowi i dyskryminatorowi. Generator najpierw tworzy obraz, a następnie przekazuje go do dyskryminatora, który został przeszkolony na rzeczywistych obrazach. Dyskryminator następnie trenuje generator w jaki sposób stworzyć bardziej realistyczny obraz, piksel po pikselu.

Oprócz początkowej transformacji, aplikacja pozwala dodawać stylowe filtry, aby pasowały do ​​gustu malarza, a nawet zmieniać zdjęcie z dnia na noc. „Ta technologia to nie tylko łączenie kawałków innych obrazów, czy cięcie i wklejanie tekstur.” – powiedział Catanzaro. „To właściwie synteza nowych obrazów, bardzo podobnych do tego, jak artysta je narysuje.”

Podczas gdy GauGan skupia się na zapierających dech w piersiach krajobrazach i szczegółach natury, takich jak trawiaste ziemie, błękitne morza i niebo, które nie są w stanie stworzyć tej aplikacji, technologia ma również neutralną sieć, która ma możliwość wypełniania nie-naturalnych cech, takich jak budynki, drogi, a nawet ludzie.

W czerwcu artykuł badawczy za GauGAN został przyjęty jako ustna prezentacja na CVPR, „najważniejszej corocznej imprezy dotyczącej wizji komputerowej”. Wyróżnienie to przyznawane jest tylko 5 procentom z ponad 5000 osób zgłoszenia.