Sztuczna inteligencja Google nauczyła się nowych sztuczek. Rewolucja już niebawem w twoim smartfonie

Autor: Maciej Luśtyk

24 Sierpień 2022

Artykuł na: 4-5 minut

Pełne detali zdjęcia nocne, swobodne sterowanie głębią ostrości i tworzenia obiektów 3D przy pomocy kilku zdjęć. Możliwości systemu RawNerf już niebawem zawitają zapewne do naszych smartfonów.

Ostatnimi czasy nie ma dnia byśmy nie usłyszeli o nowych, zaskakujących dokonaniach z obszaru systemów obrazowania wytrenowanych w oparciu o układy AI. Tym razem przyglądamy się nowej wersji systemu NeRF (Neutral Radiance Fields), opracowywanego przez naukowców z Google.

Zasadniczo układ Nerf służy do mapowania obiektów w 3D przy pomocy zdjęć wykonanych z różnych perspektyw. Tym razem naukowcy wzbogacili jednak program o analizę danych RAW, dzięki której udało się otrzymać prawdopodobnie najdoskonalszy system odszumiania i poprawy jakości zdjęć wykonywanych w słabym świetle, jaki do tej pory widzieliśmy. A to dopiero początek możliwości systemu.

Sony FX30 - RATY 20x0%

9 849 zł

Nikon Z f

9 849 zł

Canon EOS R8 - RATY 20x0%

6 199 zł

Sigma 50 mm f/1.2 L-Mount - RATY 20x0%

5 990 zł

Tamron 35-150 mm Nikon Z - RATY 20x0%

7 585 zł

Nocne zdjęcia bez szumu i możliwość swobodnego sterowania perspektywą oraz głębią ostrości - wystarczy pomachać smartfonem

Wszystko opiera się tu na wykorzystaniu kilku kadrów danej sceny, wykonanych z niewielkim przesunięciem aparatu, a następnie uśrednieniu sygnału, które pozwala pozbyć się szumu ze zdjęć. Sama technika uśredniania, która przetwarza serię zdjęć w celu zminimalizowania zaszumienia nie jest niczym nowym. Oferują ją niektóre aparaty, a także większość współczesnych smartfonów, które w ten sposób realizują tryb nocny. Główną różnicą jest jednak to, że w tym wypadku aparat nie musi stać nieruchomo, co otwiera przed nami szereg nowych możliwości.

Dzięki serii od 5 do 200 zdjęć wykonanych z różnych perspektyw, system RawNeRF jest w stanie nie tylko niezwykle skutecznie odszumiać zdjęcia bez dbania o to, by aparat nie został poruszony, ale także poszerzać ich zakres dynamiczny, tworzyć przestrzenne mapy scen, które pozwalają nam w zasadzie dowolnie sterować głębią ostrości zdjęć i tworzyć realistyczny efekt bokeh.

Wszystko dokładnie opisane jest w powyższym filmiku i trzeba przyznać, że robi ogromne wrażenie. Co chyba najważniejsze, pokazane przykłady bazują na zdjęciach wykonanych smartfonami, co oznacza, że podobna technologia już niebawem może zawitać do aparatów w naszych telefonach i będzie w stanie zaoferować nam efekty, takie jak pokazane powyżej.

Jednym słowem, z dużym prawdopodobieństwem już niebawem naszymi telefonami będziemy w stanie tworzyć wysokiej jakości zdjęcia w słabym świetle, wyglądające przy tym jak wykonane wysokiej klasy obiektywami. Co więcej, wygląda na to, że będziemy je także w stanie animować w krótkie filmy, lub też, machając przez chwilę telefonem, otrzymać możliwość swobodnej regulacji perspektywy na danym zdjęciu. I to wszystko przy zachowaniu elastyczności plików RAW.

Dzięki takim rozwiązaniom mobilne układy obrazowanie zdobędą kolejną przewagą nad aparatami. Czy producenci prześpią to tak samo jak smartfonową rewolucję?

Brzmi świetnie i ma szansę stać się podstawą kolejnej rewolucji na rynku mobilnego obrazowania. To też prawdopodobnie ostatni dzwonek dla producentów aparatów na uratowanie segmentu amatorskiego i hobbystycznego dzięki implementacji własnych funkcji AI. W przeciwnym razie już za kilka lat na rynku aparatów pozostaną wyłącznie profesjonalne konstrukcje, nastawione na wymagającą pracę zawodową, bo ze wszystkim innym poradzą sobie smartfony. A producenci pozbawiani kolejnych segmentów swoich systemów będą mieli znacznie większy problem niż przy zapaści będącego niegdyś żyłą złota rynku kompaktów.

Szczegółowe informacje na temat działania i adaptacji systemu NeRF znajdziecie na stronie arxiv.org.