Inhoud

• Hoe neurale netwerken werken
• Neurale netwerken in uw smartphone
• AI kan de toekomst van fotografie vormgeven

Naast computerfotografie, hoogwaardige camera-hardware en beeldsignaalprocessors, wordt geavanceerde mobiele fotografie in toenemende mate aangedreven door machine learning-algoritmen - ook bekend als kunstmatige intelligentie (AI). Deze fotografietechniek belooft de kwaliteit te verbeteren in de richting van DSLR-achtige kwaliteit en biedt tegelijkertijd creatieve nieuwe manieren om foto's en video's te maken en te bewerken.

De sleutel tot machine learning is het gebruik van neurale netwerken. Dit is een soort algoritme dat vaak wordt vergeleken met het menselijk brein. Deze vergelijking is gebaseerd op het vermogen van een neuraal netwerk om door middel van gegevens te worden getraind om patronen te herkennen, waardoor het zeer nauwkeurige classificaties voor complexe gegevenstypen zoals audio en afbeeldingen kan maken.

Als het gaat om fotografie, heeft de mogelijkheid om te observeren, leren, genereren en classificeren een breed scala aan toepassingen. Deze toepassingen kunnen functies omvatten zoals voortbouwen op computationele fotografie-technieken om de algoritmen voor nabewerking te verbeteren, realtime software bokeh met 4K-video of zelfs de kleuren van de kleding die u draagt ​​volledig uitwisselen.

Hoe neurale netwerken werken

Neurale netwerken zijn een enorm complex onderwerp, dus we gaan hier alleen over de basis. Bekijk hier en hier handleidingen voor meer geavanceerd lezen.

Neurale netwerken bestaan ​​uit knooppunten, wat een betekenis is voor waar enige berekening wordt uitgevoerd. Elke knoop combineert een invoer met een gewicht dat de betekenis van die specifieke knoop versterkt of verzwakt. Verschillende knooppunten werken vaak parallel, waardoor een laag knooppunten ontstaat die een grotere taak uitvoert. Dit kan bijvoorbeeld functiedetectie in een afbeelding zijn. Meerdere knooppunten en lagen kunnen worden samengevat en worden doorgegeven aan andere knooppunten en lagen, waardoor een dieper netwerk met krachtigere mogelijkheden wordt gevormd.

De uitvoer van elke knoop en laag wordt geschaald als een waarschijnlijkheidsfunctie. Door naar veel verschillende functies en attributen te kijken, kan een neuraal netwerk de input beoordelen als een kansmatch tegen alle verwachte potentiële outputs. Dit is hoe beelddetectie-algoritmen beslissen of een foto meer op een kat of een sinaasappel lijkt, maar je moet het eerst vertellen waar het op moet letten.

Neurale netwerken zijn niet zo geprogrammeerd als traditionele computeralgoritmen. In plaats daarvan worden ze getraind in datasets, zoals afbeeldingen, geluidsbestanden, enz. De gewichten van elk knooppunt worden in de loop van de tijd geleidelijk aangepast via een terugkoppellus, gebaseerd op hoe goed het netwerk deed bij het matchen van de ingangen met de juiste uitgangen. Dit geleidelijke 'leren' van de regels kost veel voorbereiding, tijd en rekenkracht, maar levert fenomenaal nauwkeurige resultaten op.

Neurale netwerken in uw smartphone

Neurale netwerken kunnen op verschillende hardwarecomponenten draaien, inclusief de CPU- en GPU-onderdelen die gebruikelijk zijn in een reeks computerapparatuur, waaronder uw smartphone. Sommige neurale netwerken kunnen echter meer verwerkingskracht vereisen dan deze hardwarecomponenten kunnen geven, en speciale hardware kan de optimale verwerking bieden die nodig is.

In het Qualcomm® Snapdragon ™ 855 mobiele platform vindt u bijvoorbeeld de nieuwste Qualcomm® Hexagon ™ 690 digitale signaalprocessor (DSP), met verbeterde vectorverwerkingseenheden en een nieuwe Tensor Accelerator specifiek voor taken op het gebied van machine learning. Andere Snapdragon Mobile-platforms hebben ook de Hexagon DSP-component, met verschillende mogelijkheden. Dat gezegd hebbende, neurale netten zijn niet beperkt tot alleen draaien op de DSP op Snapdragon en andere mobiele platforms. Het type processor dat wordt gebruikt, is afhankelijk van de werkbelasting.

Qualcomm Snapdragon 855 verbeteringen in machine learning ten opzichte van de vorige generatie

Qualcomm Technologies stelt zijn DSP- en machine learning-mogelijkheden open voor externe ontwikkelaars via zijn Qualcomm® Neural Processing SDK. Hiermee kunnen apps neurale netten uitvoeren op alle hardwarecores in een Snapdragon Mobile-platform. Google Pixel-smartphones maken bijvoorbeeld gebruik van de Hexagon DSP en zijn eigen Visual Core om zijn indrukwekkende HDR + fotografie-functie te versnellen. Qualcomm Technologies werkt met softwareleveranciers zoals Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho en meer, met ondersteuning van functies variërend van video-bokeh tot het maken van avatar met behulp van machine learning op de DSP.

AI kan de toekomst van fotografie vormgeven

Nu we weten hoe neurale netwerken werken, is de belangrijke vraag wat het zou kunnen doen voor ons en onze foto's?

Neurale netwerken worden gebruikt om een ​​reeks algemene fotografie-algoritmen te verbeteren. De ruis kan bijvoorbeeld worden verbeterd met training om een ​​superieure beeldopruiming te bieden die is afgestemd op de specifieke camera of het type opname. Evenzo kan een neuraal net voor weinig licht heldere en donkere delen van het beeld detecteren, waardoor licht en kleur in bepaalde delen van de scène kunnen worden verbeterd.

Meer geavanceerde gebruiksscenario's komen steeds vaker voor bij smartphone-fotografie. Superresolutiezooms maken gebruik van neurale netten om meerdere afbeeldingen te combineren tot één enkele hoge resolutie opname voor een superieure digitale zoom. Neurale netten kunnen ook worden getraind om meerdere foto-opnamen nauwkeurig aan elkaar te naaien voor verbeterde HDR- en nachtopnamen.

AI-fotografie kan superresolutiezoom, realtime bokeh en verbeterde beeldkwaliteit omvatten.

Video kan ook profiteren van de toepassing van deze technologie. Real-time objectdetectie is ontworpen om apps in staat te stellen software bokeh-effecten direct in video te introduceren terwijl u opneemt. Soortgelijke technieken ondersteunen ook real-time objectwisseling en verwijdering. Dit omvat het omwisselen van de achtergrond in een video, het veranderen of verwijderen van kleuren, en zelfs het vervangen van kledingstukken of het over elkaar heen leggen van digitale avatars rechtstreeks in je video.

De kracht van neuraal netwerken en AI-fotografie varieert van kwaliteitsverbeteringen om de kloof op DSLR te dichten tot krachtige creativiteitstools die helpen om unieke content te produceren. Hoe dan ook, het is een krachtige technologie die fundamenteel is voor toekomstige verbeteringen op weg naar mobiele fotografie.

Volgende: Google Pixel 3 XL internationale weggeefactie!

Inhoud gesponsord door Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine en Qualcomm Kryo zijn producten van Qualcomm Technologies, Inc. en / of haar dochterondernemingen.