Inhoud
De Google Pixel 4 en Pixel 4 XL beschikken over de allerbeste softwarefuncties en cameramogelijkheden van het bedrijf, die deels mogelijk zijn dankzij de opname van de Pixel Neural Core. Deze kleine chip bevindt zich naast de hoofdprocessor van de Pixel 4 om de krachtige machine learning workloads van Google efficiënt uit te voeren. Deze variëren van beeldverwerking tot spraakherkenning en transcriptiemogelijkheden.
De Neural Core is echter niet de eerste crack van Google voor een interne machine learning-processor voor smartphones. De Pixel 2 en 3 worden geleverd met de Pixel Visual Core, ontworpen om beeldvormingstaken zoals HDR + te ontladen voor verbeterde prestaties en energie-efficiëntie. De neurale kern van de Pixel 4 bouwt voort op deze basis met verbeterde mogelijkheden en een selectie van nieuwe gebruiksscenario's.
Mis het niet: dit is wat de Astro-modus van de Pixel 4 kan doen
Hoe werkt de Pixel's Neural Core?
Google heeft nog geen details gedeeld over wat er precies in zijn neurale kern gebeurt. We weten echter wel hoe de Visual Core van de vorige generatie werkt en wat voor type technieken meestal worden gebruikt in machine learning (ML) -processors.
In tegenstelling tot een traditionele CPU die is gebouwd om een breed scala aan computertaken uit te voeren, zijn machine learning processors (NPU's), zoals de Neural Core, geoptimaliseerd voor een paar specifieke complexe wiskundige taken. Hierdoor lijken ze meer op digitale signaalprocessors (DSP) of grafische verwerkingseenheden (GPU), maar geoptimaliseerd voor de specifieke bewerkingen die worden gebruikt door machine learning-algoritmen.
Gefuseerd vermenigvuldigen-accumuleren is een veel voorkomende beeldbewerking en spraak-ML-bewerking die geen brede ondersteuning voor binnen een CPU zal vinden. In tegenstelling tot moderne 32- en 64-bits CPU's worden deze bewerkingen uitgevoerd op gegevensgroottes van slechts 16, 8 en zelfs 4 bits. Aangepaste hardwareblokken zijn vereist om deze bewerkingen met maximale efficiëntie te ondersteunen.
De neurale kern versnelt beeld- en spraakalgoritmen die minder efficiënt werken op een CPU of GPU.
De Neural Core bouwt speciale rekenkundige logische eenheden in hardware om deze instructies snel en met minimaal stroomverbruik af te handelen, in plaats van meerdere CPU-cycli in beslag te nemen. De chip bestaat waarschijnlijk uit honderden van deze ALU's in meerdere kernen, met gedeeld lokaal geheugen en een microprocessor die toezicht houdt op de taakplanning.
Google heeft vrijwel zeker zijn nieuwste hardware-ontwerp geoptimaliseerd rond zijn algoritmen voor assistent-, spraak- en beeldbewerkingssoftware. Afhankelijkheid van de ALU-mogelijkheden van de Neural Core is de reden waarom de nieuwste fotografiefuncties van de Pixel 4 hun weg niet vinden naar oudere handsets.
Wat kan de neurale kern doen?
De neurale kern lijkt een sleutelingrediënt te zijn in een aantal nieuwe functies in de Google Pixel 4 en Pixel 4 XL. Deze verbeteringen zijn vooral gericht op beeld- en spraakverwerking.
Aan de fotografiezijde bevat de lijst Dual Exposure Controls, een astrofotografiemodus, live HDR + previews en Night Sight. Pixel 4 van Google voert in realtime dubbele belichtingsaanpassingen en HDR + uit, zodat gebruikers de resultaten van hun foto's kunnen zien voordat ze de sluiter raken. Dit duidt op een aanzienlijke toename van het rekenvermogen voor afbeeldingen in vergelijking met de Pixel 3.
Bovendien introduceren deze telefoons leergebaseerde witbalans in het camerasysteem, dat gele tinten corrigeert die vaak worden geassocieerd met foto's met weinig licht. Meervoudige belichtingsopnamen, luchtdetectie en beeldcombinatie worden gebruikt voor de Astro Night Sight-modus, waarvoor een flinke hoeveelheid slimme verwerking en beelddetectie vereist is. Ten slotte identificeert en beveelt de Pixel 4's Frequent Faces-functie betere foto's aan van mensen die u vaak fotografeert.
De Pixel 4 beschikt ook over een bijgewerkte Assistent, sportief verbeterde taalmodellen die nu native op het apparaat kunnen worden uitgevoerd in plaats van in de cloud. Nieuwe spraakfuncties omvatten ook vervolggesprekken, audiotranscriptie via de recorder-app en verbeterde spraakherkenning. De Neural Core speelt waarschijnlijk ook een rol in de 3D-gezichtsontgrendelingstechnologie van de telefoon.
Een golf van de toekomst
Neural Core van Google is het krachtigste stukje smartphonesilicium van het bedrijf tot nu toe, dat efficiëntere realtime beeldbewerking mogelijk maakt dan voorheen. Google is trots op zijn toonaangevende machine learning-technologieën en de grootste verkoopargumenten van de Pixel 4 vertrouwen op de vruchten van deze investeringen.
De Pixel 4 is echter niet de enige smartphone met een krachtige machine learning-processor. Alle smartphones met een Snapdragon 855 bieden speciale hardware voor machine learning. Hoewel Google duidelijk andere behoeften heeft en misschien zelfs nog krachtigere vereisten voor zijn smartphones. Evenzo beschikt de Kirin 990 van Huawei over twee interne NPU's die krachtig genoeg zijn voor realtime bokeh-video-effecten en meer.
Hardware voor machinaal leren wordt snel een hoeksteen van vlaggenschip smartphone image, video en AI-mogelijkheden. Google, met Pixel 4 en Neural Core, bevindt zich vlak bij de bovenkant van het pakket.
Volgende: Google's Pixel-camera's proberen helemaal geen camera's te zijn
