Microsoft vs Google - Wie leidt de kunstmatige-intelligentie-race?

AI is terug.

Voor het eerst sinds de jaren tachtig boeken kunstmatige intelligentieonderzoekers tastbare vooruitgang op het gebied van harde problemen, en mensen beginnen opnieuw serieus over sterke AI te praten. In de tussentijd heeft onze steeds meer door gegevens gestuurde wereld een wapenwedloop opgestart tussen bedrijven die geld willen verdienen aan de nieuwe intelligentie, met name in de mobiele ruimte.

De twee titanen die het pack leiden zijn Google en Microsoft. Het eerste gevecht? Een nieuw domein in kunstmatige intelligentie genoemd “Diepgaand leren.”

Dus wie is er aan het winnen?

De Google Brain

De onderzoeksinspanningen van Google zijn geconcentreerd rond een project met de naam 'Google Brain.' Google Brain is het product van Google's beroemde / geheime 'Google X' onderzoekslaboratorium, dat verantwoordelijk is voor maangeschoten projecten met lage kansen op succes, maar met een zeer hoog potentieel. Andere producten van Google X zijn Project Loon, het balloninternetinitiatief en het zelfrijdende Google-autoproject. Hier is hoe we een wereld vol met auto's zonder bestuurder krijgen. Hier komen we aan bij een wereld vol auto's zonder bestuurder. Rijden is een vervelende, gevaarlijke en veeleisende taak. Kan het ooit worden geautomatiseerd door de bestuurderloze autotechnologie van Google? Lees verder .

Google Brain is een enorm machine learning-initiatief dat primair gericht is op beeldverwerking, maar met veel bredere ambities. Het project is gestart door Stanford Professor Andrew Ng, een machine learning expert die sindsdien het project heeft verlaten om te werken voor Baidu, China's grootste zoekmachine.

Google heeft een lange geschiedenis van betrokkenheid bij KI-onderzoek. Matthew Zeiler, de CEO van een machine-visuele startup en een stagiair die aan de Google Brain werkte, zegt het zo:

“Google is niet echt een zoekbedrijf. Het is een machine-lerend bedrijf [...] Alles in het bedrijf wordt echt gedreven door machine learning.”

Het doel van het project is om manieren te vinden om diepgaande algoritmen voor het leren te verbeteren om neurale netwerken te bouwen die diepere en zinvollere patronen in gegevens kunnen vinden met minder verwerkingskracht. Hiertoe heeft Google agressief talent in deep learning opgekocht, waarbij acquisities zijn gedaan, waaronder de $ 500 miljoen aankoop van AI-startup DeepMind.

DeepMind was bezorgd over de toepassingen van hun technologie dat ze Google dwongen een ethiekbord te maken dat ontworpen was om te voorkomen dat hun software de wereld zou vernietigen. Hier is waarom wetenschappers denken dat je je zorgen moet maken over kunstmatige intelligentie Hier is waarom wetenschappers denken dat je je zorgen moet maken over kunstmatige intelligentie Denk je dat kunstmatige intelligentie gevaarlijk is? Kan AI een ernstig risico vormen voor de mensheid. Dit zijn enkele redenen waarom u zich misschien zorgen wilt maken. Lees verder . DeepMind had zijn eerste product nog niet uitgebracht, maar het bedrijf gebruikte een aanzienlijk deel van alle diepgaande kennisexperts in de wereld. Tot nu toe was hun enige openbare demo van hun technologie een speelgoed-AI die echt heel goed is in Atari.

Omdat deep learning een relatief nieuw veld is, heeft het geen tijd gehad om een ​​grote generatie experts te produceren. Als gevolg daarvan is er een zeer klein aantal mensen met expertise in het gebied, en dat betekent dat het mogelijk is om aanzienlijk voordeel te behalen in het veld door alle betrokkenen aan te nemen..

Google Brain is tot nu toe toegepast op de spraakherkenningsfunctie van Android en voor het automatisch catalogiseren van StreetView-afbeeldingen, waarbij belangrijke functies zoals adressen worden geïdentificeerd. Een vroege test was het beroemde kattenexperiment, waarin een diepgaand Google-leernetwerk automatisch leerde om katten in YouTube-video's te identificeren met een hogere mate van nauwkeurigheid dan de vorige stand van de techniek. In hun paper over het onderwerp, Google zet het zo:

“In tegenstelling tot wat een wijdverspreide intuïtie lijkt te zijn, laten onze experimentele resultaten zien dat het mogelijk is om een ​​gezichtsdetector te trainen zonder beelden te moeten labelen als een gezicht of niet [...] Het netwerk is gevoelig voor concepten van hoog niveau zoals kattengezichten en menselijke lichamen. Te beginnen met deze geleerde functies, hebben we het getraind om een ​​nauwkeurigheid van 15,8 procent te verkrijgen bij het herkennen van 20.000 objectcategorieën, een sprong van 70 procent relatieve verbetering ten opzichte van de vorige state-of-the-art [netwerken].”

Uiteindelijk zou Google zijn diepgaande algoritmen graag willen doen ... nou ja, eigenlijk alles, eigenlijk. Krachtige AI-platforms zoals IBM's Watson vertrouwen op dit soort low-level machine learning algoritmes en verbeteringen aan dit front maken het algemene gebied van AI zo veel krachtiger.

Een toekomstige versie van Google Now, mogelijk gemaakt door Google Brain, kan zowel spraak als afbeeldingen identificeren en intelligente inzichten bieden over die gegevens om gebruikers te helpen slimmere beslissingen te nemen. Google-brein kan alles verbeteren, van zoekresultaten tot Google Vertalen.

Microsoft Adam

Microsoft's benadering van de diepe leeroorlog was een beetje anders. In plaats van te proberen diepgaande experts op te kopen om hun algoritmen te verfijnen, heeft Microsoft zich gericht op het verbeteren van de implementatie en het vinden van betere manieren om de algoritmen die worden gebruikt om trein diepgaande algoritmen.

Dit project wordt genoemd “Microsoft Adam.” Hun technieken verminderen overbodige berekeningen, waardoor de kwaliteit van de resultaten wordt verdubbeld en er minder processors worden gebruikt om ze te verkrijgen. Dit heeft geleid tot indrukwekkende technische prestaties, waaronder een netwerk dat individuele hondenrassen uit foto's met een hoge nauwkeurigheid kan herkennen.

Microsoft beschrijft het project als volgt:

Het doel van Project Adam is om software in staat te stellen om elk object visueel te herkennen. Het is een grote opdracht, gezien het immense neurale netwerk in het menselijk brein dat dit soort associaties mogelijk maakt via triljoenen verbindingen. [...] Met 30 keer minder machines dan andere systemen, werd [internetafbeeldingsgegevens] gebruikt om een ​​neuraal netwerk te trainen meer dan twee miljard verbindingen. Deze schaalbare infrastructuur is tweemaal zo nauwkeurig in objectherkenning en 50 keer sneller dan andere systemen.

De voor de hand liggende toepassing voor deze technologie is in Cortana, de nieuwe virtuele assistent van Microsoft. Hoe Cortana de 'andere vrouw' in mijn leven werd Hoe Cortana de 'andere vrouw' werd In haar leven verscheen ze op een dag en veranderde ze mijn leven. Ze weet precies wat ik nodig heb en heeft een slecht gevoel voor humor. Het is geen wonder dat ik gevallen ben voor de charmes van Cortana. Lees meer, geïnspireerd door het AI-personage in Halo. Cortana, bedoeld om te concurreren met Siri, kan een aantal slimme dingen doen, met behulp van geavanceerde spraakherkenningstechnieken.

Het doel van het ontwerp is om een ​​assistent te bouwen met meer natuurlijke interactie en een breder scala aan nuttige taken voor de gebruiker uit te voeren, iets dat diep leren enorm zou helpen..

De verbeteringen van Microsoft aan de achterkant van deep learning zijn indrukwekkend en hebben ertoe geleid dat applicaties voorheen niet mogelijk waren.

Hoe Deep Learning werkt

Om het probleem een ​​beetje beter te begrijpen, nemen we even de tijd om deze nieuwe technologie te begrijpen. Deep learning is een techniek voor het bouwen van intelligente software, vaak toegepast op neurale netwerken. Het bouwt grote, nuttige netwerken op door eenvoudige neurale netwerken samen te leggen, waarbij elk patroon in de uitvoer van zijn voorganger wordt gevonden. Om te begrijpen waarom dit nuttig is, is het belangrijk om te kijken naar wat er voorafging aan diep leren.

Backpropagating Neural Networks

De onderliggende structuur van een neuraal netwerk is eigenlijk vrij eenvoudig. Elke 'neuron' is een klein knooppunt dat een invoer neemt en interne regels gebruikt om te beslissen wanneer “brand” (output produceren). De inputs die aan elk neuron worden toegevoerd, hebben “gewichten” - vermenigvuldigers die bepalen of het signaal positief of negatief is en hoe sterk.

Door deze neuronen met elkaar te verbinden, kunt u een netwerk bouwen dat elk algoritme emuleert. Je voedt je input in de input-neuronen als binaire waarden en meet de schietwaarde van de output-neuronen om de output te krijgen. Als zodanig is de truc voor neurale netwerken van elk type om een ​​netwerk te nemen en de set met gewichten te vinden die het best de functie benadert waarin je geïnteresseerd bent.

Backpropagation, het algoritme dat wordt gebruikt om het netwerk op basis van gegevens te trainen, is heel eenvoudig: u start uw netwerk uit met willekeurige gewichten en probeert vervolgens gegevens te classificeren met bekende antwoorden. Wanneer het netwerk verkeerd is, controleert u waarom het fout is (produceert een kleinere of grotere uitvoer dan het doel) en gebruikt u die informatie om de gewichten in een nuttigere richting te duwen..

Door dit voor steeds meer gegevenspunten te doen, leert het netwerk al uw gegevenspunten correct te classificeren en, hopelijk, om nieuwe gegevenspunten te generaliseren. Het belangrijkste inzicht van het backpropagation-algoritme is dat u foutgegevens achteruit door het netwerk kunt verplaatsen en elke laag kunt wijzigen op basis van de wijzigingen die u in de laatste laag hebt aangebracht, zodat u netwerken met verschillende lagen diep kunt bouwen, waardoor ingewikkelder patronen kunnen worden begrepen.

Backprop werd in 1974 uitgevonden door Geoffrey Hinton en had het opmerkelijke effect om neurale netwerken voor het eerst in de geschiedenis bruikbaar te maken voor brede toepassingen. Triviale neurale netwerken bestaan ​​al sinds de jaren 50 en werden oorspronkelijk geïmplementeerd met mechanische, door een motor aangedreven neuronen.

Een andere manier om na te denken over het backprop-algoritme is als een verkenner van een landschap van mogelijke oplossingen. Elk neurongewicht is een andere richting waarin het kan verkennen, en voor de meeste neurale netwerken zijn er duizenden van deze. Het netwerk kan de foutinformatie gebruiken om te zien in welke richting het moet komen en hoe ver, om fouten te verminderen.

Het begint op een willekeurig punt, en door voortdurend het foutenkompas te raadplegen, beweegt het 'bergafwaarts' in de richting van minder fouten, uiteindelijk vestigt het zich op de bodem van de dichtstbijzijnde vallei: de best mogelijke oplossing.

Dus waarom gebruiken we geen backpropagation voor alles? Backprop heeft verschillende problemen.

Het grootste probleem wordt het 'verdwijningsgradiëntprobleem' genoemd. Kortom, naarmate je foutgegevens terug door het netwerk verplaatst, wordt het minder zinvol elke keer dat je een laag teruggaat. Proberen om erg diepe neurale netwerken te bouwen met backpropagation werkt niet, omdat de foutinformatie niet diep genoeg in het netwerk kan doordringen om de lagere niveaus op een bruikbare manier te trainen.

Een tweede, minder ernstig probleem is dat neurale netwerken alleen samenvallen met lokale optima: vaak raken ze gevangen in een kleine vallei en missen ze diepere, betere oplossingen die niet in de buurt van hun willekeurige startpunt liggen. Dus, hoe lossen we deze problemen op?

Deep Belief Networks

Diepe geloofsnetwerken zijn een oplossing voor beide problemen en ze vertrouwen op het idee om netwerken te bouwen die al inzicht hebben in de structuur van het probleem en die netwerken vervolgens te verfijnen met backpropagation. Dit is een vorm van diep leren, en de methode die zowel door Google als door Microsoft wordt gebruikt.

De techniek is eenvoudig en is gebaseerd op een soort netwerk genaamd a “Beperkte Boltzman-machine” of “RBM”, die vertrouwt op wat bekend staat als onbewaakt leren.

Beperkte Boltzman-machines zijn in een notendop netwerken die eenvoudig de gegevens proberen te comprimeren die ze hebben gekregen, in plaats van te proberen deze expliciet te classificeren op basis van trainingsinformatie. RBM's nemen een verzameling gegevenspunten en worden getraind op basis van hun vermogen om die gegevenspunten uit het geheugen te reproduceren.

Door de RBM kleiner te maken dan de som van alle gegevens die u wilt laten coderen, dwingt u de RBM om structurele regelmatigheden over de gegevens te leren om alles in minder ruimte op te slaan. Door dit leren van een diepe structuur kan het netwerk generaliseren: als je een RBM traint om duizend afbeeldingen van katten te reproduceren, kun je er een nieuw beeld in plaatsen - en door te kijken hoe energetisch het netwerk een resultaat wordt, kun je erachter komen of de nieuwe afbeelding een kat bevatte of niet.

De leerregels voor RBM's lijken op de functie van echte neuronen in de hersenen op belangrijke manieren die andere algoritmen (zoals backpropagation) niet hebben. Dientengevolge kunnen ze dingen hebben om onderzoekers te onderwijzen over hoe de menselijke geest werkt. Denkmachines: wat neurowetenschap en kunstmatige intelligentie ons kunnen leren over bewustzijn Denkmachines: wat neurowetenschappen en kunstmatige intelligentie ons kunnen leren over bewustzijn Kan kunstmatig intelligente machines en software bouwen ons leren over de werking van het bewustzijn en de aard van de menselijke geest zelf? Lees verder .

Een ander leuk kenmerk van RBM's is dat ze dat zijn “constructief”, wat betekent dat ze kunnen kunnen ook in omgekeerde volgorde lopen, achteruit werkend vanaf een hoog niveau functie om imaginaire ingangen te creëren die die functie bevatten. Dit proces wordt genoemd “dromen.”

Dus waarom is dit nuttig voor diep leren? Wel, Boltzman Machines hebben ernstige schaalproblemen - hoe dieper u probeert ze te maken, hoe langer het duurt om het netwerk te trainen.

Het belangrijkste inzicht van diepe geloofsnetwerken is dat je tweelaagse RBM's samen kunt stapelen, elk getraind om structuur te vinden in de uitvoer van zijn voorganger. Dit is snel en leidt tot een netwerk dat ingewikkelde, abstracte kenmerken van de gegevens kan begrijpen.

In een beeldherkenningstaak kan de eerste laag lijnen en hoeken leren zien, en de tweede laag kan leren de combinaties te zien van die lijnen waaruit functies zoals ogen en neuzen bestaan. De derde laag combineert die functies mogelijk en leert een gezicht te herkennen. Door dit netwerk om te zetten in een back-propagatie, kunt u alleen die functies toepassen die betrekking hebben op de categorieën waarin u bent geïnteresseerd.

In veel opzichten is dit een eenvoudige oplossing voor backpropagation: het laat backprop “bedriegen” door het op te starten met een hoop informatie over het probleem dat het probeert op te lossen. Dit helpt het netwerk betere minima te bereiken en zorgt ervoor dat de laagste niveaus van het netwerk worden getraind en iets nuttigs doen. Dat is het.

Aan de andere kant hebben diepgaande leermethoden geleid tot spectaculaire verbeteringen in de snelheid en nauwkeurigheid van het leren van de machine en zijn bijna in zijn eentje verantwoordelijk voor de snelle verbetering van spraak-naar-tekst software in de afgelopen jaren.

Race voor Canny Computers

U kunt zien waarom dit allemaal nuttig is. Hoe dieper u kunt netwerken, hoe groter en abstracter de concepten die het netwerk kan leren.

Wilt u weten of een e-mail spam is? Voor de slimme spammers is dat moeilijk. Je moet de e-mail echt lezen en een deel van de bedoeling begrijpen - probeer te zien of er een relatie is tussen de zender en de ontvanger en de intenties van de ontvanger af te leiden. Je moet dat allemaal doen op basis van kleurloze lettersnoeren, waarvan de meeste concepten en gebeurtenissen beschrijven waarvan de computer niets weet.

Dat is veel om van iemand te vragen.

Als je werd gevraagd om spam te leren herkennen in een taal die je nog niet sprak, mits je slechts enkele positieve en negatieve voorbeelden hebt, zou je het erg slecht doen - en je hebt een menselijk brein. Voor een computer was het probleem tot voor kort vrijwel onmogelijk. Dat zijn de soorten inzichten die deep learning kan hebben, en het zal ongelooflijk krachtig zijn.

Op dit moment wint Microsoft deze race door een haar. Op lange termijn? Het is iedereen raad.

Afbeelding Credits: “Computer AI“, door Simon Liu, “Bullfrog“, door Brunop, “Compass Top“, door airguy1988, “Vrijer dan gratis,” door opensource.com

Meer informatie over: kunstmatige intelligentie.