• Home
  • Kemi
  • Astronomien
  • Energi
  • Naturen
  • Biologi
  • Fysik
  • Elektronik
  • Sätter standarden för maskininlärning

    Kredit:CC0 Public Domain

    Mikrodatorrevolutionen på 1970-talet utlöste en vilda västernliknande expansion av persondatorer på 1980-talet. Under loppet av decenniet, dussintals personliga datorer, från Atari till Xerox Alto, strömmade in på marknaden. CPU:er och mikroprocessorer utvecklades snabbt, med nya generationer som kommer ut på månadsbasis.

    Mitt i all denna tillväxt, det fanns ingen standardmetod för att jämföra en dators prestanda med en annan. Utan detta, inte bara skulle konsumenterna inte veta vilket system som var bättre för deras behov, utan datordesigners hade inte en standardmetod för att testa sina system.

    Det ändrades 1988, när Standard Performance Evaluation Corporation (SPEC) bildades för att producera, underhålla och stödja en standardiserad uppsättning prestandariktmärken för datorer. Tänk på riktmärken som standardiserade tester för datorer. Som SAT eller TOEFL, Benchmarks är avsedda att ge en metod för jämförelse mellan liknande deltagare genom att be dem utföra samma uppgifter.

    Sedan SPEC, dussintals benchmarkingorganisationer har vuxit fram för att tillhandahålla en metod för att jämföra prestanda för olika system över olika chip- och programarkitekturer.

    I dag, det finns en ny vilda västern inom maskininlärning. För närvarande, det finns minst 40 olika hårdvaruföretag som är redo att bryta mark i nya AI-processorarkitekturer.

    "Några av dessa företag kommer att stiga men många kommer att falla, " sa Vijay Janapa Reddi, Docent i elektroteknik vid Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS). "Utmaningen är hur kan vi avgöra om en hårdvara är bättre än en annan? Det är där benchmarkstandarder blir viktiga."

    Janapa Reddi är en av ledarna för MLPerf, en benchmarking-svit för maskininlärning. ML Perf började som ett samarbete mellan forskare vid Baidu, Berkeley, Google, Harvard, och Stanford och har vuxit till att omfatta många företag, en mängd universitet, tillsammans med hundratals enskilda deltagare över hela världen. Andra Harvard-bidragsgivare inkluderar David Brooks, Haley familjeprofessor i datavetenskap vid SEAS och Gu-Yeon Wei, Robert och Suzanne Case professor i elektroteknik och datavetenskap vid SEAS.

    Målet med ML Perf är att skapa ett riktmärke för att mäta prestandan hos ramverk för maskininlärning, maskinvaruacceleratorer för maskininlärning, och maskininlärning moln och edge computing-plattformar.

    Vi pratade med Janapa Reddi om MLPerf och framtiden för benchmarking för maskininlärning.

    HAV:Först, hur fungerar benchmarking för maskininlärning?

    Janapa Reddi:I sin enklaste form, en benchmarkstandard är en strikt definition av en maskininlärningsuppgift, låt oss säga bildklassificering. Genom att använda en modell som implementerar den uppgiften, som ResNet50, och en datauppsättning, som COCO eller ImageNet, modellen utvärderas med en målnoggrannhet eller kvalitetsmått som den måste uppnå när den exekveras med datamängden.

    SEAS:Hur påverkar benchmarking din forskning på SEAS?

    Janapa Reddi:Personligen, Jag är intresserad av benchmarking av autonoma och "små" maskininlärningssystem.

    Autonoma fordon är mycket beroende av maskininlärning för synbearbetning, sensorfusion och mer. Bagageutrymmet på en autonom bil innehåller över 2, 500 watts beräknade hästkrafter. Bara för att sätta det i sitt sammanhang, en smartphone använder 3 watt, och din genomsnittliga bärbara dator använder 25 watt. Så dessa autonoma fordon förbrukar en betydande mängd ström, delvis tack vare all maskininlärning de litar på. My Edge Computing Lab är intresserad av att minska den strömförbrukningen, samtidigt som man tänjer på gränserna för alla bearbetningsmöjligheter som behövs, maskininlärning och allt ingår.

    I andra änden av spektrumet finns "små" enheter. Tänk små mikrokontroller som förbrukar milliwatt i kraft som kan slängas runt och glömmas bort. Små mikrokontroller idag är passiva enheter med liten eller ingen intelligens ombord. Men "TinyML" är ett framväxande koncept som fokuserar på maskininlärning för små inbäddade mikrokontroller. Min grupp studerar hur vi kan aktivera TinyML eftersom vi ser många olika användningsområden. TinyML-enheter kan övervaka din hälsa intelligent, eller små drönare som passar i din handflata kan navigera genom trånga små utrymmen i händelse av en fallen byggnad för sök- och räddningsoperationer, och flyga in mellan träd och löv för att övervaka hälsan hos bondens grödor och hålla skadedjur borta

    Det här är två domäner som intresserar mig mycket, specifikt i samband med maskininlärningssystem, eftersom det finns flera intressanta forskningsproblem att lösa som sträcker sig längre än bara maskininlärningsmaskinvaruprestanda och inkluderar design och implementering av maskininlärningssystem.

    SEAS:Vilka lärdomar kan maskininlärning dra från tidigare benchmarkingsatsningar, sådana som startades av SPEC för tre decennier sedan?

    Janapa Reddi:Under åren, SPEC CPU har drivits av ett konsortium av olika branschpartner som går samman för att fastställa en uppsättning arbetsbelastningar som kan leda till rättvisa och användbara benchmarkingresultat. Därav, SPEC-arbetsbelastningar har blivit en standard inom forskning och akademi för att mäta och jämföra CPU-prestanda. Som David Patterson – en känd datorarkitekt och mottagare av Turing Award 2017 – ofta gillar att påpeka, SPEC-arbetsbelastningar ledde till mikroprocessordesignens guldålder.

    Vi kan låna några lärdomar från SPEC och tillämpa dem på maskininlärning. Vi måste sammanföra den akademiska och forskarvärlden för att skapa ett liknande konsortium av industripartner som kan hjälpa till att definiera standarder och riktmärken som är representativa för verkliga användningsfall.

    SEAS:Är det så ML Perf fungerar?

    Janapa Reddi:Ja. MLPerf är insatsen av många organisationer och flera engagerade individer, alla arbetar tillsammans med den enda sammanhängande visionen att bygga ett rättvist och användbart riktmärke för maskininlärningssystem. På grund av denna laginsats, vi kommer fram till riktmärken som är baserade på många människors visdom och en djup förståelse för kundanvändningsfall från den verkliga världen. Ingenjörer som arbetar med maskininlärningssystem bidrar med sina erfarenheter av nyanserade systemfrågor och företag kan tillhandahålla sina verkliga användningsfall (med användartillstånd, självklart). På grundval av all information vi samlar in, MLPerfs samarbetsteam av forskare och ingenjörer sammanställer ett riktmärke som är användbart för lärandeplattformar och system.

    SEAS:MLPerf tillkännagav precis några nya riktmärken för maskininlärning, höger?

    Janapa Reddi:Rätt. Vi har precis annonserat vår första slutledningssvit, som består av fem riktmärken för tre olika maskininlärningsuppgifter:bildklassificering, objektdetektering och maskinöversättning. Dessa tre uppgifter inkluderar välkända modeller som MobileNets och ResNet som stöder olika bildupplösningar för olika användningsfall som autonoma fordon och smartphones.

    Vi stimulerar modellerna med "LoadGen, " som är en belastningsgenerator som efterliknar olika användningslägen som finns i den verkliga världen. Till exempel, i smartphones, vi tar en bild, mata in det i en maskininlärningsmodell, och väntar ivrigt för att se om den kan identifiera vad bilden är. Självklart, vi vill att den slutsatsen ska gå så snabbt som möjligt. I ett kameraövervakningssystem, vi vill titta på flera bilder som kommer genom olika kameror, så användningsfallet är känsligt för både latens och genomströmning (hur många bilder kan jag bearbeta inom en begränsad tid). Denna LoadGen med våra riktmärken skiljer MLPerf från andra riktmärken.

    SEAS:Så, vad kommer härnäst?

    Janapa Reddi:Benchmarks är ett steg mot ett större mål. MLPerf är intresserad av att utöka sin ansträngning från att kurera riktmärken för att utvärdera systemprestanda till att utveckla nya datamängder som kan främja ny innovation inom maskininlärningsalgoritmer, mjukvaru- och hårdvarugemenskaper. Än så länge, vi har förlitat oss på datauppsättningar som till stor del har gjorts tillgängliga via akademiker i open source-gemenskaperna. Men på vissa områden, som tal, det finns ett verkligt behov av att utveckla nya datamängder som är minst 10 till 100 gånger större. Men enbart större är otillräckligt. Vi måste också ta itu med rättvisa och bristen på mångfald i datauppsättningarna för att säkerställa att modellerna som tränas på dessa datauppsättningar är opartiska

    SEAS:Hur hanterar du rättvisa och mångfald i maskininlärning?

    Janapa Reddi:Vi skapade "Harvard MLPerf Research" i samarbete med Center for Research on Computation and Society (CRCS), som samlar forskare och forskare från en rad olika områden för att göra framsteg inom beräkningsforskning som tjänar allmänhetens intresse. Genom centrum, vi hoppas få kontakt med experterna på andra skolor för att ta itu med frågor som rättvisa och partiskhet i datauppsättningar. Vi behöver mer än datavetare för att ta itu med dessa frågor.


    © Vetenskap https://sv.scienceaq.com