Masinõppe õpetus algajatele: mis on, ML põhitõed
Evelyn Clarke
⚡ Nutikas kokkuvõte
Masinõpe on arvutialgoritmide perekond, mis täiustub näidete, mitte selgesõnalise kodeerimise põhjal, kombineerides andmeid statistiliste vahenditega, et ennustada väljundeid, mida inimesed saavad muuta tegutsemiseks vajalikeks otsusteks.
Mis on masinõpe?
Masinõpe on arvutialgoritmide süsteem, mis suudab õppida näidetest enesetäiendamise kaudu, ilma et programmeerija seda otseselt kodeeriks. Masinõpe on osa tehisintellekti mis ühendab andmeid statistiliste vahenditega, et ennustada väljundit, mida saab kasutada tegutsemist võimaldavate teadmiste saamiseks.
Läbimurre tuleneb ideest, et masin suudab andmetest (st näidetest) iseseisvalt õppida, et saada täpseid tulemusi. Masinõpe on tihedalt seotud andmete kaevandamine ja Bayesi ennustav modelleerimine. Masin saab sisendina andmeid ja kasutab vastuste formuleerimiseks algoritmi.
Tüüpiline masinõppe ülesanne on soovituse andmine. Neile, kellel on Netflix konto, kõik filmide või sarjade soovitused põhinevad kasutaja ajaloolistel andmetel. Tehnoloogiaettevõtted kasutavad järelevalveta õppimine kasutajakogemuse parandamiseks soovituste isikupärastamise abil.
Masinõpet kasutatakse ka mitmesuguste ülesannete jaoks, näiteks pettuste tuvastamiseks, ennustavaks hoolduseks, portfelli optimeerimiseks ja ülesannete automatiseerimiseks.
Masinõpe vs traditsiooniline programmeerimine
Traditsiooniline programmeerimine erineb masinõppest oluliselt. Traditsioonilises programmeerimises kodeerib programmeerija kõik reeglid koostöös valdkonna eksperdiga, kelle jaoks tarkvara arendatakse. Iga reegel põhineb loogilisel alusel; masin toodab väljundi loogilise lause järgimise teel. Kui süsteem muutub keerukamaks, tuleb kirjutada rohkem reegleid ja selle haldamine võib kiiresti muutuda jätkusuutmatuks. Allolev diagramm näitab seda voogu, kus andmed ja käsitsi kirjutatud reeglid lähevad sisse ning vastused väljastatakse.
Masinõpe on mõeldud selle probleemi lahendamiseks. Masin õpib, kuidas sisend- ja väljundandmed on omavahel seotud, ning kirjutab reegli ise. Programmeerijad ei pea iga kord uute andmete ilmnemisel uusi reegleid kirjutama. Algoritmid kohanduvad vastavalt uutele andmetele ja kogemustele, et aja jooksul tõhusust parandada. Teine diagramm pöörab esimese ümber: andmed ja teadaolevad vastused lähevad sisse ning reegel tuleb välja.
Kuidas masinõpe töötab?
Kui see kontrast on paigas, on järgmine küsimus, mis tegelikult õppimisetapis toimub.
Masinõpe on aju, kus kogu õppimine toimub. Masin õpib sarnaselt inimese omaga. Inimesed õpivad kogemustest: mida rohkem me teame, seda kergemini suudame ennustada. Analoogia põhjal, kui seisame silmitsi tundmatu olukorraga, on edu tõenäosus väiksem kui teadaolevas olukorras. Masinaid treenitakse samamoodi. Täpse ennustuse tegemiseks näeb masin näidet. Kui anname masinale sarnase näite, saab ta tulemuse välja mõelda. Kuid nagu inimeselgi, kui talle antakse varem nägemata näide, on masinal ennustamisega raskusi.
Masinõppe põhieesmärgid on õppimine ja järelduste tegemine. Esiteks õpib masin mustrite avastamise kaudu ja selle avastamise teevad võimalikuks andmed. Andmeteadlase töö üks oluline osa on hoolikalt valida, milliseid andmeid masinale esitada. Probleemi lahendamiseks kasutatavate atribuutide loendit nimetatakse tunnusvektorTunnuste vektorit võib mõelda kui andmete alamhulka, mida kasutatakse probleemi lahendamiseks.
Masin kasutab algoritme reaalsuse lihtsustamiseks ja selle avastuse mudeliks teisendamiseks. Seega kasutatakse õppimisetappi andmete kirjeldamiseks ja nende kokkuvõtmiseks mudeliks, nagu allpool illustreeritud.
Näiteks püüab masin mõista seost inimese palga ja uhkesse restorani mineku tõenäosuse vahel. Selgub, et masin leiab positiivse seose palga ja luksusrestorani mineku vahel: see on mudel.
Järeldades
Kui mudel on loodud, on võimalik testida selle võimsust varem nägemata andmete peal. Uued andmed teisendatakse tunnusvektoriks, läbivad mudeli ja annavad ennustuse. See on masinõppe väärtuslik osa. Reegleid pole vaja uuendada ega mudelit uuesti treenida – uute andmete põhjal saab järelduste tegemiseks kasutada eelnevalt treenitud mudelit, täpselt nagu allolev diagramm näitab.
Masinõppeprogrammi eluiga on lihtne ja selle saab kokku võtta järgmistes punktides:
- Määratlege küsimus
- Andmeid koguma
- Visualiseeri andmeid
- Treeni algoritm
- Testi algoritmi
- Koguge tagasisidet
- Täpsustage algoritmi
- Korda samme 4 kuni 7, kuni tulemused on rahuldavad.
- Kasutage ennustuse tegemiseks mudelit
Kui algoritm saab õigeid järeldusi teha, rakendab see neid teadmisi uutele andmekogumitele.
Masinõpe Algorithms ja kus neid kasutatakse?
Allolev tabel rühmitab kõige levinumad algoritmid vastavalt lahendatavate ülesannete tüübile.
Masinõppe saab jagada kahte laiemasse õppeülesandesse: kontrollitud ja järelevalvetaNende vahel ja taga asuvad veel kaks perekonda – pooleldi juhendatud õpe, mis segab väikese märgistatud hulga suure märgistamata hulgaga, ja tugevdamise õppimine, kus agent õpib pigem preemiatest kui sildistatud vastustest.
Juhendatud õppimine
Algoritm kasutab sisendite ja väljundi vahelise seose õppimiseks treeningandmeid ja inimeste tagasisidet. Näiteks saab praktik kasutada sisendandmetena turunduskulusid ja ilmaennustust purkide müügi ennustamiseks.
Võite kasutada juhendatud õppimine kui väljundandmed on teada. Algoritm ennustab seejärel uute andmete põhjal.
Juhendatud õpet on kahte tüüpi:
- Klassifitseerimisülesanne
- Regressiooniülesanne
Klassifikatsioon
Kujutage ette, et soovite reklaami jaoks kliendi sugu ennustada. Alustuseks kogute oma kliendiandmebaasist andmeid pikkuse, kaalu, töökoha, palga, ostukorvi jms kohta. Te teate iga oma kliendi sugu ja see saab olla ainult mees või naine. Klassifikaatori eesmärk on määrata kogutud teabe (st tunnuste) põhjal tõenäosus, et klient on mees või naine (st silt). Kui mudel on õppinud mehi ja naisi ära tundma, saate ennustuse tegemiseks kasutada uusi andmeid. Näiteks olete just saanud uut teavet tundmatult kliendilt ja soovite teada, kas klient on mees või naine. Kui klassifikaator ennustab, et mees = 70%, tähendab see, et algoritm on 70% kindel, et see klient on mees, ja 30% kindel, et klient on naine.
Sildil võib olla kaks või enam klassi. Ülaltoodud masinõppe näites on ainult kaks klassi, aga kui klassifikaator peab ennustama objekte, võib tal olla kümneid klasse (nt klaas, laud, kingad – iga objekt esindab klassi).
Regressioon
Kui väljund on pidev väärtus, on tegemist regressioonianalüüsiga. Näiteks võib finantsanalüütik vajada aktsia väärtuse prognoosimist mitmesuguste tunnuste, näiteks omakapitali, aktsia varasema tootluse ja makromajanduslike indeksite põhjal. Süsteemi treenitakse aktsia hinna hindamiseks võimalikult väikese veaga.
Allolev tabel loetleb kõige sagedamini kohatavad juhendatud algoritmid ja ülesande, milleks igaüks neist sobib.
| Algoritm | Kirjeldus | KASUTUSALA |
|---|---|---|
| Lineaarne regressioon | Leiab viisi iga funktsiooni korreleerimiseks väljundiga, et aidata ennustada tulevasi väärtusi. | Regressioon |
| Logistiline regressioon | Lineaarse regressiooni laiendus, mida kasutatakse klassifitseerimisülesannete jaoks. Väljundmuutuja on binaarne (nt ainult must või valge), mitte pidev (nt lõpmatu nimekiri võimalikest värvidest). | Klassifikatsioon |
| Otsuste puu | Hästi tõlgendatav klassifikatsiooni- või regressioonimudel, mis jagab andmefunktsioonide väärtused otsustussõlmedes harudeks (nt kui tunnus on värv, muutub iga võimalik värv uueks haruks), kuni tehakse lõplik otsus. | Regressioon Klassifikatsioon |
| Naiivne Bayes | Bayesi meetod on klassifitseerimismeetod, mis kasutab Bayesi teoreemi. Teoreem värskendab eelteadmisi sündmuse kohta iga sündmust mõjutada võiva tunnuse sõltumatu tõenäosusega. | Regressioon Klassifikatsioon |
| Toetage vektormasinat | Klassifitseerimisülesande jaoks kasutatakse tavaliselt tugivektorimasinat ehk SVM-i. SVM-algoritm leiab hüpertasandi, mis jagab klassid optimaalselt. Seda on kõige parem kasutada koos mittelineaarse lahendajaga. | Regressioon (mitte väga levinud) Klassifikatsioon |
| Juhuslik mets | Algoritm on üles ehitatud otsustuspuule, et täpsust drastiliselt parandada. Juhuslik mets genereerib palju lihtsaid otsustuspuid ja kasutab tagastatava sildi otsustamiseks häälteenamuse meetodit. Klassifitseerimisülesande puhul on lõplik ennustus see, mis saab kõige rohkem hääli; regressiooniülesande puhul on lõplik ennustus kõigi puude keskmine ennustus. | Regressioon Klassifikatsioon |
| AdaBoost | Klassifikatsiooni- või regressioonitehnika, mis kasutab otsuse tegemiseks paljusid mudeleid, kuid kaalub neid tulemuse ennustamise täpsuse alusel | Regressioon Klassifikatsioon |
| Gradienti suurendavad puud | Gradienti võimendavad puud on tipptasemel klassifitseerimis-/regressioonitehnika. See keskendub eelmiste puude tehtud veale ja püüab seda parandada. | Regressioon Klassifikatsioon |
Järelevalveta õppimine
Juhendamata õppes uurib algoritm sisendandmeid ilma selgesõnalist väljundmuutujat andmata (nt uurib see klientide demograafilisi andmeid mustrite tuvastamiseks).
Saate seda kasutada, kui te ei tea, kuidas andmeid klassifitseerida ja soovite, et algoritm leiaks mustrid ja grupeeriks andmed teie eest. Peamised järelevalveta algoritmid on kokku võetud allpool.
| Algoritmi nimi | Kirjeldus | KASUTUSALA |
|---|---|---|
| K-tähendab klastrite moodustamist | Jagab andmed teatud rühmadesse (k), millest igaüks sisaldab sarnaste omadustega andmeid (nagu on kindlaks määratud mudeli, mitte inimeste poolt eelnevalt) | Clusterse |
| Gaussi segumudel | K-keskmiste klastrite üldistus, mis annab suurema paindlikkuse rühmade (klastrite) suuruse ja kuju osas | Clusterse |
| Hierarhiline klastrite moodustamine | Jagab klastrid hierarhilise puu järgi, et moodustada klassifitseerimissüsteem. Saab kasutada kliendikaardiklientide klastriteks jagamiseks. | Clusterse |
| Soovitaja süsteem | Aitab määratleda soovituse tegemiseks asjakohaseid andmeid. | Clusterse |
| PCA/t-SNE | Enamasti kasutatakse andmete mõõtmete vähendamiseks. Algoritmid vähendavad funktsioonide arvu 3 või 4 suurima dispersiooniga vektorini. | Mõõtmete vähendamine |
Kuidas valida masinõppe algoritmi
Masinõppe algoritme on palju ja algoritmi valikut juhib pigem eesmärk kui mood.
Allolevas masinõppe näites on ülesandeks ennustada lille tüüpi kolme sordi hulgast. Ennustused põhinevad kroonlehe pikkusel ja laiusel. Pildil on kujutatud kümne erineva algoritmi tulemusi. Vasakpoolne ülemine pilt on andmestik ise, mille andmed on liigitatud kolme kategooriasse: punane, helesinine ja tumesinine. Mõned rühmad...pings on nähtavad. Näiteks teisel pildil kuulub kõik ülemises vasakus nurgas punasesse kategooriasse, keskmine osa sisaldab ebakindluse ja helesinise segu, samas kui alumine osa vastab tumedale kategooriale. Teised pildid näitavad, kuidas erinevad algoritmid püüavad samu andmeid klassifitseerida.
Kui kandidaat on valitud, hinnatakse tema kvaliteeti andmete põhjal, mida ta pole kunagi varem näinud, tavaliselt koos segaduse maatriks ja sellest tuletatud täpsuse, korrektsuse ja meeldetuletuse näitajad.
Masinõppe väljakutsed ja piirangud
Masinõppe peamine väljakutse on andmete puudumine ehk mitmekesisuse puudumine andmestikus. Masin ei saa õppida, kui andmeid pole saadaval. Mitmekesisusest puuduv andmestik tekitab masinale ka raskusi, sest masin vajab sisuka ülevaate saamiseks heterogeensust. On haruldane, et algoritm suudab edasi arendadatract-teavet, kui variatsioone pole või on vähe. Üldine rusikareegel on, et masinõppe hõlbustamiseks oleks grupi kohta vähemalt 20 vaatlust; sellest väiksema arvu korral kannatavad nii hindamine kui ka ennustamine.
Andmemaht pole ainus piirang. Ebatavaliste ajalooliste andmete põhjal treenitud mudelid taastoodavad seda eelarvamust, keerulisi mudeleid on regulaatorile või kliendile raske selgitada ning iga mudel halveneb, kui maailm, millel seda treeniti, muutub.
Masinõppe rakendamine
Ülaltoodud meetodid on juba enamikus tööstusharudes tootmises kasutusel. Allolevad näited liiguvad üldisest abist konkreetsete sektorite poole.
Suurendamine: Masinõpe abistab inimesi igapäevaste ülesannete täitmisel, nii isiklikul kui ka ärilisel eesmärgil, ilma et neil oleks väljundi üle täielikku kontrolli. Sellist masinõpet kasutatakse erineval viisil, näiteks virtuaalsete assistentidena, andmeanalüüsis ja tarkvaralahendustes. Peamine eesmärk on vähendada inimliku eelarvamuse põhjustatud vigu.
Automatiseerimine: Masinõpe töötab täiesti autonoomselt igas valdkonnas ilma inimese sekkumiseta. Näiteks robotid täidavad tootmisettevõtetes olulisi protsessietappe.
Finantssektor: Masinõpe on finantssektoris üha populaarsem. Pangad kasutavad masinõpet peamiselt andmetes mustrite leidmiseks, aga ka pettuste ennetamiseks.
Valitsusorganisatsioonid: Valitsused kasutavad masinõpet avaliku julgeoleku ja kommunaalteenuste haldamiseks. Võtke näiteks Hiina ja selle ulatuslik näotuvastusprogramm, kus tehisintellekti rakendused kasutatakse jalakäijate tuvastamiseks.
Tervishoiutööstus: Tervishoid oli üks esimesi tööstusharusid, mis kasutas masinõpet, alustades pildituvastusega.
Turundus: Tänu ulatuslikule juurdepääsule andmetele on tehisintellekti turunduses laialdaselt kasutatud. Enne massandmete ajastut töötasid teadlased välja kliendi väärtuse hindamiseks täiustatud matemaatilisi tööriistu, näiteks Bayesi analüüsi. Andmete buumi ajal toetuvad turundusosakonnad kliendisuhete ja turunduskampaaniate optimeerimiseks tehisintellektile.
Näide masinõppest tarneahelas
Masinõpe annab visuaalse mustrituvastuse osas tugevaid tulemusi, avades palju potentsiaalseid rakendusi füüsilises kontrollis ja hoolduses kogu tarneahela võrgustikus.
Juhendamata õppimine võimaldab mitmekesisest andmestikust kiiresti võrreldavaid mustreid otsida. See omakorda saab teostada kvaliteedikontrolli kogu logistikakeskuses ning märkida kahjustuste ja kulumisega saadetised.
Näiteks IBMWatsoni platvorm suudab laeva tuvastadaping konteineri kahjustusi. Watson ühendab visuaalseid ja süsteemipõhiseid andmeid track, andke reaalajas aru ja tehke soovitusi.
Varem tuginesid laohaldurid laoseisu hindamiseks ja prognoosimiseks suuresti käsitsimeetoditele. Suurandmete ja masinõppe kombineerimisel on võimalikud paremad prognoosimistehnikad, mille kohta on teatatud 20–30-protsendilisest paranemisest võrreldes traditsiooniliste prognoosimisvahenditega. Müügi osas tähendab see 2–3-protsendilist kasvu tänu laokulude võimalikule vähenemisele.
Näide masinõppest Google auto
Kõik teavad, Google auto. Auto katusel on laserid, mis näitavad auto asukohta ümbritseva keskkonna suhtes. Ees on radar, mis annab autole teada kõigi ümbritsevate autode kiirusest ja liikumisest. See kasutab kõiki neid andmeid mitte ainult selleks, et välja selgitada, kuidas autot juhtida, vaid ka selleks, et ennustada, mida ümbritsevad juhid teevad. Muljetavaldav on see, et auto töötleb sekundis peaaegu gigabaidi andmeid.
Miks on masinõpe oluline?
Masinõpe on seni parim tööriist andmete analüüsimiseks, mõistmiseks ja mustrite tuvastamiseks. Üks masinõppe peamisi ideid on see, et arvutit saab õpetada automatiseerima ülesandeid, mis inimese jaoks oleksid kurnavad või võimatud. Selge erinevus traditsioonilisest analüüsist on see, et masinõpe suudab langetada otsuseid minimaalse inimese sekkumisega.
Võtame järgmise näite: jaemüügimaakler saab maja hinda hinnata isikliku kogemuse ja turu tundmise põhjal.
Masinat saab õpetada selle eksperdi teadmisi omadusteks tõlkima. Omadused on kõik maja, naabruskonna, majandusliku keskkonna jms omadused, mis hinda eristavad. Eksperdil kulus maja hinna hindamise kunsti omandamiseks tõenäoliselt aastaid ja iga müügiga paraneb tema asjatundlikkus.
Masina jaoks on selle kunsti omandamiseks vaja miljoneid andmepunkte (st näiteid). Õppimise alguses teeb masin vigu, sarnaselt noorele müügiinimesele. Kui masin on näinud piisavalt näiteid, on tal piisavalt teadmisi, et teha oma hinnang ja teha seda suure täpsusega. Masin suudab oma vigu parandada ka uute müükide saabudes.
Enamik suurettevõtteid on mõistnud masinõppe ja andmete hoidmise väärtust. McKinsey Global Institute hindas kõigi analüüsitehnikate aastase väärtuse 9.5–15.4 triljonile dollarile ja omistas sellest umbes 40 protsenti – umbes 3.5–5.8 triljonit dollarit aastas – süvaneuraalvõrkudel põhinevatele täiustatud tehisintellekti tehnikatele, nagu on sätestatud tema ... Märkmeid tehisintellekti piirialadelt uuringud.
Kui reeglid on teada, kuid pigem ebatäpsed kui puuduvad, siis reeglipõhine lähenemisviis, näiteks hägune loogika võib olla paremini sobiv kui õpitud mudel, seega võrreldakse neid kahte tehnikat sageli enne projekti algust.
