Shirin Tavara
Institutionen för informationsteknologi
Shirin Tavara försvarar sin avhandling “Distributed and Federated Learning of Support Vector Machines and Applications”.
Disputationen hålls i sal G110, i Hus G på Högskolan i Skövde.
Sammanfattning
Machine Learning (ML) har haft en anmärkningsvärd framgång bland annat när det gäller att lösa klassificerings- och regressionsproblem under det senaste decenniet. Särskilt när det gäller den exponentiella tillväxten av digital data, är det oundvikligt och nödvändigt att använda ML för att utnyttja den mängd information som är gömd i datan. Detta innebär dock nya utmaningar för traditionella seriella inlärningsmetoder när det gäller skalbarhet eftersom inlärningsprocessen blir långsam, om alls möjligt. Distribuerat och parallellt lärande är lovande metoder för att förbättra prestandan hos ML-algoritmer när det gäller körtid. Support Vector Machines (SVM) är framgångsrika och populära modeller för övervakad maskininlärning som åtnjuter tillgången till parallell och distribuerad datoranvändning för att hantera de utmaningar som uppstår från big data. Hur som helst är effektiv parallell och distribuerad implementering av SVM ett komplext problem. För att göra saken värre kan distribuerad inlärning av SVM skapa integritetsproblem, särskilt med modeller byggda från data som distribueras över flera noder där informationen inte enkelt kan delas på grund av datakonfidentialitet, immateriella intressen eller andra skäl. Trots de stora mängderna tidigare arbete är problemen med att lära SVM:er med avseende på big data inte helt lösta, därför försöker vi i denna avhandling belysa effektiva parallella SVM-implementeringar och hur de kan förbättras ytterligare. Denna avhandling bygger på en samling publikationer. Forskningen som presenteras i denna avhandling tar upp några problem parallellt med och distribuerad beräkning av SVM:er genom fem forskningsfrågor. Det viktigaste bidraget för denna avhandling är att ge svar på avhandlingarnas forskningsfrågor genom fem forskningsartiklar.
För den första forskningsfrågan utforskar vi tillgängliga parallella tillvägagångssätt för att lära SVM:er för storskaliga problem. Vi undersöker viktiga faktorer som algoritmiska tillvägagångssätt, HPC-verktyg, strategier och heuristik som används för effektiva parallella SVMimplementeringar. Alla dessa hjälpte till att identifiera de senaste parallella SVM:erna, deras för- och nackdelar, och ge förslag på potentiella vägar för framtida studier. Vi drar sen slutsatsen att det är användarens ansvar att göra kloka val för att balansera avvägningarna.
För att ta itu med den andra forskningsfrågan utforskar vi effekterna av förändringar i problemstorleken och de viktiga SVM-parametrar som leder till betydande prestanda. Det visar sig att problemets storlek har inverkan på det optimala valet av viktiga SVM-parametrar. Dessutom visar vi att det finns en tröskel mellan träningstiden och antalet kärnor.
Den tredje forskningsfrågan undersöker effekten av nätverkstopologi på prestandan hos nätverksbaserade distribuerade SVM när det gäller konvergens. De tre nyckelbidragen är att 1) visa effekten av expansionsegenskapen och det underliggande nätverkets uppkoppling på algoritmens konvergens, 2) presentera en föredragen nätverkstopologi och 3) tillhandahålla en implementering som gör de teoretiska framstegen praktiskt tillgängliga. Resultaten tyder på att graferna med högre grader och större spektralgap, alltså högre anslutningsmöjligheter, uppvisar accelererad konvergens.
Den fjärde forskningsfrågan undersöker federerad inlärning av SVM:er där dataintegriteten skyddas under begränsad och privat kommunikation mellan agenter. Det viktigaste bidraget är att införliva differentierad integritet under inlärningsproceduren. Resultaten visar att inlärningsprocessen 1) respekterar dataintegritet, 2) uppnår en noggrannhet jämförbar med den icke-privata algoritmen och 3) ger snäva empiriska garantier för integritet efter konvergens.
Slutligen löser man den sista forskningsfrågan genom att kombinera alla bidrag i avhandlingen och ger rekommendationer för att implementera ett effektivt ramverk för parallell beräkning av SVM för storskaliga problem.
Handledare
Alexander Schliep, Universitetslektor, Göteborgs universitet
Alexander Karlsson, biträdande professor, Högskolan i Skövde
Opponent
Lili Jiang, universitetslektor, Umeå universitet
Betygskommitté
Franziska Klügl, professor, Örebro universitet
Simone Fischer-Hübner, professor, Karlstads universitet
Lars Arvestad, universitetslektor, Stockholms universitet