Rapport från Swedish Symposium on Deep Learning 2019

 

Neural Network - symposium

Svenska Sällskapet för Bildanalys (SSBA) håller sedan 2017 symposiet SSDL (Swedish Symposium on Deep Learning). 2019 års upplaga gick av stapeln i Norrköping den 10–11 juni och från Savantic deltog Pontus Olsson och Henrik Rehbinder. Majoriteten av deltagarna representerade forskargrupper inom Sverige, men några deltagare från övriga Europa hade också slutit upp. Bland utställarna på symposiet fanns Tobii, SICK och Vironova.

Några höjdpunkter på det intressanta programmet var dessa:

Josephine Sullivan från KTH höll ett innehållsrikt föredrag om transfer learning och tog upp EfficientNets (https://arxiv.org/abs/1905.11946) som en av de nyare nätverksarkitekturerna. I referensen beskrivs systematisk skalning av djup/bredd/upplösning hos convolutional neural networks. Man visar också hur ett ”basnätverk” kan skalas upp till en hel familj av modeller (EfficientNets) som, när de jämförs med tidigare publicerade convolutional neural networks, har bibehållen noggrannhet och betydligt färre parametrar.

Wiro Niessen från Erasmus MC, Rotterdam beskrev det omfattande arbete med datainsamling för medicinsk bildbehandling som deras grupp har gjort, och han gav exempel på hur det kan användas för maskininlärning inom t.ex. diagnostik. Ett väldigt inspirerande föredrag om ett långsiktigt och noggrant arbete som kommer att förbättra sjukvården.

Emily Denton från Google gav en spännande presentation om etisk AI, som handlade om risken för att olika typer av bias kan uppstå i deep learning-algoritmer, och vilka konsekvenser detta kan få. Ett exempel är en algoritm som tränas att gallra CV:n bland ansökningar till ett företag. Om modellen tränas att hitta kandidater som liknar anställda på företaget som tidigare blivit befordrade, med förhoppning om att hitta de mest kompetenta kandidaterna, är risken stor att modellen lär sig olika typer av bias (kön, härkomst, med mera) som påverkat vilka som blivit befordrade tidigare.

Jussi Karlgren från KTH + företaget Gavagai talade om deep learning för datorlingvistik. Han forskar bland annat på hur man kan använda deep learning för att upptäcka subtila mönster i text och därigenom få en indikation på hur trovärdig texten är.

Fredrik Gustafsson från Uppsala Universitet talade om hur man kan uppskatta osäkerheten hos klassificeringar inom deep learning, något som kommit upp till diskussion i ett flertal projekt på Savantic. Studien handlar om att undersöka hur modeller som används bl. a. vid computer vision klarar av att fånga upp osäkerhet kopplad både till modellens parametrar och till dess data. Det är framför allt osäkerhet kopplad till modellen som är en utmaning och i studien utreds ensembling som en approximation till metoden Bayesian inference. Resultaten som presenterades är preliminära och del av ett större arbete som planeras att visas vid konferensen NeurIPS 2019.

 

Publicerad: 03/07/2019