By Sandra González Villà
Supervised by Dr. Xavier Lladó Bardera / Dr. Arnau Oliver Malagelada
Abstract
This thesis is focused on the automated segmentation of the brain structures in magnetic resonance images, applied to multiple sclerosis (MS) patients.
This disease is characterized by the presence of demyelinating lesions in the brain, that appear as focal low signal intensity areas in the T1-weighted sequence, which is the most frequently used modality to segment the brain structures.
In the first place, we exhaustively analyze the state of the art on this topic, presenting a new classification of the methods based on their segmentation strategy. We further discuss each category’s strengths and weaknesses and analyze its performance in segmenting different brain structures, providing a qualitative and quantitative comparison. From this first analysis, we observe that the vast majority of the reviewed methods are not designed for brains with lesions, such as those encountered in MS patients. Consequently, we also perform a thorough analysis of the effect of MS lesions on three representative state-of-the-art methods, each relying on a different category of the classification: FreeSurfer, FIRST and majority-vote label fusion.
This second analysis reveals that the three segmentation approaches are indeed affected by the presence of these lesions, demonstrating that there exists a problem when using automatic methods as a tool to measure the disease progression. Therefore, based on the conclusions of these two studies, we propose a new correspondence search model able to minimize this problem on intensity-based multi-atlas label fusion strategies.
Afterwards, we extend the theory of two remarkable label fusion strategies of the literature, i.e. Non-local Spatial STAPLE and Joint Label Fusion, in order to integrate our model into their corresponding estimation algorithms. Furthermore, with the aim of providing fully automated brain structure segmentation algorithms, a whole automated pipeline including lesion segmentation, pre-processing, atlas selection, masked registration and label fusion, is presented. Finally, a second extension of the theory to enable the integration of manual and automatic edits into the segmentation estimation of both strategies is also proposed.
The evaluation, carried out in a quantitative and qualitative manner, includes a comparison of the proposed approaches to the original strategies when segmenting the raw images and the lesion-filled images, using both manual and automatically segmented lesion masks.
The analysis of the results obtained with the proposed strategies points out a performance improvement on the lesion areas, which is also reflected on the whole brain segmentation performance.
Resum
Aquesta tesi se centra en la segmentació automàtica de les estructures cerebrals en imatges de ressonància magnètica, aplicada a pacients d’esclerosi múltiple (EM).
Aquesta malaltia es caracteritza per la presència de lesions desmielinitzants al cervell, que apareixen com àrees focals de baixa intensitat de senyal en la seqüència T1-w, que és la modalitat més utilitzada per segmentar les estructures cerebrals.
En primer lloc, analitzem exhaustivament l’estat de l’art en aquest tema, presentant una nova classificació dels mètodes basada en la seva estratègia de segmentació. A més, estudiem les fortaleses i inconvenients de cada categoria i analitzem el seu rendiment en la segmentació de diferents estructures, proporcionant una comparació qualitativa i quantitativa. En aquesta primera anàlisi, observem que la gran majoria dels mètodes revisats no estan dissenyats per a cervells amb lesions, com les que apareixen en pacients d’EM. Conseqüentment, també realitzem una anàlisi exhaustiva de l’efecte de les lesions d’EM en tres mètodes representatius de l’estat de l’art, cadascun d’ells basat en una categoria diferent de la classificació proposada: FreeSurfer, FIRST i fusió d’etiquetes mitjançant majoria de vot.
Aquesta segona anàlisi, revela que els tres enfocaments de segmentació es veuen afectats per la presència d’aquestes lesions, el que demostra que hi ha un problema en els mètodes de segmentació automàtica quan s’utilitzen com a eina per mesurar la progressió de la malaltia. Per tant, en base a les conclusions d’aquests dos estudis, proposem un nou model de cerca de correspondències capaç de minimitzar aquest problema en les estratègies de fusió d’etiquetes de múltiples atles basades en intensitat. Posteriorment, estenem la teoria de dues estratègies de fusió d’etiquetes notables de la literatura, Non-local Spatial STAPLE i Joint Label Fusion, per integrar el nostre model en els seus corresponents algoritmes d’estimació. Addicionalment, amb l’objectiu de proporcionar algoritmes de segmentació d’estructures cerebrals totalment automatitzats, es presenta una línia automàtica completa que inclou la segmentació de lesions, el preprocessat, la selecció d’atles, el registre emmascarat i la fusió d’etiquetes.
Finalment, també es proposa una segona extensió de la teoria per permetre la integració d’anotacions manuals i automàtiques en l’estimació de segmentació de les dues estratègies. L’avaluació, realitzada de manera quantitativa i qualitativa, inclou una comparació dels enfocaments proposats amb les estratègies originals al segmentar les imatges sense processar i les imatges amb “lesion filling”, utilitzant màscares de lesions tant manuals com segmentades automàticament.
L’anàlisi dels resultats obtinguts amb les estratègies proposades demostra una millora en el rendiment dels algorismes de segmentació en les àrees de lesió, que també es veu reflectida en la segmentació de tot el cervell.
