Automatic detection of instruments in laparoscopic images

Πανεπιςτήμιο Πατρών
Πολυτεχνική Σχολή
Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίασ Υπολογιςτών
Τομζασ Συςτημάτων Αυτομάτου Ελζγχου

ΔΡΓΑ΢ΙΑ ΢ΣΟ ΜΑΘΗΜΑ
“ΑΝΑΓΝΩΡΙ΢Η ΠΡΟΣΤΠΩΝ Ι”

ΜΔ ΘΔΜΑ

“AUTOMATIC DETECTION OF
INSTRUMENTS IN LAPAROSCOPIC
IMAGES”
ΠΑΣΡΑ 2013
ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΣΗ΢: Κ.ΔΤΑΓΓΔΛΟ΢ ΓΔΡΜΑΣΑ΢
ΤΛΟΠΟΙΗ΢Η: Κ.ΓΔΩΡΓΙΟ΢-ΜΑΡΙΟ΢ ΠΑΠΑΓΟΠΟΤΛΟ΢
Α.Μ: 227356

Γεϊργιοσ-Μάριοσ Παπαδόπουλοσ
Τηλζφωνο Επικοινωνίασ: 6949925866
Email: gmpapadopoulos@ieee.org – ece7356@upnet.gr


ΠΕΡΙΕΥΟΜΕΝΑ
1.
2.
3.
4.
5.
6.
7.

ΔΙ΢ΑΓΩΓΗ
ΜΙΚΡΟΔΠΔΜΒΑΣΙΚΗ ΥΔΙΡΟΤΡΓΙΚΗ
ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ ΢ΗΜΔΙΟ ΣΟΜΗ΢
ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ COLOR TRACKING
ΓΙΑΓΝΩ΢Η ΠΟΛΛΑΠΛΩΝ ΜΗΥΑΝΗΜΑΣΩΝ
SEGMENTATION
ΒΙΒΛΙΟΓΡΑΦΙΑ



1. ΔΙ΢ΑΓΩΓΗ
Η παροφςα εργαςία ζγινε ςτα πλαίςια του μακιματοσ “Αναγνώριςη
Προτφπων Ι” από τον κ. Γεϊργιο-Μάριο Παπαδόπουλο υπο τθν επίβλεψθ
του κ.Ευάγγελου Δερματά.
Αρχικά, να ευχαριςτιςω τον επιβλζποντα που μου ζδωςε τθ
δυνατότθτα ο κεματικόσ άξονασ τθσ εργαςίασ μου να είναι ςυμβατόσ με
το κζμα τθσ διπλωματικισ μου εργαςίασ. Στισ παρακάτω ςελίδεσ κα
διαπραγματευτϊ τθν “Αυτόματη διάγνωςη των (ιατρικών) μηχανημάτων
ςτισ λαπαροςκοπικζσ εικόνεσ”.
Το περιεχόμενο τθσ εργαςίασ είναι αποτζλεςμα τθσ βιβλιογραφικισ
αναηιτθςθσ που πραγματοποιικθκε για αρκετό διάςτθμα. Παρατθρικθκε
ότι αρκετοί ερευνθτζσ (κυρίωσ από τθ Γαλλία, Αμερικι-Καλιφόρνια,
Ιαπωνία και Γερμανία) ςτισ αρχζσ τθσ δεκαετίασ του 1990 με τθν ανάπτυξθ
τθσ μικροεπεμβατικισ χειρουργικισ άρχιςαν να αςχολοφνται εκτενϊσ με
τθν αυτόματθ διάγνωςθ των ιατρικϊν μθχανθμάτων από λαπαροςκοπικζσ
εικόνεσ. Η ζρευνα γίνεται μζχρι και ςιμερα κακϊσ θ ανάπτυξθ νζων
μεκόδων βοθκάει πολφ τθν περαιτζρω διερεφνθςθ του προβλιματοσ. Η
πορεία που κα ακολουκθκεί παρακάτω είναι θ παρουςίαςθ τθσ
μικροεπεμβατικισ χειρουργικισ και δθ τθσ λαπαροςκοπικισ και ςτθ
ςυνζχεια οι μζκοδοι που μποροφν να χρθςιμοποιθκοφν για τθν εργαςία
μου.



2. ΜΙΚΡΟΔΠΔΜΒΑΣΙΚΗ ΥΔΙΡΟΤΡΓΙΚΗ

Οι λαπαροςκοπικζσ επεμβάςεισ αποτελοφν κλάδο τθσ
μικροεπεμβατικισ χειρουργικισ, θ οποία ζχει γνωρίςει τεράςτια άνκιςθ
τα τελευταία 25 χρόνια. Πραγματοποιοφνται με τθ βοικεια μιασ κάμερασ
και με λεπτά, άκαμπτα (ςυνικωσ) κοντά ιατρικά μθχανιματα. Στα
πλεονεκτιματα τθσ ρομποτικισ λαπαροςκοπικισ χειρουργικισ είναι το
μικρότερο τραφμα για τον αςκενι (μικρζσ τομζσ ςυνικωσ τρεισ ι τζςςερισ
για πθγθ φωτόσ, κάμερα και τα χειρουργικά εργαλεία), λιγότερθ εκροι
αίματοσ ,μικρότερθ παρουςία ςτο νοςοκομείο (23-25 ϊρεσ) και λιγότεροσ
πόνοσ μετά τθν επζμβαςθ. Οι λαπαροςκοπικζσ επεμβάςεισ είναι αρκετά
περίπλοκεσ και προχποκζτουν τθν εμπειρία του χειροφργου και 2-D
εικόνεσ-αυτό ςθμαίνει ζλλειψθ depth-information κακϊσ θ επζμβαςθ και
οι κινιςεισ του γίνονται ςε 3-D. Ο χειριςμόσ τθσ κάμερασ μπορεί να
πραγματοποιθκεί είτε με τθ βοικεια του ανκρϊπινου παράγοντα είτε με
αυτόματο τρόπο με χριςθ ρομποτικϊν βραχιόνων. Στα μειονεκτιματα
τθσ πρϊτθσ μεκόδου είναι θ δυςκολία επικοινωνία χειροφργου και
βοθκοφ, θ κοφραςθ κατά τθ διάρκεια τθσ επζμβαςθσ, το τρεμοφλιαςμα
που είναι κρίςιμο ςε real-time και θ εμπειρία που απαίτειται να ζχει ο
δεφτεροσ. Οπότε γίνεται εφκολα αντιλθπτό ότι με τθ χριςθ αυτόματθσ
μεκόδου μποροφμε να υπερκεράςουμε αυτά τα εμπόδια.



3. ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ ΢ΗΜΔΙΟ
ΣΟΜΗ΢

Σε αυτό το κεφάλαιο κα αναφερκοφμε ςε διάγνωςθ με βάςθ το
ςθμείο τομισ για τθ λααροςκοπικι επζμβαςθ. Χρθςιμοποιϊντασ 3-D
αναπαραςτάςεισ και κεωριςεισ ςχετικά με το ςχιμα μποροφμε να
παρακολουκιςουμε και να διαγνϊςουμε τα ιατρικά μθχανιματα. Σε αυτι
τθ μζκοδο δεν χρθςιμοποιείται κακόλου ςαν χαρακτθριςτικό το χρϊμα
και θ επιρροι του ςτθν εικόνα, παραμονάχα το ςχιμα του μθχανιματοσ.

Με
αυτό
τον
τρόπο,
γνωρίηοντασ το ςθμείο τομισ
μειϊνουμε
τθν
πικανι
περιοχι
ενδιαφζροντασ
(Region Of Interest – ROI) και
αυξάνουμε τθν πικανότθτα
να βροφμε πιο εφκολα το/α
μθχανιμα/τα.



Προκειμζνου να παρακολουκιςει ο χειροφργοσ ζνα μθχάνθμα, το
επιλζγει χρθςιμοποιϊντασ το ςθμείο τομισ. Η 3-D απεικόνιςθ τθσ εικόνασ
προβάλλεται ςτο πλάνο τθσ εικόνασ για να ψάξει ο χειροφργοσ για το
μθχάνθμα.
Ο αλγόρικμοσ που χρθςιμοποιείται είναι ο παρακάτω:



Ψάχνουμε ςτθν εικόνα για ςτοιχεία ςτισ γραμμζσ (l1 και l2) τα οποία
ανικουν ςτα ιατρικά μθχανιματα. Για να βροφμε τισ ακμζσ
χρθςιμοποιοφμε gradient μζκοδο ςφμφωνα με το οποίο υπολογίηουμε το
gradient για κάκε ςθμείο ςτο επίπεδο τθσ εικόνασ. Στθ ςυνζχεια κρατάμε
το μζγιςτο από το gradient τα οποία μασ δίνουν αςυνζχειεσ ςτθν εικόνα
και κρατάμε το μζτρο και τθν κατεφκυνςθ αυτϊν των gradient. Αυτά τα
ςθμεία είναι οι ακμζσ. Αφοφ ζχουμε βρει τισ ακμζσ διϊχνουμε τα ςθμεία
τα οποία δεν ανικουν ςτο μθχάνθμα και κολϊνουν τθν εικόνα. Για να
γίνει κατανοθτό το παραπάνω , κεωροφμε ζνα διάςτθμα ςτο οποίο αν
βρίςκεται εκεί μζςα το gradient αποτελεί ςθμείο δεκτό αλλιϊσ το
απορρίπτουμε από τθν εικόνα μασ. Μετά με βάςθ τα ςτοιχεία που ζχουν
επιλεγεί, βρίςκουμε τον άξονα, το tip (άκρθ του μθχανιματοσ) και τισ
άκρεσ του μθχανιματοσ. Για να βροφμε τον άξονα του μθχανιματοσ
χρθςιμοποιοφμε τον αλγόρικμο του Hough.


Οι δυο edges Ι1,Ι2 ζχουν gradients G1,G2 και παρζχουν μζςω τθσ
μεςοκακζτου τον άξονα d του μθχανιματοσ. Ο άξονασ χαρακτθρίηεται
από δυο μεταβλθτζσ τισ (ρ,κ) οι οποίεσ είναι αυτζσ τθσ Hough Method με
κζντρο το P. Αν τα παραπάνω Gradients ζχουν αντίκετεσ κατευκφνςεισ
τότε μποροφν να αποτελοφν edges ενόσ μθχανιματοσ, αλλιϊσ δεν
γίνεται.

Ωςτόςο, αν γνωρίηουμε τισ edges δεν ζχουμε τελειϊςει τθ διαδικαςία μασ
αφοφ χρειάηεται να δοφμε που ακριβϊσ είναι το tip του μθχανιματοσ για
να ςτρίψουμε τθν κάμερα ςτθν κατάλλθλθ κατεφκυνςθ. Πάρα πολλοί
ερευνθτζσ προςπάκθςαν να διαγνϊςουν το tip του μθχανιματοσ με
χριςθ πλθροφοριϊν χρϊματοσ. Προςπάκθςαν, δθλαδι, να ταξινομιςουν
τα χρϊματα που εφριςκαν ςτο τζλοσ του symmetry axis ςε δυο
κατθγορίεσ. Σε μεν αυτά του background τθσ εικόνασ και ςε αυτά του
μθχανιματοσ. Ωςτόςο αυτι θ μζκοδοσ αποτφγχανε ςυχνά εξαιτίασ των
αποφράξεων και των ανακλάςεων του φωτόσ (τα μθχανιματα είναι από
μζταλλο και εξαιτίασ του φωτόσ που ρίχνουμε, ζχουμε ανακλάςεισ).



Στο τζλοσ, αφοφ ζχουμε καταφζρει να διαγνϊςουμε το tip του
μθχανιματοσ αποκθκεφουμε τθ ηϊνθ με τα χρϊματα του background και
με αυτά του instrument για μελλοντικό tracking και detection. Επίςθσ,
μζςω των γωνιϊν των edges μποροφμε να βροφμε το depth του tip για
μεγαλφτερθ ακρίβεια.
Στα πλεονεκτιματα τθσ μεκόδου είναι ότι είναι αποτελεςματικι ςτθ
χριςθ CO2 που χρθςιμοποιείται για να φουςκϊςει θ περιοχι και να
βοθκιςει το χειροφργο ςτθν επζμβαςθ. Επίςθσ, όταν ζχουμε ςτθν εικόνα
παραπάνω από ζνα μθχανιματα βλζπουμε ότι θ μζκοδοσ παρουςιάηει
εξαιρετικά αποτελζςματα.


Στα μειονεκτιματα τθσ είναι θ δυςκολία διάγνωςθσ όταν το tip είναι
μαφρου χρϊματοσ. Επίςθσ, αποτυγχάνει όταν ζχουμε υψθλζσ ταχφτθτεσ
κίνθςθσ του χειροφργου (ςυνίςταται για smooth tracking) και όταν ζχουμε
reflections και occlusions όπου και ο άξονασ δεν μπορεί να διαγνωςτεί
επιτυχϊσ. Τζλοσ, αν το χρϊμα του μθχανιματοσ είναι πολφ ςυναφζσ ςε
αυτό του background τότε ο αλγόρικμοσ παρουςιάηει προβλιματα.

4. ΓΙΑΓΝΩ΢Η ΜΔ ΒΑ΢Η ΣΟ COLOR
TRACKING
Πολλοί ερευνθτζσ προςπάκθςαν να διαγνϊςουν τθν φπαρξθ
ιατρικϊν μθχανθμάτων καταςκευάηοντασ ςυςκευζσ που ζκαναν color
tracking. Μια τζτοια αυτο-οδθγοφμενθ ρομποτικι κάμερα που
καταςκευάςτθκε το 1999 βαςιςμζνθ ςε ςφςτθμα παρακολοφκθςθσ
χρϊματοσ ιταν το SGRCCS και χρθςιμοποιικθκε για να διαπιςτωκεί αν
πράγματι τα ρομπότ μποροφν ςε αυτό το κομμάτι να αντικαταςτιςουν
τον άνκρωπο (ςυνζκριναν δθλαδι τισ επιδόςεισ ανκρϊπου-μθχανισ ςε 20
επεμβάςεισ χολισ).
Το αποτζλεςμα ιταν ςε 71% των περιπτϊςεων το ρομπότ να ζχει
καλφτερεσ επιδόςεισ από τον άνκρωπο. Επίςθσ, ο χρόνοσ που χρειαηόταν
να προετοιμαςτεί ο άνκρωποσ για τθν επζμβαςθ ιταν διπλάςιοσ ςε ςχζςθ
με το ρομπότ (setup time).
O τρόποσ λειτουργείασ του ρομπότ βαςίηεται ςτο γεγονόσ ότι ςτθν
άκρθ του ιατρικοφ μθχανιματοσ ζχουμε βάλει ζνα color marker το οποίο
και παρακολουκεία αυτόματα το ρομποτ και δίνει τθ δυνατότθτα ςτο
χειροφργο να παρακολουκεί ςυνεχϊσ και εφκολα το εργαλείο του χωρίσ
να χρειάηεται να δίνει εντολζσ. Το ςφςτθμα μασ δθλαδι αποτελζιται από
το ιατρικό μθχάνθμα το οποίο ζχει ζνα color marker (10mm μικουσ
χρωματιςτό πλαςτικό) ςτθν άκρθ του και τθ μονάδα που περιλαμβάνει

τθν κάμερα. Αναλφοντασ τθν κατανομι των χρωμάτων παρατθρικθκε ότι
ιταν διαφορετικι όταν είχε προςτεκεί ζνασ color marker.


To ρομπότ αποτελείται από ζνα CCD-stereo-laparoscope, το οποίο
παρζχει απευκείασ εικόνεσ ςτο χειροφργο. Αυτζσ οι εικόνεσ παρζχουν
οριηόντια και κάκετα πλθροφορίεσ για το που βρίςκεται το ιατρικό μασ
μθχάνθμα με βάςθ το color marker. Αυτζσ οι εικόνεσ ζχουν RGB signals.
Ωςτόςο, επειδι θ HSV (hue-saturation value) αναπαράςταςθ είναι πιο
εφαρμοςμζνθ για κατάτμθςθ χρϊματοσ απ’ότι θ RGB, τα ςιματα
μετατρζπονται ςε αυτι με ζνα μετατροπζα. Στθ ςυνζχεια με ζνα δυαδικό
ταξινομθτι, τα κατθγοριοποιϊ ςε αυτά του background και ςε αυτά του
ιατρικοφ μθχανιματοσ (άςπρα και μαφρα αντίςτοιχα). Μετά κακορίηω με
ζνα localizer τθν περιοχι ενδιαφζροντοσ (Region Of Interest – ROI).
Επειδι, ςτισ περιςςότερεσ επεμβάςεισ λαμβάνονται εικόνεσ ανα τακτά
χρονικά διαςτιματα πχ 120 msec χρθςιμοποιοφνται αλγόρικμοι οι οποίοι
μποροφν με βάςθ τθν προθγοφμενθ κζςθ του βραχίονα να κακορίςουν
τθν επόμενθ. Οπότε, ςτον αλγόρικμο κατάτμθςθσ μποροφμε ςαν
επιβεβαίωςθ να χρθςιμοποιιςουμε τθν μελλοντικι πικανι κζςθ του
ρομπότ.

5. ΓΙΑΓΝΩ΢Η ΠΟΛΛΑΠΛΩΝ
ΜΗΥΑΝΗΜΑΣΩΝ

Στο παρϊν χωρίο, παρουςίαηεται θ ζρευνα που διεξιχκει τον
τελευταίο χρόνο ςχετικά με τθν αναγνϊριςθ πολλαπλϊν ιατρικϊν
μθχανθμάτων ςε μια λαπαροςκοπικι εικόνα. Χρθςιμοποιοφνται
ςυνδυαςμόσ τεχνικϊν υπολογιςτικισ όραςθσ, οι οποίεσ περιλαμβάνουν
ταξινόμθςθ μεταλλικϊν ιδιοτιτων χρθςιμοποιϊντασ τον αλγόρικμο kmeans και παρακολοφκθςθ τθσ κίνθςθσ των μθχανθμάτων με μετριςεισ
ομοιότθτασ, υπολογιςμοφσ Ευκλείδιασ απόςταςθσ και τον αλγόρικμο του
φίλτρου Kalman.
Ο προτινόμενοσ αλγόρικμοσ εκτελείται ςε τρια βιματα:
i. Διάγνωςθ των μθχανθμάτων χρθςιμοποιϊντασ τισ μεταλλικζσ ιδιότθτεσ


ii. Παρακολοφκθςθ των μθχανθμάτων με μετριςεισ ομοιότθτασ
ςυνεχόμενων εικόνων και ζνα προςαρμοςτικό φίλτρο.
iii. Ζνα ςιμα κινδφνου βαςιςμζνο ςτον υπολογιςμό τθσ Ευκλείδιασ
απόςταςθσ.
Παρακάτω αναλφουμε ζνα-ζνα τα βιματα του ελγορίκμου:
i. Διάγνωςη των μηχανημάτων
Χρθςιμοποιοφμε διαφορετικοφσ χρωματιςμοφσ για τα όργανα και για τα
μθχανιματα. Κάτω από κανονικζσ ςυνκικεσ φωτιςμοφ, τα ιατρικά
μθχανιματα ζχουν χρωματιςμοφσ με μεταλλικά χαρακτθριςτικά όπωσ το
γκρι χρϊμα. Χρθςιμοποιϊντασ τον αλγόρικμο του k-means, εκτελοφμε τθν
ταξινόμθςθ μασ ςτα διάφορα αντικείμενα τθσ εικόνασ. Με αυτι τθ
μζκοδο ζχουμε τα καλφτερα αποτελζςματα όταν θ εικόνα μετατρζπεται
ςε LAB space όπου L=φωτιςμόσ, και Α,Β τα άλλα δυο κανάλια χρωμάτων.
Στθ ςυνζχεια εφαρμόηουμε μια ςειρά από εφαρμογζσ επεξεργαςίασ
εικόνασ για να διϊξουμε το κόρυβο του background όπωσ ο αλγόρικμοσ
του Canny (canny edge detection) για να ορίςουμε τα άκρα.
ii. Παρακολοφθηςη των μηχανημάτων
Αρχικά αφοφ ζχουμε βρει ςτθν πρϊτθ μασ εικόνα ζνα μθχάνθμα, το
κζτουμε ςαν “new”. Στισ επόμενεσ εικόνεσ, αν το ξαναζχουμε το βάηουμε
“updated”, ενϊ όταν το χάνουμε από τθν είκονα εμφανίηεται ζνα “lost”.
Στθ ςυνζχεια, με το φίλτρο Kalman μποροφμε να διϊξουμε τα λάκθ που
μπορεί να οφείλονται ςε occlusions. Με το φίλτρο αυτό, και με τθν
ευκλείδια απόςταςθ ανάμεςα ςτθν προθγοφμενθ και τθν τωρινι εικόνα
των μθχανθμάτων μποροφμε να διορκϊςουμε λάκθ ι και να τα
αποφφγουμε.
iii. Σήμα κινδφνου
Όταν ζχουμε περιςςότερα του ενόσ μθχανιματα ςε μια εικόνα
παρουςιάηεται ο κίνδυνοσ να υπάρξει collision μεταξφ τουσ και να
δθμιουργθκοφν επιπλοκζσ ςτο χειρουργείο. Με τθν ευκλείδια απόςταςθ,
κεωρϊντασ μια περιοχι κινδφνου (Region of Danger) μποροφμε να


υπολογίςουμε τθν απόςταςθ των μθχανθμάτων και να προειδοποιιςουμε
τον χειροφργο όταν ειςζλκει ςε αυτι τθν περιοχι ϊςτε να τθν αποφφγει.

6. SEGMENTATION
Μια άλλθ μζκοδοσ που χρθςιμοποιικθκε από πολλοφσ ερευνθτζσ ιταν θ
μζκοδοσ τθσ κατάτμθςθσ (Segmentation). Ο αλγόρικμοσ που
χρθςιμοποιικθκε είναι ο ακόλουκοσ και περιλαμβάνει τρεια βιματα:
i) Αρχικά οι εικόνεσ προ-επεξεργάηονται με ζνα homomorphic
φίλτρο (είναι απαραίτθτο λόγο τθσ μεγάλθσ ποικιλίασ ςε lighting and
focusing conditions).
ii) Η ζξοδοσ του παραπάνω φίλτρου χρθςιμοποιείται για να
υπολογιςτεί ο αρχικόσ χάρτθσ κατάτμθςθσ (initial segmentation map).
ii) Οι περιοχζσ ταξινομοφνται ςαν να είναι μζροσ του background
(δομζσ του ςϊματοσ – anatomical structures) ι του ιατρικοφ
μθχανιματοσ- classification.
Στθ ςυνζχεια αναλφονται τα παραπάνω τρεια βιματα του αλγορίκμου:
i. Pre-processing - Homomorphic Φίλτρο
Τα Homomorphic Φίλτρα επιλζχτθκαν επειδι ταιριάηουν καλά ςτα
προβλιματα φωτιςμοφ που αντιμετωπίηουμε ςτα λαπαροςκοπικά
χειρουργεία. Η βαςικι ιδζα ενόσ τζτοιου φίλτρου είναι να το
φανταςτοφμε ςαν το γινόμενο δυο ςθμάτων: ενόσ φωτιςμοφ και μιασ
ανακλάςεωσ.
ii. Segmentation Map
H δθμιουργία αυτοφ του χάρτθ ζχει ςαν ςκοπό να βοθκιςει ςτθ
ςυνζχεια να δθμιουργιςουμε περιοχζσ που ανικουν ςτο background και
άλλεσ που ανικουν ςτο μθχάνθμα. Επειδι κζλουμε να ζχουμε πλιρθ

αυτοματοποίθςθ τθσ μεκόδου δεν εξετάηουμε μεκόδουσ που
χρθςιμοποιοφν αρχικοποιιςεισ. Με αυτό τον τρόπο χρθςιμοποιοφμε τα
κριτιρια JSEG για να κάνουμε ζναν αρχικό χάρτθ κατάτμθςθσ. Διαλζγουμε
ζνα κατϊφλι (threshold) tq που ελζγχει τθν κβαντοποίθςθ των χρωμάτων,
τον αρικμό των κλιμάκων ns (scales) που χρθςιμοποιοφνται και ζνα άλλο
κατϊφλι (threshold) tm που χρθςιμοποιεί το διαμοιραςμό επεξεργαςίασ
τθσ περιοχισ.
iii. Classification
Για να ταξινομιςουμε τισ περιοχζσ που βρζκθκαν από τον αρχικό
χάρτθ κατάτμθςθσ χρθςιμοποιοφμε ςαν μζκοδο ταξινόμθςθσ Support
Vector Machines (SVM). Επιλζχτθκαν τα SVM γιατί ελαχιςτοποιοφν ζνα
bound ςτο δομικό ρίςκο (structural risk) – θ πικανότθτα κακισ
ταξινόμθςθσ δεδομζνων που δεν ζχουμε λάβει υπόψθν αντι του
εμπειρικοφ ρίςκου (κακι ταξινόμθςθ ςτα παραδείγματα εκπαίδευςθσ –
training set). Επίςθσ, κα μποροφςαν να χρθςιμοποιθκοφν αλγόρικμοι μθγραμμικοί όπωσ ο K-NN και τα Νευρωνικά Δίκτυα (Neural Networks). Τα
χαρακτθριςτικά που επιλζγονται για τθν περιοχι ταξινόμθςθσ είναι
βαςιςμζνα ςτθ γεωμετρία τθσ περιοχισ και ςτθν κατανομι των
χρωμάτων. Είναι επικυμθτό αλλά και χριςιμο να χρθςιμοποιθκοφν
γεωμετρικά χαρακτθριςτικά επειδι ο φωτιςμόσ, θ γεωμετρία και τα υλικά
καταςκευισ των μθχανθμάτων ςυχνά δθμιουργοφν αναγνωρίςιμα
ςχιματα περιοχϊν.
Η εκπαίδευςθ πραγματοποιικθκε χρθςιμοποιϊντασ ςαν training
set τα δυο τρίτα τθσ εικόνασ και το υπόλοιπο για ζνα τρίτο για testing. H
κατανομι των επιλεγμζνων χαρακτθριςτικϊν κάνει τθν γραμμικι
ταξινόμθςθ δφςκολθ.
Στα μεινοκτιματα τθσ μεκόδου είναι ότι και ςε αυτι τθν περίπτωςθ τα
cluttered backgrounds, occlusions, ανακλάςεισ και θ αναλογία saturated
pixels που παρουςιάηονται ςτισ εικόνεσ κατά τθ διάρκεια πραγματικϊν
λαπαροςκοπικϊν χειρουργείων προκάλεςαν χαμθλισ ποιότθτασ αρχικοφσ
χάρτεσ κατάτμθςθ που αποτφγχαναν να κάνουν ταξινόμθςθ.



7. ΒΙΒΛΙΟΓΡΑΦΙΑ
1. Sandrine Voros, Jean-Alexandre Long and Philippe Cinquin (2007).
Automatic Detection of Instruments in Laparoscopic Images: A First Step
Towards High-level Command of Robotic Endoscopic Holders
2. Sandrine Voros, Jean-Alexandre Long and Philippe Cinquin (2006).
Automatic Localization of Laparoscopic Instruments for the Visual Servoing
of an Endoscopic Camera Holder
3. Jonathan Boisvert, Farida Cheriet and Guy Grimard (2003).
Segmentation of Laparoscopic Images for Computed Assisted Surgery
4. Joan Climent and Pere Mares (2004). Automatic Instrument localization
in laparoscopic surgery
5. Christophe Doignon, Florenta Nageotte and Michel de Mathelin (2006).
The role of Insertion Points in the Detection and Positioning of Instruments
in Laparoscopy for Robotic Tasks
6. Kazuhito Omote, Hubertus Feussner, Andreas Ungeheuer, Klaus Arbter,
Guo-Qing Wei,and Rudiger Siewert and Gerd Hirzinger (1999). Self-Guided
Robotic Camera Control for Laparoscopic Surgery Compared with Human
Camera Control.
7. Jiwon Ryu, Jaesson Choi and Hee Chan Kim (2012). Endoscopic VisionBased Tracking of Multiple Surgical Instruments During Robot-Assisted
Surgery.


Automatic detection of instruments in laparoscopic images

Recommandé

Recommandé

Contenu connexe

Similaire à Automatic detection of instruments in laparoscopic images

Similaire à Automatic detection of instruments in laparoscopic images (18)

Plus de Georgios-Marios Papadopoulos

Plus de Georgios-Marios Papadopoulos (11)

Automatic detection of instruments in laparoscopic images