HSM2: Verbesserung von Patientensicherheit und Ergebnisqualität durch computergestützte Chirurgie
Ziel des Projektes ist die Erforschung neuer Methoden zur computergestützten, patienten-spezifischen 3D präoperativen Planung und chirurgischer Navigation von orthopädischen Eingriffen.
Im Rahmen der Gesamtstrategie Hochspezialisierte Medizin fördert der Regierungsrat des Kantons Zürich ausgewählte Projekte an der Universität Zürich und den universitären Spitälern. Unser Projekt wurde als eines von sieben Projekten für die zweite Umsetzungsphase (HSM II; 2015-2018) ausgewählt, um Spitzenleistungen im Wissens- und Forschungsbereich sowie in der hochspezialisierten medizinischen Versorgung zu fördern. In dem Projekt arbeiteten die universitären Spitäler (Balgrist, Universtitätsspital Zürich, Kinderspital) mit der Universität Zürich und der ETH Zürich zusammen.
Ziel dieses Projektes ist die Etablierung eines Zentrums für computerunterstützte, othopädische Chirurgie mit einem Schwerpunkt auf der direkten klinischen Anwendung am Patienten. Die Kompetenzen des Zentrums sollen in der Generierung von 3D anatomischen Modellen, in der 3D präoperativen Planung und Computersimulation von Knochen- und Weichteilpathologien, in der chirurgischen Navigation und im 3D-Druck von anatomischen Strukturen liegen. Das Zentrums soll in der Patientenbehandlung, aber auch in Lehre und Weiterbildung tätig sein. Das Projekt wurde erfolgreich beendet (Pressemitteilung).
Projektnutzen für die Hochspezialisierte Medizin
Für den Patienten ergibt sich eine höhere Präzision in der Indikationsstellung und der Durchführung der Operationen sowie tiefere Anästhesie- und Operationszeiten und damit tiefere Komplikations- und Reoperationsraten. Bei Hochrisiko-Operationen, wie beispielsweise Eingriffen an der Wirbelsäule, kann durch die Präzision das Risiko für schwerwiegende Komplikationen technisch minimiert werden. Die Universtitätsklinik Balgrist konnte in Studien bereits nachweisen, dass bestimmte Eingriffe erst mit dem Einsatz solcher Technologien möglich werden und im Vergleich zu konventionellen Alternativen manchmal einen besseren Behandlungserfolg zu liefern vermögen. Dadurch werden Lebensqualität und Arbeitsfähigkeit bei Patienten gesteigert, die technisch schwierig zu lösende Pathologien aufweisen, was für die Gesamtbevölkerung des Kantons von Interesse ist.
Für die hochspezialisierte Chirurgie an den Universitätskliniken Zürichs wird vor allem für Weichteilpathologien eine neue Methode zur Verfügung gestellt, die eine präzisere Operationsplanung, eine exakte planungsgemässe Operationsausführung und eine quantitative, technische Erfolgskontrolle ermöglicht. Sowohl die computergestützte Planung selbst als auch die Simulation anhand existierender Daten erlaubt es, verschiedene chirurgische Strategien zu evaluieren, wodurch die Entwicklung neuer chirurgischer Techniken gefördert wird. Die Chirurgen entwickeln ein wesentlich besseres Verständnis für die systematisch-quantitative Planung, eine höhere Sicherheit in Planung und Ausführung ihrer Operationen und dadurch die Möglichkeit zur besseren, wissenschaftlichen Verarbeitung ihrer Tätigkeiten. Sie werden in 3D Denken und Handeln geschult, wodurch generell Ihre chirurgischen Fähigkeiten verbessert werden. Die Standardisierung und Quantifizierung der Operationen trägt zur Qualitätssicherung bei der Erkennung von Planungs- und Umsetzungsfehlern bei.
Die neu verfügbaren Methoden tragen direkt zur Qualitätssteigerung der chirurgischen Aus- und Weiterbildung ohne Patientenbelastung bei und stärken damit die Attraktivität des Bildungsplatzes der Universitätskliniken Zürichs: Durch die steigende Anzahl an Assistenzärzten und die reduzierten Arbeitszeiten wird die erstklassige chirurgische Ausbildung am Patienten gerade bei seltenen und komplexen Pathologien für Universitätsspitäler immer problematischer. Die vielen, vorhandenen medizinischen Bilddaten der Patienten könnten genutzt werden, um chirurgische Eingriffe mit Computersimulation aber auch an tatsächlich angefertigten anatomischen Modellen realistisch zu üben. Dieselben Methoden können für das Assessment von bereits tätigen Chirurgen eingesetzt werden, wodurch eine regelmässige Qualitätskontrolle und ein kontinuierlicher Verbesserungsprozess sichergestellt werden kann.
Für den Standort Zürich als Zentrum der hochspezialisierten Medizin werden Voraussetzungen geschaffen, eine wichtige Rolle in der Entwicklung der 3D computerunterstützten Chirurgie zu übernehmen. Durch die verstärkte Zusammenarbeit der Universitätsspitäler in diesem Bereich wird es in Zukunft möglich sein, eine gemeinsame Strategie für die Weiterentwicklung der computerunterstützten Chirurgie vorzugeben und gezielter voranzutreiben. Es wird erwartet, dass die geleistete Arbeit das Potential hat, die Qualitätskontrolle in der Chirurgie radikal zu verändern, was einen nationalen und internationalen Wettbewerbsvorteil mit sich bringen muss. Dadurch wird es für die beteiligten Spitäler zu einer Zunahme der Patientenzuweisung und somit zu vermehrter Erfahrung aber auch zu Mehreinnahmen kommen. Wenn sich Zürich als Entwicklungshort und Vorreiter in diesem Bereich etabliert, wird die Gründung von hochspezialisierten Medizintechnik-Unternehmen weiter gefördert.
Generierung von 3D anatomischen Modellen
Die Generierung (Segmentierung) von anatomischen 3D Computermodellen anhand medizinischer Bilddaten ist eine essentielle Grundlage für weiterführende, computergestützte Methoden. Die grösste Herausforderung stellen nach wie vor patienten-spezifische Modelle der Weichteilanatomie dar, da diese oft nur mit hohem Zeitaufwand erstellt werden können.
In Zusammenarbeit mit der ETH Zürich wurden automatische Segmentierungsmethoden für MRI-Bilder entwickelt die auf dem Konzept des maschinellen Lernens basieren.
Abbildung 1: Segmentierung (Erkennung) von Muskeln in MRI Bildern
Zuerst wurden traditionelle, auf Merkmalen basierende Techniken der künstlichen Intelligenz wie Random Forests untersucht, was zu den Publikationen [16-1, 17-1] führte. Später wurden neuronale Netzwerkansätze benutzt, die fortschrittlicherer und damit vielversprechender waren. Da die Genauigkeit dieser Methoden auf der zu Verfügung stehenden Datenmenge beruht, verwendeten wir sogenanntes Active Learning zur semi-automatischen Selektion von Trainingsdaten. Bei dieser Methode schlägt der Computer aus der gesamten Datenmenge genau solche Bilder vor, welche die Genauigkeit optimal verbessern. In Zusammenarbeit mit Radiologen wurden diese Bilder bearbeitet und für das Training der Netzwerke benutzt [18-1].
Der wichtigste Beitrag in der automatischen Segmentierung war die Einführung eines neuartigen Konzepts, welches es ermöglichte, die trainierten neuronalen Netze einfach und ohne grossen Aufwand auf neue Anatomien auszudehnen [18-2]. Wir konnten zeigen, dass dadurch neue Weichteilanatomien mit nur wenigen Trainingsdaten korrekt segmentiert werden können. In Zukunft wird diese Segmentierungsmethode die Grundlage für umfangreiche muskuloskelettale Modelle zur funktionellen Simulationen und chirurgische Planung bilden.
3D präoperative Planung und chirurgische Navigation
Präoperative 3D Planung benutzt 3D Modelle der Patientenanatomie, um eine Operation am Computer Schritt für Schritt bis hin zum gewünschten Operationsergebnis zu simulieren. Die Messungen und Ergebnisse der Simulation stellen dann die Grundlage für die chirurgische Navigation dar. Ziel der chirurgischen Navigation ist die Unterstützung des chirurgen in der Operation, sodass er die Operation hochpräzise und planungsgetreu umsetzen kann. Ein Konzept der chirurgischen Navigation sind patienten-spezifische Instrumentarien (PSI), die am Computer entworfen werden und auf den Patienten und seinen Eingriff zugeschnitten sind. Die PSI werden mit Hilfe der 3D-Druck Technologie hergestellt, sterilisiert und in der Operation direkt auf der Anatomie platziert. Die Forschung innerhalb der HSM2-Projekte baute auf bereits existierender Technologie auf, die von uns für die 3D Planung und chirurgische Navigation von Knochenfehlstellungen entwickelt wurde.
Abbildung 2: (A) HSM2 Schultermodell. (B) Patienten-spezifische Instrumentarien zur chirurgischen Navigation von Osteosynthesen.
Ein Schwerpunkt im HSM-2 Projekt war die Entwicklung eines umfassendes Bewegungsmodell der Schulter mit der Rotatorenmanschette und allen anderen relevanten Schultermuskeln [18-3,18-6]. Das HSM2-Schultermodell umfasst insgesamt über 25 Muskeln. Es kann Muskelaktivierungen und die erzeugten Kräfte nachahmen, die zur Bewegung des Bewegungsapparates führen. Gibt man eine bestimmte Position des Armes vor, kann das Modell die erforderlichen Muskelaktivierungen mittels inverser Kinematik berechnen. In einer Folgestudie [18-3] wurde die Simulation der Schulterfunktion anhand öffentlicher Datensätze ausgewertet, in denen Schulterbewegungung und EMG-Aufnahmen von einer Vielzahl von Personen abgebildet waren. Darüber hinaus wurde auch der Einsatz für die Knochentumorresektion in die klinische Praxis gebracht [16-6]. Eine neu entwickelte MRI-CT-Fusionstechnik ermöglichte die Integration von Weichgewebe (Tumor) in die 3D Planung. Eine Fallstudie konnte eine höhere Präzision der mit unserer Technik navigierten Tumorresektionen im Vergleich zum konventionellen Methode zeigen [16-6].
Im Rahmen des Projekts wurden mehr als 400 Patienten behandelt und 15 klinische Studien durchgeführt, um die Machbarkeit, Effizienz und Wirksamkeit der Methoden klinisch zu valdieren.
Ein weiterer Forschungsschwerpunkt wurde auf Automatisierung gelegt, sodass eine kostengünstige klinische Anwendung der Technik erreicht werden kann. Es wurde ein auf maschinellem Lernen basierender Planungsansatz für die Schulterarthroplastik entwickelt, in dem die Resektionsebene der Prothese vollautomatisch berechnet werden konnte [16-4]. 2017 gelang mit der Einführung eines Algorithmus auf Basis künstlicher Intelligenz für die vollautomatische 3D-Präoperative Planung von korrektiven Osteotomien des Unterarms [17-13] ein weiterer Durchbruch.
3D-Druck
Es wurden Techniken für den 3D-Druck von patientenspezifischen anatomischen Modellen aus medizinischen Bilddaten etabliert, die für die präoperative Planung, die Ausbildung und für das Training eingesetzt werdne können. Wir sind nun in der Lage, Modelle herzustellen, in denen die Knochenanatomie und Weichteilstrukturen (Bänder, Sehnen) eines Patienten kombiniert werden können. Die klinische Hauptanwendung ist die Operationsvorbereitung bei komplexen Operationen wie Wirbelsäulen- [18-7] und Tumoroperationen[16-6]. Voraussetzung für den Einsatz für das Training war realistische biomechanische Eigenschaften der Modelle, sodass sich diese bei Manipulation mit chirurgischen Werkzeugen gleich wie in der Operation verhalten. Die realistischen, biomechanischen Eigenschaften wurden durch die Kombination einer neuen Modellierungstechnik basierend auf mehreren Materialien erreicht. Die so erstellten anatomischen Modelle wurden für die Wirbelsäulenchirurgie validiert [18-7] .
Innerhalb des Projektes wurde auch ein Prototyp eines Trainingssystem für das Setzen von Pedikelschrauben bei Wirbelsäulenoperationen entwickelt. Der Prototyp ermöglicht die Simulation von Fluoroskopie-Aufnahmen sodass der Trainings-Eingriff wie in der Operation durchgeführt werden kann.
Publikationen
2015
[15-1] Vlachopoulos L, Dünner C, Gass T, Graf M, Goksel O, Gerber C, Szekely G, Fürnstahl P. Computer algorithms for 3D measurement of humeral anatomy - analysis of 140 paired humeri. Journal of Shoulder and Elbow Surgery, 2015. 25(2): 38-48. Impact Factor: 3.089 (5-years)
[15-2] Hingsammer A, Vlachopoulos L, Meyer D, Fürnstahl P. Three-Dimensional Corrective Osteotomies of Mal-united Clavicles - is the contralateral anatomy a reliable template for reconstruction? Clinical Anatomy, 2015. 28(7): p. 865-871. Impact factor: 1.615 (5 year)
2016
[16-1] J. Thoma, F. Ozdemir, O. Goksel: "Automatic Segmentation of Abdominal MRI Using Selective Sampling and Random Walker", In W Medical Computer Vision, Lecture Notes in Computer Science LNCS 10081: 83-93, 2016. Impact factor: not listed in Journal Citation Report
[16-2] F. Ozdemir, E. Ozkan, O. Goksel: "Graphical Modeling of Ultrasound Propagation in Tissue for Automatic Bone Segmentation", In MICCAI, Lecture Notes in Computer Science LNCS 9901: 256-264, 2016. Impact factor: not listed in Journal Citation Report
[16-3] Schweizer A, Mauler F, Vlachopoulos L, Nagy L, Fürnstahl P. Computer-Assisted 3-Dimensional Reconstructions of Scaphoid Fractures and Nonunions With and Without the Use of Patient-Specific Guides: Early Clinical Outcomes and Postoperative Assessments of Reconstruction Accuracy. Journal of Hand Surgery, Am, 2016. 41(1): p. 59-69. Impact factor: 1.890 (5-years)
[16-4] Tschannen M, Vlachopoulos L, Gerber C, Szekely G, Fürnstahl P, Regression Forest-Based Automatic Estimation of the Articular Margin Plane for Shoulder Prosthesis Planning. Medical Image Analysis, 2016. 31: p. 88-97. Impact factor: 5.012 (5-years)
[16-5] Vlachopoulos L, Schweizer A, Meyer DC, Gerber C, Fürnstahl P. Three-dimensional corrective osteotomies of complex malunited humeral fractures using patient-specific guides. J Shoulder Elbow Surg, 2016. 25(12): p. 2040-2047. Impact Factor: 3.089 (5-years)
[16-6] Jentzsch T, Vlachopoulos L, Fürnstahl P, Müller D, Fuchs B. Tumor resection at the pelvis using three-dimensional planning and patient-specific instruments: a case series. World Journal of Surgical Oncology, 2016. 14(1): p. 249. Impact factor: 1.716 (5-years)
[16-7] Schenk P, Vlachopoulos L, Hingsammer A, Fucentese S, Fürnstahl P. Is the contralateral tibia a reliable template for reconstruction – A three dimensional anatomy cadaveric study. Knee Surgery, Sports Traumatology, Arthroscopy, 2016. Impact factor: 3.284 (5-years)
2017
[17-1] F. Ozdemir, N. Karani, P. Fürnstahl, O. Goksel: Interactive Segmentation in MRI for Orthopedic Surgery Planning: Bone Tissue, Int J Comp. Assisted Radiol. Surgery 12(6):1031-9, 2017. Impact factor: 1.86 (2016) / 1.86 (5-years)
[17-2] F. Pean, F. Carrillo, P. Fürnstahl, O. Goksel: "Physical Simulation of the Interosseous Ligaments During Forearm Rotation", In Computer Assisted Orthopaedic Surgery, 2017. Impact factor: not listed in Journal Citation Report
[17-3] Wieser K, Fürnstahl P, Carrillo F, Fucentese S, Vlachopoulos L. Isometry of the Anterolateral Ligament: A Weight Bearing Computer Tomography Simulation. Arthroscopy: The Journal of Arthroscopic and Related Surgery. 2017 May;33(5): p. 1016-1023. Impact factor: 3.724 (2015) / 3.865 (5-years)
[17-4] Mauler F, Langguth C, Schweizer A, Vlachopoulos L, Gass T, Lüthi M, Fürnstahl P. Prediction of Normal Bone Anatomy for the Planning of Corrective Osteotomies of Malunited Forearm Bones Using a Three-Dimensional Statistical Shape Model. J Orthop Res. 2017 Dec; 35(12):2630-2636. Impact factor: 2.69 (2016) / 2.98 (5-years)
[17-5] Bauer D, Zimmermann S, Aichmair A, Hingsammer A, Schweizer A, Nagy L, Fürnstahl P. Conventional Versus Computer-Assisted Corrective Osteotomy of the Forearm: a Retrospective Analysis of 56 Consecutive Cases. J Hand Surg Am. 2017 Jun;42(6):447-455. Impact factor: 1.64 (2015) / 1.822 (5-years)
[17-6] Weigelt L, Fürnstahl P, Schweizer A. Computer-assisted corrective osteotomy of malunited pediatric radial neck fractures - Three-dimensional postoperative accuracy and clinical outcome. Journal of Orthopaedic Trauma, 2017. 31 (12): 436-441. Impact factor: 1.840 (2015) / 2.203 (5-years)
[17-7] Dietrich TJ, Agten CA, Fürnstahl P, Vlachopoulos L, Pfirrmann CWA. The Legend of the Luschka Tubercle and Its Association With Snapping Scapulae: Osseous Morphology of Snapping Scapulae on CT Images. AJR Am J Roentgenol. 2017 Jul;209(1): p. 159-166. Impact factor: 2.78 (2016) / 3.10 (5-years)
[17-8] Vlachopoulos L, Schweizer A, Meyer DC, Gerber C, Fürnstahl P. Computer-assisted planning and patient-specific guides for the treatment of midshaft clavicle malunions. J [17-9] Shoulder Elbow Surg. 2017 Aug; 26(8):1367-1373. Impact factor: 2.73 (2016) / 3.08 (5-years)
[17-10] Hirsiger S, Schweizer A, Miyake J, Nagy L, Fürnstahl P. Corrective Osteotomies of Phalangeal and Metacarpal Malunions Using Patient-Specific Guides: CT-Based Evaluation of the Reduction Accuracy. Hand (N Y). 2017. Impact factor: not listed in Journal Citation Report.
[17-11] Weigelt L, Fürnstahl P, Hirsiger S, Vlachopoulos L, Espinosa N, Wirth SH. Three-Dimensional Correction of Complex Ankle Deformities With Computer-Assisted Planning and Patient-Specific Surgical Guides. J Foot Ankle Surg. 2017 Dec; 56(6): 1158-1164. Impact factor: 1.35 (2016)
[17-12] Roner S, Vlachopoulos L, Nagy L, Schweizer A, Fürnstahl P. Accuracy and Early Clinical Outcome of 3-Dimensional Planned and Guided Single-Cut Osteotomies of Malunited Forearm Bones. J Hand Surg Am. 2017 Dec; 42(12):1031.e1-1031.e8. Impact factor: 1.64 (2015) / 1.822 (5-years)
[17-13] Carrillo F, Vlachopoulos L, Schweizer A, Nagy L, Snedeker J, Fürnstahl P. A Time Saver: Optimization Approach for the Fully Automatic 3D Planning of Forearm Osteotomies. In: Image Computing and Computer-Assisted Intervention (MICCAI) 2017. Lecture Notes in Computer Science, vol 10434. Springer. Impact factor: not listed in Journal Citation Report
[17-14] Vlachopoulos L, Carrillo F, Gerber C, Székely G, Fürnstahl P. A Novel Registration-Based Approach for 3D Assessment of Posttraumatic Distal Humeral Deformities. J Bone Joint Surg Am. 2017 Dec 6;99(23). Impact factor: 4.6 (2016) / 6.1 (5-years)
2018
[18-1] F. Ozdemir, Z. Peng, C. Tanner, P. Fürnstahl, O. Goksel: “Active Learning for Segmentation by Optimizing Content Information for Maximal Entropy”, In Deep Learning in Medical Image Analysis, Lecture Notes in Computer Science LNCS 11045: 183-191, 2018.
[18-2] F. Ozdemir, P. Fürnstahl, O. Goksel: “Learn the New, Keep the Old: Extending Pretrained Models with New Anatomy and Images”, In MICCAI, Lecture Notes in Computer Science LNCS 11073: 361-369, 2018.
[18-3] F. Pean, C. Tanner, C. Gerber, P. Furnstahl, O. Goksel: “A comprehensive and volumetric musculoskeletal model for the dynamic simulation of the shoulder function”, Computer Methods in Biomechanics & Biomedical Eng., in review (minor revision), 2019.
[18-4] M. Ciganovic, F. Ozdemir, F. Pean, P. Fuernstahl, C. Tanner, O. Goksel: "Registration of 3D Freehand Ultrasound to a Bone Model for Orthopaedic Procedures of the Forearm", Int J Comp Assisted Radiology & Surgery 13(6):827-836, 2018. IF: 1.96
[18-5] M. Ciganovic, F. Ozdemir, M. Farshad, O. Goksel: "Deep learning techniques for bone surface delineation in ultrasound", In SPIE Medical Imaging 10955-33, 2019, accepted.
[18-6] F. Péan, P. Fürnstahl, O. Goksel: “A musculoskeletal model of the shoulder combining multibody dynamics and FEM using B-Spline elements”, In Int Symp Computer Methods in Biomechanics and Biomedical Engineering (CMBBE), 2018.
[18-7] Burkhard M, Fürnstahl P, Farshad M. Three‑dimensionally printed vertebrae with different bone densities for surgical training. European Spine Journal, 2018. Accepted/in press.
[18-8] Roner S, Carrillo F, Vlachopoulos L, Schweizer A, Nagy L, Fürnstahl P. Improving accuracy of opening-wedge osteotomies of distal radius using a patient-specific ramp-guide technique. BMC musculoskeletal disorders, 2018. 19(1): 374.6.
[18-9] Vlachopoulos L, Carrillo F, Dünner C, Gerber C, Székely G, Fürnstahl P. A novel approach for the approximation of the humeral head retrotorsion based on three-dimensional registration of the bicipital groove. The Journal of Bone & Joint Surgery 2018. Accepted/in press.
[18-10] Vlachopoulos L, Lüthi M, Carrillo F, Gerber C, Székely G, Fürnstahl P. Restoration of the Patient-Specific Anatomy of the Proximal and Distal Humerus - Statistical Shape Modeling versus Contralateral Registration Method. The Journal of Bone & Joint Surgery 2018.
Projektteam & Kooperationen
Wir danken den vielen Mitarbeitern, die an diesem Projekt beteiligt waren. Hier werden der Einfachheit halber nur die Projektleiter aufgeführt.
Weitere Projekte
Analyse der Bewegung im distalen Radioulnargelenks vor und nach der Operation
Ein Projekt zur Entwicklung von erweiterten Augmented-Reality-Visualisierungen für bildgestützte Operationen
Entwicklung einer Applikation, um Bilder und Videos für Machine Learning Algorithmen zur Objekterkennung semi-automatisch zu labeln