Universitätsklinik Balgrist ROCS: AR Square

Current

AR^square steht für (Towards) Automatic Registration for Augmented Reality und beschreibt das Hauptziel dieses Projekts: die Entwicklung von Methoden zur automatischen intraoperativen Registrierung, welche chirurgische Navigation mittels Augmented Reality ermöglichen.

Im Rahmen des Projekts SURGENT (Surgeon Enhancing Technologies), dem Flagship Projekt 2018 der Hochschulmedizin Zürich, werden neue Methoden zur patientenspezifischen Planung und Durchführung von Präzisionsoperationen im Bereich der Wirbelsäulen- und Neurochirurgie entwickelt. Als Teilprojekt von SURGENT betrachtet AR² den Anwendungsfall navigierten Setzens von Pedikelschrauben bei Wirbelsäulenversteifungen.

Das Setzen von Pedikelschrauben erfordert eine sehr hohe Genauigkeit. Aus diesem Grund wurden chirurgische Navigationssysteme ausgiebig erforscht. Die Kombination von intraoperativen 3D-Röntgenbildgebung mit optischen Trackingsystem für Anatomie und Instrumente erlauben präzise chirurgische Navigation. Die Strahenbelastung für den Patienten, die durch diesen Ansätzen verursacht wird, ist aber erheblich. Andere Systeme verzichten auf intraoperative Bildgebung und verwenden Zeige-Instrumente, um die Knochenoberfläche von Wirbeln zu digitalisieren und auf präoperative Bilder zu registrieren. Unabhängig davon, ob eine Registrierung durchgeführt wird oder nicht, haben aktuelle Navigationssysteme Nachteile. Anatomie sowie Informationen zur Navigation werden auf 2D-Monitoren die in der Peripherie des Operationssaal angeordnet sind. Daher muss der Chirurg seinen Blick vom Patienten und dem Operationsfeld abwenden. Augmented Reality (AR) hat das Potenzial, diese Nachteile zu überwinden. Intuitive in situ Visualisierungen sind möglich und die Ich-Perspektive von Head-Mounted Displays (HMD) löst die Problematik der Sichtbarkeit auf natürliche Art und Weise.

Die Methoden zur intraoperativen Registrierung, welche in diesem Projekt entwickelt werden, basieren auf 3D-Oberflächendaten der zu operierenden Wirbelsäulenanatomie und versuchen, auf intraoperative Bildgebung wie Röntgen oder Ultraschall zu verzichten. Das Projekt kann in drei Phasen unterteilt werden.

Phase 1: AR Machbarkeit (2018-2019)

Die erste Phase des Projekts ist bereits abgeschlossen. Sie untersuchte die Machbarkeit von chirurgischer Navigation mittels HMD und beinhaltete die Entwicklung einer Registrierungs- und Navigationsmethode. Beide Komponenten berufen sich auf 6DoF Marker-Tracking. Dieses wurde unter Verwendung des HoloLens Stereo-Kamerasystems realisiert:

Die Registrierungsmethode verwendet ein mit Marker ausgestattetes Zeige-Instrument (3D-Druck, 1a), mit welchem die zugängliche Wirbeloberfläche abgetastet und digitalisiert wird (1b und 1c). Nach erfolgreicher Registrierung kann deren Korrektheit visuell geprüft werden (1d).

Der Registrierungsprozess ist zweigeteilt. Zuerst wird das präoperative 3D Model des Wirbels in zwei mögliche Ausgangspositionen gebracht (2a und 2b), um die durch die Knochensymetrie gegebene Mehrdeutigkeit aufzulösen. Danach werden beide Konfigurationen mittels Iterative Closest Point Registrierung aligniert. Die korrekte Registrierung wird dann anhand des Root-Mean-Squared-Errors gefunden (2c).

Die Navigationsmethode benutzt ein mit Marker ausgestatteten Bohrlehre (3D-Druck, 3a). Der Kirschnerdraht wird durch Bohrmaschine und Bohrlehre eingefädelt (3b) und entsprechend der holographisch dargestellten Eintrittspunkte (3c) in das Knochenmodell gestochen. Danach kann die Schraube entlang der geplante Trajektorie gebohrt werden, indem der Chirurg sich auf folgende Visualisierung stützt (3d): ein Dreieck (rot), aufgespannt zwischen aktueller und geplanter Trajektorie, gibt einen intuitiven Eindruck über die Abweichung im Raum. Der dargestellte Wert (3D Winkel) ermöglicht eine exakte Navigation.

Der Ablauf der gesamten Methode ist in untenstehendem Video zusammengefasst und in folgender Publikation im Detail beschrieben: Pedicle screw navigation using surface digitization on the Microsoft HoloLens¹.

Der Anwendungsfall Wirbelsäulenversteifung bietet eine weitere interessante Möglichkeit für AR-Navigation: Rod Bending. Das Biegen des Stabimplantats, welcher die zu versteifenden Wirbel via Schrauben miteinander verbindet, ist bei schweren Deformitäten der Wirbelsäule sehr anspruchsvolln. Die Goldstandard-Methode zum Biegen des Stabimplantats verwendet einen leicht biegsamen Draht, welcher ex situ als Biege-Vorlage für den eigentlichen Metallstab dient. Die entwickelte AR-Anwendung folgt dem gleichen Prozess, aber mit holgraphischer Vorlage!

Beim holographisch geführten Biegen des Stabimplantats wird ein 3D-gedrucktes, mit Marker ausgestattetes Zeige-Instrument verwendet, mit welchem die 3D Positionen der Schraubenköpfe abgegriffen werden. Aus den 3D-Punkten wird dann eine Spline berechnet (siehe Video unten), der die holografische Biege-Vorlage darstellt. Unser AR-basierende Navigation des Stabimplantats wurde in einer Technical Note mit dem aktuellen Goldstandard verglichen: Augmented Reality-Assisted Rod Bending in Spinal Surgery².

Die Resultate der ersten Projektphase wurden beim Workshop „Computer Vision Applications for Mixed Reality Headsets“ an der Konferenz CVPR 2019 zusammenfassend präsentiert⁴. Zudem hat das Schweizer Radio und Fernsehen (SRF) im Herbst 2018 über die Arbeit im Bereich Augmented Reality an der Universitätsklinik Balgrist berichtet.

Ausblick

In weiteren Phasen des Projekts wird momentan daran gearbeitet, Methoden des maschinellen Lernens in die Registrierung zu implementieren und soweit aufzubereiten, dass sie in präklinischen Studien validiert werden können.

Referenzen

1. Liebmann F, Roner S, von Atzigen M, et al. Pedicle screw navigation using surface digitization on the Microsoft HoloLens. Int J Comput Assist Radiol Surg. April 2019.

2. Wanivenhaus F, Neuhaus C, Liebmann F, Roner S, Spirig J, Farshad M. Augmented Reality-Assisted Rod Bending in Spinal Surgery. Spine J. October 2019.

3. Müller F, Roner S, Liebmann F, Spirig J.M, Fürnstahl P, Farshad M. Augmented Reality Navigation for Spinal Pedicle Screw Instrumentation using Intraoperative 3D Imaging. Spine J. April 2020.

4. Liebmann F, Roner S, von Atzigen M, Wanivenhaus F, Neuhaus C, Spirig J, Scaramuzza D, Sutter R, Snedeker J, Farshad M, Fürnstahl P. Registration made easy – standalone orthopedic navigation with HoloLens. arXiv:2001.06209[cs.CV], 2020.