Augmented Reality bij de Koninklijke Marine - Eaglescience

Augmented Reality bij de Koninklijke Marine

Veilige navigatie op zee door Augmented Reality

Sneller en beter anticiperen door het gebruik van augmented reality op de brug, en zo het marinepersoneel helpen met veilige navigatie op toekomstige fregatten.

Voor een onderzoeksproject heeft Eaglescience in samenwerking met TNO een Hololens app gemaakt. In de hololens worden hologrammen voor de gebruiker in de echte wereld geprojecteerd. De app bevat elementen en combineert data uit andere systemen die relevant zijn voor de navigatie van een schip. Zo projecteert de hololens onder andere een kompas met koersinformatie, markers met koersinformatie over andere schepen zoals richting, snelheid, en waarschuwt voor gevaarlijke situaties.

“Als ik dat tijdens mijn missies had gehad,” zegt een voormalig commandocentrale officier, “was ik heel blij geweest.”

Tijdens dit project is de hololens gebruikt in combinatie met simulatiesoftware die een realistische scheepvaart-situatie simuleerde. De posities van de schepen binnen de simulatie werden doorgestuurd naar de hololens app. De simulatie werd getoond op grote schermen, waarbij een route afgevaren werd vanaf het gezichtspunt van de brug van een schip. De markers bij de schepen werden in de simulatie geprojecteerd en waren door de hololens zichtbaar.

Team aan het woord:

‘Ik mocht voor dit project aan de slag met de Microsoft Hololens, een apparaat dat zeker beschouwd mag worden als cutting edge technology. Gelukkig worden developers uitstekend ondersteund door Microsoft. Ze hebben goed samengewerkt met het opensource game development platform Unity. De ervaring om een “hello world” app in elkaar te zetten, en te installeren op de Hololens verliep erg soepel.

Ontwikkelen voor (zoals Microsoft dat noemt) Mixed Reality brengt wel een aantal uitdagingen met zich mee. Zo moet er onder andere goed nagedacht worden over de zichtbaarheid van de hologrammen, bijvoorbeeld over welke kleuren en formaten er gebruikt worden.

De grootste uitdaging was het correct kalibreren van de posities van de markers in de Hololens app aan de simulatie in de echte wereld, omdat als de markers niet goed overlappen de ervaring er onder lijdt. De oplossing is uiteindelijk geweest om de kalibratie over een netwerk configureerbaar te maken, zodat voor iedere gebruiker die een scenario bekijkt de kalibratie afgestemd kan worden vanaf een laptop.’ – Gosse

Gebruikte technieken

  • Unity – voor 3D rendering
  • Hololens
  • Hololens Emulator (Windows 10)
  • C# .NET framework (Visual Basic IDE)
  • UDP – voor netwerk communicatie met de simulatie
  • MATLAB & MATLAB Simulink – simulatie software(s)

Dit onderzoeksproject is in opdracht van:

Voor meer informatie neem contact op met:

Marc Grootjen
m.grootjen@eaglescience.nl