Głównym założeniem naszego podejścia będzie rozszerzenie technik widzenia komputerowego o takie modalności, jak obrazy z czujników zasięgu, informacje dotykowe oraz rozpoznawanie mowy i gestów na poziomie poleceń. Przeprowadzona zostanie multimodalna analiza zachowań ludzkich oparta na danych i wyodrębnione zostaną wzorce zachowań. Wyniki badań zostaną zaimportowane do multimodalnego systemu komunikacji człowiek-robot, obejmującego zarówno komunikację werbalną, jak i niewerbalną, oraz zostaną koncepcyjnie i systemowo zsyntetyzowane w modele wspomagania mobilności, z uwzględnieniem wymagań krytycznych dla bezpieczeństwa. Wszystkie te moduły zostaną włączone w ramy sterowania robotem opartego na zachowaniu pacjenta.