Jeśli używasz systemu Windows, zmienne systemowe mają być używane jako %COHERENCE_HOME% , a nie COHERENCE_HOME .
np. Twoje polecenie powinno wyglądać tak:java -cp %COHERENCE_HOME%\config;%COHERENCE_HOME%\lib\coherence.jar com.tangosol.net.DefaultCacheServer
Sprawdź również, czy com.tangosol.net.DefaultCacheServer klasa jest na ścieżce klas.