Nie, możesz dziedziczyć tylko z jednego obrazu.
Prawdopodobnie nie chcesz, aby Java i MySQL były na tym samym obrazie, ponieważ bardziej idiomatyczne jest posiadanie jednego komponentu w kontenerze, tj. utworzenie oddzielnego kontenera MySQL i połączenie go z kontenerem Java, zamiast umieszczania obu w tym samym kontenerze.
Jeśli jednak naprawdę musisz mieć je w tym samym obrazie, napisz plik Dockerfile z Javą jako obrazem podstawowym (instrukcja FROM) i zainstaluj MySQL w pliku Dockerfile. Powinieneś być w stanie w dużej mierze skopiować oświadczenia z oficjalnego pliku dockerowego MySQL.