Nie możesz. Możesz przeanalizować znacznik HTML i użyć go do zbudowania obiektu tekstu sformatowanego, który następnie można ustawić jako zawartość komórki; ale nie ma konwersji z HTML do tekstu sformatowanego wbudowanego w sam PHPExcel, więc musisz to zrobić ręcznie.