Problem rozwiązany.
Przyczyna:używałem Non-Thread Safe php_mongodb.dll , podczas gdy PHP zainstalowane przez XAMPP jest bezpieczne dla wątków.
Po zastąpieniu php_mongodb.dll z wersją bezpieczną dla wątków nie ma błędu i mogę pomyślnie ukończyć instalację kompozytora.