$unset jest pusty. Musisz określić pole takie jak:{$unset:{:...}}

Nie udało mi się odtworzyć tego komunikatu o błędzie, ale jak widzieliście, Mongoose zaktualizuje tylko pola zdefiniowane w schemacie. Możesz jednak zmienić to domyślne zachowanie, dołączając strict: false opcja:

groupsModel.update(
    {_id: group._id},
    {$unset: {"moderators": ""}, $set:{"admins": newAdmins}},
    {strict: false}
)