laravel należy do wielu filtrów

Powinieneś użyć whereDoesntHave() aby wybrać modele, które nie mają powiązanego modelu spełniającego określone kryteria:

$users = User::whereDoesntHave('roles', function($q){
    $q->where('role_id', 5);
})->get();