Niestety to, o co prosisz, nie jest możliwe w Eloquent.
Zapytanie z gorliwym ładowaniem jest całkowicie oddzielone od zapytania początkowego, więc wszelkie pobrane wartości nie są już dostępne.
Masz do wyboru albo połączenie w ograniczeniu (które może nie być wydajne), albo załadowanie wszystkich powiązanych modeli, a następnie sortowanie/filtrowanie tych za pomocą PHP.