Zapytanie SQL działa przez bardzo długi czas, jeśli wyszukiwany termin nie zostanie znaleziony

Już teraz możesz uprościć swoje zapytanie w ten sposób;) :

int start=page * recordsInPage;

var inner = (from user in db.Users
            where user.Name.Contains(name) && !user.Deleted && user.AppearInSearch
            orderby user.Verified descending
            select  new
                   {
                     Name = user.Name,
                     Verified = user.Verified,
                     PhotoURL = user.PhotoURL,
                     UserID = user.Id,
                     Subdomain = user.Subdomain,
                     Deleted=user.Deleted,
                     AppearInSearch = user.AppearInSearch
                   }
             ).Skip(start).Take(recordsInPage);

return await inner.ToListAsync();

Jeśli masz problem z wydajnością, spróbuj utworzyć procedurę składowaną za pomocą swojego SQL i użyj jej z frameworkiem encji.