Jak uzyskać średnią z orderBy Desc w Laravel 5

Możesz użyć zmodyfikowanego withCount() :

$books = Book::withCount(['ratings as average_rating' => function($query) {
    $query->select(DB::raw('coalesce(avg(rating),0)'));
}])->orderByDesc('average_rating')->get();