SUM() nie działa w MySQL :SUM() z DISTINCT

Wstawiasz DISTINCT IN sum( rating.rating) as total_rating, dlatego wynik (12=17-5 ), ponieważ będzie zawierać 5 tylko raz podczas obliczania sumy.

 select review.comments, review.user_id, count(distinct rating.id) as rating_count,
    sum( rating.rating) as total_rating from users 
    left join review on users.id = review.user_id and review.shop_id='1' 
    left join rating on users.id = rating.user_id and rating.shop_id='1' 
    where review.shop_id='1' or rating.shop_id='1' 
    group by users.id, review.user_id, rating.user_id, review.id

Oto SQLFiddle

Przykładowe dane wyjściowe : Mam nadzieję, że to pomoże