Musisz znaleźć ostatnią datę dla każdej kategorii w podzapytaniu, dołączyć to podzapytanie do swojej tabeli i uporządkować według 3 pól:
SELECT p.* FROM products p
JOIN
( SELECT category_id, MAX(date) as category_date FROM products
GROUP BY category_id ) pg
ON p.category_id = pg.category_id
ORDER BY pg.category_date DESC, p.category_id, p.date DESC