Twoje rozwiązanie wygląda na to, że próbuje zrobić za dużo. Spowoduje to również powstanie 2 oddzielnych zapytań SQL. To działałoby dobrze i tylko z jednym zapytaniem:
action_ids = Action.objects.order_by('product_id', '-created_at')\
.distinct('product_id').values_list('id', flat=True)
result = Action.objects.filter(id__in=action_ids)\
.order_by('-created_at')[:10]