Przede wszystkim zapytałbym, dlaczego masz kolumnę varchar, którą należy traktować jako liczbową, ale nieważne.
Możesz użyć extra
metoda queryset do konwersji ciągu:
MyTable.objects.extra(select={'int_name': 'CAST(t.name AS INTEGER)'},
order_by=['int_name'])