Jeśli chcesz, aby dane były konwertowane automatycznie, powinieneś określić zestaw znaków podczas tworzenia silnika:
create_engine('mysql+mysqldb:///mydb?charset=utf8')
Ustawianie use_unicode
sam nie powie sqlalchemy, którego zestawu znaków użyć.