Z błędu, który zamieściłeś, domyślam się, że brakuje Ci zależności mysql.
_mysql.c:44:10: fatal error: my_config.h: No such file or directory
44 | #include "my_config.h"
| ^~~~~~~~~~~~~
Patrząc na stronę github dla mysqlclient możesz spróbować uruchomić:
sudo apt-get install python3-dev default-libmysqlclient-dev build-essential
Z mojego doświadczenia wynika, że brakuje .h plik ogólnie oznacza, że na twoim komputerze brakuje biblioteki programistycznej, której potrzebuje rozszerzenie Pythona
