Natrafiłem na ten problem z kontenerem Debiana. Naprawiło to zainstalowanie każdego pakietu za pomocą oddzielnych poleceń. Więc zamiast
RUN apt-get install -y python-pip libmysqlclient-dev
zrobić
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev