Miałem ten sam problem podczas instalacji mysql2-0.3.21 na Macu pro.
Poniższe rozwiązanie zadziałało dla mnie (uruchom wymienione poniżej 3 polecenia w terminalu wskazujące folder twojego projektu):
brew install mysql
gem install mysql2 -v '0.3.21' -- --srcdir=/usr/local/mysql/include
bundle install