Jeśli ponownie napotkasz ten błąd po aktualizacji do 12.04 (lub dla osób przybywających tutaj po wyszukaniu w google tytułu tej strony po aktualizacji do 12.04), działało to:
gem uninstall mysql2
gem install mysql2
To ponownie skompiluje klejnot za pomocą libmysqlclient18 i zadziałało dla mnie.
Mam nadzieję, że to komuś pomoże.