Systemy plików są przeznaczone dla plików, dlaczego nie? przechowujesz go tam?
W MySQL będzie to znacznie wolniejsze; mówisz „nie było strasznie szybko”. To będzie rosło wykładniczo wraz ze wzrostem obciążenia. Prawdopodobnie będziesz również musiał załadować cały BLOB do pamięci w PHP (jeśli jest to język interfejsu, którego używasz), co również powoduje problemy.
Gdy to zrobisz, zauważysz zwłaszcza, że zwiększa to zużycie pamięci i czas potrzebny do rozpoczęcia pobierania/odtwarzania mp3.