Możesz użyć dosłownego cytowania:
stmt := q'[insert into MY_TBL (Col) values('ER0002')]';
Dokumentację literałów można znaleźć tutaj.
Alternatywnie możesz użyć dwóch cudzysłowów do oznaczenia pojedynczego cudzysłowu:
stmt := 'insert into MY_TBL (Col) values(''ER0002'')';
Dosłowny mechanizm cytowania ze składnią Q jest bardziej elastyczny i czytelny, IMO.