Nie sądzę, że potrzebujesz podwójnych cudzysłowów wokół uchwytu parametru.
Aktualizacja Tutaj, aby nie było nieporozumień:
DELIMITER //
CREATE PROCEDURE get_users_by_state(IN state CHAR(2))
READS SQL DATA
BEGIN
SET @mystate = state;
SET @sql = CONCAT('SELECT * FROM test_table WHERE state = ?');
PREPARE stmt FROM @sql;
EXECUTE stmt USING @mystate;
END;
//