Zwróć typ danych SQL, np. VARCHAR2. Odradzałbym również używanie GDY INNE. Ponadto nie potrzebujesz zapytania w przypadku podwójnego:
create or replace
function IS_NUMBER(str in varchar2) return varchar2
IS
n number;
BEGIN
n := to_number(str);
return 'Y';
EXCEPTION WHEN VALUE_ERROR THEN
return 'N';
END;