ORA-01799:kolumna nie może być połączona na zewnątrz z podzapytaniem

możesz to zmienić, przesuwając zapytanie podrzędne, tak aby nie było ono połączone na zewnątrz:

select Count(C.setid)
  from mycustomer C
       left outer join (select *
                          from mycustoption co
                         where co.effdt <= (select Max(COI.effdt)
                                              from mycustoption COI
                                             where COI.setid = co.setid
                                               and COI.cust_id = co.cust_id
                                               and COI.effdt <= sysdate)) co
                    on ( C.setid = CO.setid
                         and C.cust_id = CO.cust_id )