Istnieje kilka wtyczek formularza modalnego, takich jak ten na Apex-Plugin.com . Sam ich nie używałem, więc nie mogę za nie ręczyć.
Możesz też użyć funkcji „Wyświetl źródło” przeglądarki na stronie Apex, którą lubisz, a zobaczysz wszystkie definicje funkcji i miejsca ich wywoływania. Wygląda na to, że po prostu używa standardowych bibliotek JQuery, które są dostarczane z Apex 4.0
Aktualizacja 04.10.2011:
Ostatnio korzystałem z tego modalna wtyczka strony i mogę go polecić. Istnieje wiele instrukcji, w tym półgodzinny film na YouTube pokazujący, jak z niego korzystać.