Potrzebuję zapytania sql, aby pogrupować według nazwy, ale zwrócić inne pola na podstawie najnowszego wpisu

Możesz również napisać to, co napisał Andrey nieco bardziej zwięźle, jeśli wybierzesz TOP (1) WITH TIES i umieścisz wyrażenie ROW_NUMBER() w klauzuli ORDER BY:

SELECT TOP (1) WITH TIES
  CallerFName,
  CallerLName,
  CallerDOB,
  CreatedOn,
  PhoneNoteID
FROM [dbo].[PhoneCallNotes]
WHERE CallerLName = 'Public' 
ORDER BY ROW_NUMBER() OVER(
  PARTITION BY CallerFName, CallerLName, CallerDOB
  ORDER BY CreatedOn DESC
)

(Nawiasem mówiąc, nie ma powodu, aby używać LIKE do prostego porównania ciągów).