Zobacz prezentację Wprowadzenie do programu SQL Server Express Local DB Runtime — zawiera doskonały przegląd.
Ogromną zaletą LocalDB jest to, że jest to prawdziwy SQL Server — jest to specjalna wersja SQL Server Express, ale zasadniczo obsługuje wszystko, co „prawdziwy” SQL Server — typy danych przestrzennych, procedury składowane — jak to nazwiesz.
Z drugiej strony SQL Server Compact Edition jest bardzo zmniejszoną wersją — wiele funkcji i typów danych nie jest obsługiwanych. Jest mniejszy i bardziej "zwinny" - ale brakuje mu dużo ciosu.
Osobiście wybrałbym SQL Server Express ze środowiskiem wykonawczym LocalDB zamiast SQL Server CE 4 - chyba że konkretnie potrzebujesz niewielkiego rozmiaru SQL Server CE (np. na urządzeniu mobilnym).
Zobacz także porównanie SQL Server CE 3.5, CE 4.0, SQL Server Express 2008 R2 i SQL Server 2012 Express LocalDB w doskonałej Wszystko SQL Server Compact firmy ErikEJ strona internetowa.