W EF pierwsze zapytanie jest uruchamiane, musi zostać skompilowane, mimo że program jest już zgodny.
Sugeruję przeczytanie tego http://www.codeproject.com/Articles/38174/How-to-improve-your-LINQ-query-performance-by-X i ten https://msdn .microsoft.com/en-us/library/vstudio/bb896297%28v=vs.100%29.aspx i spróbuj ponownie sprawdzić, czy to pomoże.
Powodzenia!