Uzyskaj liczbę przedmiotów i ich wartości w jednej kolumnie

Możesz wybrać każdy przedmiot z Items i LEFT JOIN MyTbl na wspólnym ItemID , liczenie dopasowań;

select 
   Items.itemId,
   count(MyTbl.itemId) as count
from Items
   left join MyTbl on (MyTbl.ItemID = Items.ItemID)
group by Items.itemId
order by Items.itemId