Wygląda na to, że nadpisujesz swoje listy zamiast dołączać do nich, kiedy to robisz:
for site in sites:
items = [site.select('//h2').extract()]
item = [site.select('//h3').extract()]
meta = [site.select('//meta').extract()]
Myślę, że warto to zmienić na:
for site in sites:
items.append(site.select('//h2').extract())
item.append(site.select('//h3').extract())
meta.append(site.select('//meta').extract())