Redis na pewno nie będzie szybszy niż natywna Java na jednej maszynie. Umożliwiłoby to dystrybucję przetwarzania, ale jeśli porcje danych są naprawdę duże, i tak prawdopodobnie nie zmieszczą się w pamięci. Nie wiedząc więcej o tym, co robisz, sugerowałbym przechowywanie danych na dysku. Gdy masz wiele komputerów, możesz zamontować partycję w sieci i w ten sposób udostępniać dane. Alternatywnie Hadoop z MapReduce brzmi jak odpowiednia rzecz do tego, co robisz.