Myślę, że wystarczy podać numer wiersza z każdą wybraną wartością i ograniczyć wyniki do liczby wierszycoś takiego:(nie testowano)
SELECT T0.experiment_id as `id`,
(SELECT SUM(x.value) from
(SELECT value,@rownum := @rownum + 1 AS rownum
FROM data
JOIN (SELECT @rownum := 0) r
WHERE experiment_id = t0.experiment_id
ORDER BY value
) AS x
WHERE x,rownum < t0.clip_index
) AS `sum`
FROM data_clip AS t0
zobacz:MySQL — pobieranie numeru wiersza przy wyborze