Foreach MySQL/PHP nadal wyświetla się tylko jako pierwszy w bazie danych

Myślę, że $caption to tablica, więc twój kod powinien wyglądać tak

while($rows = mysql_fetch_array($new_captions)){
    $caption[] = $rows;
}

EDYCJA:

Twoja pętla foreach również jest nieprawidłowa.

Twoja zmienna to $wiersze, a nie $caption.

<div id="set_caption" style="width:<?php echo $rows['width'];?>px; height:<?php echo $rows['height'];?>px; left:<?php echo $rows['posleft'];?>px; top:<?php echo $rows['postop'];?>px;"><?php echo $rows['text'];?></div>

<?php } ?>