Myślę, że obejściem jest uczynienie tego przed wyzwalaczem i zaktualizowanie wstawianego rekordu przed wstawieniem.
Więc
CREATE
/*!50017 DEFINER = 'admin'@'%' */
TRIGGER `trigger_liability_detail_after_insert` BEFORE INSERT ON `liability_detail`
FOR EACH ROW BEGIN
DECLARE SortOrder INT;
IF NEW.liability_category_id = 1 OR NEW.liability_category_id = 2 THEN
SET NEW.seq = 1 + IFNULL((SELECT MAX(seq) FROM liability_detail WHERE analysis_id = new.analysis_id AND liability_category_id IN (1, 2)), 0);
END IF;
END;
$$
To było szybkie kopiowanie/wklejanie, ale powinno to być coś w tym stylu.