Możesz dołączyć do tabeli pochodnej, która zawiera wartość zagregowaną dla każdej grupy b
select * from mytable t1
join (
select avg(a), b
from mytable
group by b
) t2 on t2.b = t1.b
lub za pomocą podzapytania
select *, (select avg(a) from mytable t2 where t2.b = t1.b)
from mytable t1
pytanie jest oznaczone zarówno mysql, jak i psql, więc nie jestem pewien, którego db używasz. Ale na postgresie możesz używać funkcji okna
select *, avg(a) over (partition by b)
from mytable