Na pierwszy rzut oka wydaje mi się, że twoje SQL Server Management Studio łączy się przez inną bibliotekę sieciową, taką jak nazwane potoki, podczas gdy klient sqlcmd próbuje połączyć się przez TCP, a serwer tam nie nasłuchuje (lub może port niestandardowy). Dlatego w drugim przypadku pojawia się błąd TCP.