Możesz spróbować zaktualizować swój kod, aby używał sparametryzowanej wartości, która poradzi sobie z cudzysłowami w ciągu:
$query = "INSERT INTO People(name) VALUES(@name)"
$command = $connection.CreateCommand()
$command.CommandText = $query
$command.Parameters.Add("@name", $name) -- | Out-Null (may be required on the end)
$command.ExecuteNonQuery()
Nie mam doświadczenia z powershell, ale odwołałem się do tego posta dla zapytanie parametryczne :