Miałem podobny problem. Używam Spring Boot 1.5.9 i postgres 9.6, data.sql z insertami. Kodowanie w data.sql było UTF-8, ale po uruchomieniu aplikacji w DB były specjalne symbole zamiast rosyjskich liter.
spring.datasource.sql-script-encoding= UTF-8
Ta właściwość w application.properties pomogła.
Wszystkie właściwości odpowiedzialne za DB:
spring.datasource.jndi-name=java:/PostgresDS
spring.jpa.properties.hibernate.default_schema=my_scheme_name
spring.jpa.hibernate.ddl-auto = update
spring.jpa.show-sql = false
spring.jpa.properties.hibernate.dialect = org.hibernate.dialect.PostgreSQLDialect
spring.datasource.continue-on-error=true
spring.datasource.sql-script-encoding= UTF-8
