Istnieje bilet JIRA dla tego problemu i został naprawiony w wersji 2.5.0.
Na razie możesz użyć punktu Unicode do podwójnego cudzysłowu podczas wstawiania:
> db.foo.insert({ "field": "test \u0022 test" })
> db.foo.find()
{ "_id" : ObjectId("533455e563083f9b26efb5c2"), "field" : "test \" test" }