育休中の過ごし方

育休中に別荘で過ごすのはどう思いますか？
仮定の話です。

実家が田舎に別荘を持っていて、私は空気も野菜も美味しくて、ここで暮らしたいなと思っているのですが、仕事の都合もあり諦めています。
また、自然豊かな所で、子供にとってもここで育つのは良いことだと思うのですが、進学先の候補が絞られそうなので移住までは考えていません。

そこで、子供を産んで育休中に別荘で過ごせないかと考えています。
私自身は、保育園次第ではありますが1〜3年、夫は1年育休取得予定です。
もちろん夫婦で話し合う必要があるのはわかっているのですが、一般的な感覚を聞きたいです。

ちなみに夫婦で都内在住、両実家も都内のため別荘で過ごすとなると子育ては完全に2人で行うことになるという不安もあります。
一方で、別荘地は隣の家とも離れていて、また暮らしている人は少ないので、赤ちゃんの泣き声等は気にならないと思います。
また、スーパーや、総合病院含む医療機関は車で15分のところに数件あるので、暮らしていくこと自体はできると思います。

皆さんだったらどうしますか？