子どもにさみしい思いをさせてしまうのではないかと不安です。仕事をやめるべきでしょうか。