Los Carter pasaron sus primeros días como marido y mujer en la base naval de Norfolk, Virginia, donde Jimmy iba la mayor parte de la semana a hacer recados y Rosalynn disfrutaba de un curso intensivo sobre asuntos domésticos.
Su primer hijo, hijo John William “Jack” CarterNació el 3 de julio de 1947, por lo que la pareja celebró su primer aniversario en el hospital como una familia de tres. Al año siguiente, Jimmy fue seleccionado para la escuela de submarinos en New London, Connecticut, y finalmente tuvo un horario de trabajo regular para poder estar en casa todas las noches con su esposa e hijos.
Le dan la bienvenida a su hijo James Earl “Chip” Carter III en 12 de abril de 1950, mientras vivían en Hawaii. Luego a San Diego, California, luego de regreso a New London, donde pertenece, hijo. DonnelJeffrey “Jeff” Carter Nació el 18 de agosto de 1952 y luego se mudaron a Schenectady, Nueva York, para que Jimmy pudiera estudiar energía nuclear en Union College.
Rosalynn dijo que planea ser una esposa de la Marina, mudarse de ciudad en ciudad y ver mundo con su esposo. Lo cual finalmente hizo, pero no de la manera que imaginaba.
