Píše se rok 1922. I ve čtvrté sérii se do okázalého prostředí panství Downton vrací naši oblíbení hrdinové. Přes nové výzvy, kterým musí čelit, zůstávají osudy rodiny Crawleyových a jejího služebnictva stále nerozlučně propojené.
Šest měsíců po tragické smrti Matthewa je jeho ztráta stále cítit po celém domě. Mary se smiřuje s životem, ve kterém bude vychovávat dítě bez otce, a s podporou rodiny zachraňuje, co se dá. Zatímco na panství přijímá novou roli, uvědomuje si, že se stala objektem zájmu mnoha dychtivých nápadníků.
Dvacátá léta jsou v plném proudu a vlna změn už zaplavila samotný Downton. Rose stále touží po životě v Londýně, což pro rodinu Crawleyových nevěstí nic dobrého. Slibně se rozvíjející vztah Edith a Gregsona ohrožují okolnosti, které nedokáží ovlivnit. Mezi služebnictvem zatím planou vášně a zdá se, že pukají mladá srdce.