Ohne Link zur Seite kann man in dem Fall nur raten. Die Screenshots zeigen zudem nicht den ganzen Customizer und auch nicht den ganzen Browser im Frontend, daraus wird nicht klar, um welche Ansichten es geht.
Evtl. wurde auch im Bereich Header Presets etwas verstellt oder für bestimmte Ansichten verschieden eingestellt o.ä., evtl. wurden Customizer Änderungen nicht veröffentlicht, evtl. laufen Cache Plugins, usw.
Hier auf einem Testserver mit Standardinstallation des Themes wird der Button (wie in der o.g. Astra Dokumentation) sowohl oben im Customizer als auch unten im Visual Builder Bereich mit den Layout Elementen angezeigt, wenn man im WordPress Menü > Design > Customizer > Header-Builder aufruft, und kann bearbeitet bzw. entfernt werden: