При Хрущёве, самостоятельно формировавшем внешнеполитический курс страны, Громыко как глава МИД не имел свободы действий и играл роль скорее лояльного исполнителя. Большинство ключевых шагов во внешней политике СССР того времени – разрыв с Китаем и примирение с Югославией, предложения в ООН о предоставлении независимости колониальным странам и народам и о всеобщем и полном разоружении, срыв совещания в верхах четырёх государств в Париже в 1960 году – были следствиями личного вмешательства Хрущёва. Громыко не всегда разделял эти инициативы. Так было и в октябре 1962 года, в период Карибского кризиса – Громыко изначально скептически отнёсся к намерению Хрущёва разместить советские ракеты на Кубе, прогнозируя «политический взрыв» в США. Министр иностранных дел лично участвовал в переговорах с американским президентом Джоном Кеннеди. Впоследствии он вспоминал, что это были самые тяжёлые переговоры в его дипломатической карьере. Тогда, как и в период Берлинского кризиса 1961 года, дипломатические усилия сыграли ключевую роль в разрешении напряжённой ситуации.
В 1964 году генеральным секретарём ЦК КПСС стал Л. И. Брежнев. Громыко, и до прихода Брежнева к власти поддерживавший с ним хорошие отношения, быстро нашёл общий язык с преемником Хрущёва. Брежнев, особенно в первые годы руководства страной, охотно прислушивался к опытному дипломату. В первое десятилетие правления нового генсека СССР удалось добиться признания Западом послевоенных границ в Европе как основы европейского и всеобщего мира. Поворотным пунктом стало заключение Московского договора с ФРГ в 1970 году. Личный вклад Громыко в этом случае был более чем значителен: в процессе выработки текста договора ему пришлось провести 15 встреч с советником канцлера ФРГ по внешней политике Э. Баром и столько же с министром иностранных дел ФРГ В. Шеелем. В 1975 году процесс признания территориального статус-кво в Европе был завершён на общеевропейском совещании в Хельсинки.