Pada masa itu, Yang Guifei menerima semua perhatian dari kaisar dan tidak memiliki saingan.
Dia pun menjalani kehidupan yang mewah dan memanjakan.
Meskipun Yang Guifei menjadi favorit kaisar, ini tidak berarti bahwa hubungan Yang Guifei dengan kaisar semuanya baik-baik saja.
Setidaknya ada dua kali kaisar menunjukkan ketidaksenangan padanya dan mengusirnya dari istana.
Alasan pengusiran pertamanya adalah karena dia menunjukkan kecemburuan ketika kaisar tertarik pada salah satu wanita istana.
Dia dikirim untuk tinggal bersama sepupunya.
Namun, pembuangannya tidak berlangsung lama ketika dia dipanggil kembali karena kaisar menyadari bahwa dia tidak dapat hidup tanpanya.
Alasan kedua Yang Guifei dibuang adalah karena dia melewati batas. Dia memainkan seruling giok milik kerabat Kaisar Xuanzong.
Tapi sama seperti sebelumnya, pengusirannya dari istana juga singkat.
Karena pengaruh Yang Guifei pada kaisar, banyak pejabat mencoba memenangkan dukungannya untuk mendapatkan posisi tinggi di istana.
Salah satu pejabat ini adalah An Lushan, seorang gubernur jenderal dan militer di distrik-distrik perbatasan.