Você pode usar um subconjunto TeXmarkup em qualquer string de texto Matplotlib colocando-o dentro de um par de cifrões ($).
# math text
plt.title(r'$\alpha > \beta$')
Para fazer subscritos e sobrescritos, use os símbolos '_' e '^' -
r'$\alpha_i> \beta_i$'
import numpy as np
import matplotlib.pyplot as plt
t = np.arange(0.0, 2.0, 0.01)
s = np.sin(2*np.pi*t)
plt.plot(t,s)
plt.title(r'$\alpha_i> \beta_i$', fontsize=20)
plt.text(0.6, 0.6, r'$\mathcal{A}\mathrm{sin}(2 \omega t)$', fontsize = 20)
plt.text(0.1, -0.5, r'$\sqrt{2}$', fontsize=10)
plt.xlabel('time (s)')
plt.ylabel('volts (mV)')
plt.show()
A linha de código acima irá gerar a seguinte saída -