Python Pandas - dados esparsos
Objetos esparsos são “compactados” quando qualquer dado correspondente a um valor específico (NaN / valor ausente, embora qualquer valor possa ser escolhido) é omitido. Um objeto especial SparseIndex rastreia onde os dados foram “esparsos”. Isso fará muito mais sentido em um exemplo. Todas as estruturas de dados padrão do Pandas aplicam oto_sparse método -
import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts
Está output é o seguinte -
0 -0.810497
1 -1.419954
2 NaN
3 NaN
4 NaN
5 NaN
6 NaN
7 NaN
8 0.439240
9 -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)
Os objetos esparsos existem por motivos de eficiência de memória.
Vamos agora supor que você tenha um grande DataFrame de NA e execute o seguinte código -
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()
print sdf.density
Está output é o seguinte -
0.0001
Qualquer objeto esparso pode ser convertido de volta para a forma densa padrão chamando to_dense -
import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()
Está output é o seguinte -
0 -0.810497
1 -1.419954
2 NaN
3 NaN
4 NaN
5 NaN
6 NaN
7 NaN
8 0.439240
9 -1.095910
dtype: float64
Dtypes esparsos
Dados esparsos devem ter o mesmo tipo de d que sua representação densa. Atualmente,float64, int64 e booldtypessão suportados. Dependendo do originaldtype, fill_value default mudanças -
float64 - np.nan
int64 - 0
bool - Falso
Vamos executar o seguinte código para entender o mesmo -
import pandas as pd
import numpy as np
s = pd.Series([1, np.nan, np.nan])
print s
s.to_sparse()
print s
Está output é o seguinte -
0 1.0
1 NaN
2 NaN
dtype: float64
0 1.0
1 NaN
2 NaN
dtype: float64