파이썬 Pandas DataFrame .fillna, .interpolate

1. Upsampling으로 주기 변환 시 생기는 결측값을 채우는 방법 (Filling forward/backward)

Upsampling은 시계열 데이터의 빈도를 증가시키는 기법으로, 일반적으로 데이터 포인트가 적은 낮은 주기에서 높은 주기로 변환할 때 사용됩니다. 하지만 이렇게 주기를 변환할 때 결측값이 발생할 수 있습니다. 이러한 결측값을 채우는 방법 중 하나는 Forward Filling과 Backward Filling입니다.

Forward Filling은 이전 데이터 포인트의 값을 그대로 사용하여 결측값을 채우는 방법입니다. 즉, 결측값 이전의 가장 최근의 데이터 포인트의 값을 사용합니다. 이 방법은 주기 변환이 발생하는 시계열 데이터에 적용하기 좋습니다. 이유는 이전의 값이 현재 값과 비슷하게 유지되는 경우가 많기 때문입니다. 예를 들어, 날씨 데이터에서 온도 변화가 급격하지 않을 경우 이전 온도 값이 다음 온도 값과 비슷할 가능성이 높습니다.

Backward Filling은 반대로 이후 데이터 포인트의 값을 사용하여 결측값을 채우는 방법입니다. 이 방법은 Forward Filling과는 달리 주기 변환이 발생하는 시계열 데이터에는 적합하지 않습니다. 이유는 주기가 높아질수록 이전의 값이 현재 값과 크게 다를 가능성이 높기 때문입니다. 하지만, 예를 들어, 주식 가격 데이터에서 이후의 가격 변화가 크지 않은 경우 Backward Filling을 적용할 수 있습니다.

728x90

 

2. Upsampling으로 주기 변환 시 생기는 결측값을 선형 보간하는 방법 (Linear Interpolation)

선형 보간은 결측값을 이전과 이후의 값의 중간값으로 채우는 방법입니다. 이 방법은 Forward Filling과 Backward Filling보다 더 정확한 값을 채울 수 있습니다. 하지만 이 방법은 데이터가 주기적인 패턴을 가지고 있지 않을 경우에는 적합하지 않습니다.

선형 보간은 다양한 시계열 데이터에서 적용할 수 있습니다. 예를 들어, 기상 데이터에서는 온도, 습도, 바람 속도 등의 변수를 포함하고 있습니다. 이러한 데이터에서 선형 보간은 온도나 습도의 경우에 적용할 수 있습니다. 또한, 주식 가격 데이터에서는 가격, 거래량, 주식 수 등의 변수를 포함하고 있습니다. 이러한 데이터에서 선형 보간은 가격 데이터에 적용할 수 있습니다.

선형 보간은 결측값을 채우는 데 유용한 방법 중 하나입니다. 그러나 이 방법은 데이터의 특성에 따라 정확성이 달라질 수 있습니다. 따라서, 결측값을 채우기 전에 데이터의 특성을 분석하여 적절한 보간 방법을 선택하는 것이 중요합니다. 또한, 데이터의 패턴이 주기적인 경우에는 Forward Filling 또는 Backward Filling 방법을 사용하는 것이 더 적합할 수 있습니다.