Tidy Data 제대로 이해하기 — 지저분한 표를 pandas로 정돈하기

이번 강의는 "Bad Data"라는 넓은 주제였습니다. 실무 데이터가 왜 지저분한지(오타·결측·중복·비표준·이상치…), 그걸 어떻게 청소하고(cleaning) 주무르는지(wrangling), 에러를 어떻게 탐지·예방하는지까지 훑고, 마지막에 Tidy Data로 마무리하더라고요. 그리고 강의와 함께 받은 tidy-data-master 폴더에는 이 Tidy Data 개념의 원전 — Hadley Wickham(해들리 위컴)의 논문과 실제 지저분한 데이터 파일들(종교·소득 조사, 빌보드 차트, 결핵 통계, 기상 관측)이 들어 있었습니다.

강의 전체를 다 옮기면 물타지니까, 이 글은 "지저분한 표를 어떻게 분석 가능한 표로 바꾸는가" 한 갈래에 집중합니다. Tidy Data가 뭔지 정의부터 잡고, 위컴이 정리한 지저분한 데이터 5대 유형 중 자주 만나는 3가지를 실제 강의 데이터에 pandas로 직접 손봐가며 볼게요. 참고로 폴더의 README는 R 코드 파일(tidy-data.R)을 언급하지만 실제 파일은 빠져 있어서, 논문의 R 예제를 제가 pandas로 재현했습니다.

목차

1. 큰 그림 — 조각들이 어떻게 맞물리나
2. Tidy Data란 무엇인가 (3원칙)
3. 지저분한 데이터 5대 유형
4. melt — 열 이름이 값일 때 (종교·소득 데이터)
5. split — 한 열에 변수가 두 개일 때 (결핵 데이터)
6. pivot — 값이 행·열 양쪽에 흩어졌을 때 (기상 데이터)
7. 치트시트 & 핵심 4가지

1. 큰 그림 — 조각들이 어떻게 맞물리나

Tidy Data는 결국 "표 하나에 딱 세 가지 질문을 던지고, 어긋나면 정해진 도구로 고친다"는 이야기입니다. 세 가지 질문이 tidy의 3원칙이고, 어긋나는 방식이 지저분한 유형이며, 고치는 도구가 melt·split·pivot입니다. 아래 지도가 이 글의 뼈대예요. 이후 각 섹션이 이 칸을 하나씩 채웁니다.

지저분한 표 에 이 질문들을 던진다

▼

변수 = 열?tidy 3원칙§2

열 이름이 값?→ meltwide→long

한 열에 변수 2개?→ splitstr.split

값이 행·열 양쪽?→ pivotlong→wide

세 도구는 서로 반대·보완 관계 — melt는 펴고(long), pivot은 접고(wide), split은 쪼갠다

📌 핵심 한 줄 — Tidy Data는 "예쁜 데이터"가 아니라, 분석 도구가 바로 먹을 수 있게 구조(structure)와 의미(semantics)를 일치시킨 데이터입니다. 사람이 보기 좋은 표와 기계가 다루기 좋은 표는 다릅니다.

2. Tidy Data란 무엇인가 (3원칙)

먼저 용어부터 정확히 잡고 갑시다. 강의 슬라이드에도 한 줄로 "Tidy Data = Narrow Data = long form"이라고만 적혀 있어서, 이게 정확히 뭘 뜻하는지 원전에서 확인하는 게 중요합니다.

Tidy Data (정돈된 데이터): 데이터의 의미를 구조에 규칙적으로 대응시킨 표 — 변수는 열, 관측치는 행에 오도록 맞춘 형태.

variable (변수): 같은 속성을 여러 대상에 걸쳐 잰 값들의 묶음 (예: 키, 온도, 소득구간). observation (관측치): 한 대상에 대해 잰 값들의 묶음 (예: 사람 한 명, 하루, 경기 하나).

비유하자면, 엑셀에서 사람이 보기 좋으라고 만든 "요약표"는 셀 하나에 정보가 응축돼 있어 눈으로 읽기엔 좋지만, 컴퓨터가 groupby·집계·시각화를 하려면 매번 다른 방식으로 값을 뜯어내야 합니다. Tidy Data는 그 뜯어내기를 단 한 가지 방식으로 통일해 줍니다.

원전은 이렇게 정의합니다. 위컴은 Tidy Data를 세 가지 원칙으로 못박습니다 — 각 변수는 하나의 열을, 각 관측치는 하나의 행을, 각 관측 단위 유형은 하나의 표를 이룬다. 그리고 이건 관계형 데이터베이스의 제3정규형(3rd normal form)을 통계 언어로 바꿔 쓴 것이라고 밝힙니다. (출처: Hadley Wickham, Tidy Data, Journal of Statistical Software, §2.3)

# Tidy Data 3원칙 (Wickham, 2014)
# 1. Each variable forms a column.        각 변수 = 하나의 열
# 2. Each observation forms a row.         각 관측치 = 하나의 행
# 3. Each observational unit forms a table. 각 관측 단위 = 하나의 표

여기서 강의의 "long form"이 연결됩니다. 같은 데이터를 담아도 wide form(넓은 형태: 변수를 옆으로 펼쳐 열을 늘림)과 long form(긴 형태: 변수를 아래로 쌓아 행을 늘림)이 있는데, tidy는 보통 long form 쪽입니다. 아래 표가 같은 정보의 두 얼굴입니다.

구분	wide form (넓은/지저분하기 쉬움)	long form (긴/tidy)
모양	열이 옆으로 많음	행이 아래로 많음
예	religion, <$10k, $10-20k, …	religion, income, frequency
사람 눈	읽기 좋음(요약표)	장황해 보임
기계 처리	매번 다른 방식으로 뜯어야 함	groupby·집계·플롯 한 방에

🔗 어디에 쓰나 — seaborn·plotly 같은 시각화 라이브러리, groupby().agg() 집계, 그리고 ML 모델의 입력 X 만들기 전 단계가 전부 tidy(long) 형태를 전제로 돌아갑니다. "데이터가 왜 이렇게 플롯이 안 그려지지?" 태반은 형태가 wide라서입니다.

→ 그럼 실무 데이터는 이 3원칙을 어떻게 어길까요? 위컴이 정리한 5대 유형을 봅니다.

3. 지저분한 데이터 5대 유형

위컴은 "행복한 가정은 다 비슷하지만 불행한 가정은 저마다의 방식으로 불행하다"는 톨스토이를 빌려, 지저분한 데이터도 저마다의 방식으로 지저분하다고 말합니다. 그런데 실제로 겪어보면 대부분 아래 다섯 가지로 수렴하더라는 게 논문의 관찰입니다. (출처: Tidy Data, §3)

지저분한 데이터 5대 유형

▼

① 열이름=값변수가 헤더에→ melt

② 한 열 = 여러 변수성별+나이 뭉침→ split

③ 행·열 양쪽변수가 흩어짐→ pivot

④⑤ 표 문제여러 단위 한 표 /
한 단위 여러 표→ 정규화

이 글은 실무 빈도가 높은 ①②③을 실제 데이터로 다룹니다

④(한 표에 여러 종류의 관측 단위가 섞임)와 ⑤(한 관측 단위가 여러 표에 쪼개짐)는 데이터베이스 정규화·조인의 영역이라 별도 글로 미루고, 여기서는 표 하나를 재구조화하는 ①②③에 집중하겠습니다.

→ 첫 번째, 가장 흔한 "열 이름이 사실은 값"인 경우입니다.

4. melt — 열 이름이 값일 때 (종교·소득 데이터)

앞의 지도에서 ①번 칸입니다. 발표용으로 예쁘게 만든 표는 대개 이 함정에 빠져 있습니다. 강의 데이터 중 pew.txt(미국 Pew Research Center의 종교별 소득 조사)가 딱 그렇습니다.

melt (녹이다): 옆으로 펼쳐진 여러 열을 두 개의 열(이름 열 + 값 열)로 녹여 아래로 쌓는 변형 — wide를 long으로 바꾸는 대표 도구.

직관적으로는 얼음 틀(각 칸=열)을 녹여서 한 줄기 물(이름·값 두 열)로 흘려보내는 그림입니다. 그래서 이름이 "melt"예요.

공식 문서는 이렇게 설명합니다. pandas 공식 레퍼런스는 melt를 "id_vars로 지정한 식별 열은 그대로 두고, 나머지 열들을 variable/value 두 열로 unpivot한다"고 정의합니다. 아래가 공식 문서에 실린 예제 그대로입니다. (출처: pandas.melt)

# pandas 공식 문서 예제 — 대조 기준
df = pd.DataFrame({"A":["a","b","c"], "B":[1,3,5], "C":[2,4,6]})
pd.melt(df, id_vars=["A"], value_vars=["B","C"])
#    A variable  value
# 0  a        B      1     ← B,C 열 이름이 'variable' 열의 값으로 내려오고
# 1  b        B      3        원래 셀 값은 'value' 열로 쌓인다
# ...
# 3  a        C      2

강의 데이터에 적용하면 이렇게 됩니다. pew.txt는 religion 한 열을 빼면 나머지 열 이름(<$10k, $10-20k…)이 전부 "소득 구간"이라는 변수의 값입니다. 즉 열 이름 자리에 데이터가 앉아 있는 거죠. religion만 식별 열로 고정하고 melt하면 tidy해집니다.

pew = pd.read_csv("pew.txt", sep="\t")
print(pew.shape)              # (18, 11)  ← 18개 종교 × 10개 소득열 + religion

tidy = pew.melt(id_vars="religion",
                # 나머지 소득 열 전부를 녹인다
                var_name="income", value_name="frequency")
print(tidy.shape)             # (180, 3)  ← 18 × 10 = 180 행으로 길어짐
print(tidy.head(4))
#            religion income  frequency
# 0          Agnostic  <$10k         27
# 1           Atheist  <$10k         12
# 2          Buddhist  <$10k         27
# 3          Catholic  <$10k        418

재밌는 지점 하나. 위컴은 R 사람이라 논문에서는 reshape2::melt를 썼고, 지금 그의 후속 도구 tidyr에서는 pivot_longer()가 이 역할을 합니다. 그런데 tidyr 공식 문서의 대표 예제가 바로 이 Pew 데이터(relig_income)예요. 강의 데이터와 공식 문서 예제가 같은 데이터인 셈입니다. (출처: tidyr::pivot_longer)

# R tidyr 공식 예제 — 완전히 같은 데이터, 같은 결과 (18×11 → 180×3)
relig_income |> pivot_longer(!religion, names_to = "income", values_to = "count")

항목	pandas 공식 예제	강의 데이터(pew) 적용	차이 · 이유
식별 열	id_vars=["A"]	id_vars="religion"	고정할 변수 지정 — 개념 동일
녹일 열	value_vars=["B","C"] 명시	생략(나머지 전부 자동)	열이 10개라 일일이 안 씀 — 생략 시 id 외 전부
결과 열 이름	variable/value 기본값	income/frequency	의미가 드러나게 개명 — 실무 권장
모양 변화	3행 → 6행	18행 → 180행	둘 다 wide→long, 원리 동일

💡 var_name·value_name을 "variable"/"value" 기본값으로 두지 말고 꼭 의미 있는 이름으로 바꾸세요. 6개월 뒤의 내가 value가 빈도인지 금액인지 몰라 헤맵니다.

🔗 어디에 쓰나 — 설문·통계청·엑셀에서 받은 "가로로 긴 요약표"를 분석용으로 바꿀 때 1순위 도구입니다. 연도별·월별 열이 옆으로 쭉 늘어선 매출표를 시계열 분석용으로 펴는 것도 정확히 이 패턴입니다.

→ melt로 폈더니 이번엔 열 이름 하나에 변수가 두 개 뭉쳐 있는 경우가 나옵니다.

5. split — 한 열에 변수가 두 개일 때 (결핵 데이터)

지도의 ②번 칸입니다. melt를 하고 나면 variable 열의 값이 사실은 여러 정보를 합쳐 놓은 코드인 경우가 잦습니다. 강의의 tb.csv(WHO 결핵 통계)가 전형적이에요. 열 이름이 new_sp_m1524 같은데, 여기엔 성별(m)과 나이대(15–24세)가 한 덩어리로 붙어 있습니다.

split (쪼개다): 한 문자열을 구분 규칙에 따라 여러 조각으로 나누는 것 — 여기서는 뭉친 열 이름을 성별·나이대 두 변수로 분리.

tidy 원칙 1번("한 변수 = 한 열")을 정면으로 어긴 상태라, 붙어 있는 걸 떼어 각자 열을 주는 게 목표입니다.

공식 문서는 이렇게 설명합니다. pandas Series.str.split은 expand=True를 주면 쪼갠 조각들이 여러 개의 열로 펼쳐진다고 명시합니다(부족한 칸은 NaN으로 채움). (출처: pandas.Series.str.split)

# pandas 공식 문서 예제 — expand=True 는 조각을 '열'로 펼친다
s = pd.Series(["this is a regular sentence", ...])
s.str.split(expand=True)
#        0    1    2        3         4
# 0   this   is    a  regular  sentence   ← 공백 기준으로 5개 열 생성

강의 데이터에 적용하면 이렇게 됩니다. tb.csv는 구분자가 없이 m1524처럼 딱 붙어 있어서, 공식 예제처럼 구분자 split이 아니라 위치 기반 슬라이싱이 더 깔끔합니다(첫 글자=성별, 나머지=나이대). 도구는 .str[...]로 살짝 바꾸되, "한 열의 뭉친 정보를 두 변수로 떼어낸다"는 목적은 공식 예제와 완전히 같습니다.

tb = pd.read_csv("tb.csv")
m  = tb.melt(id_vars=["iso2","year"],
             var_name="column", value_name="cases").dropna()

# "new_sp_m1524" → 접두어 떼고 → 첫 글자=성별, 나머지=나이대
demo    = m["column"].str.replace("new_sp_", "", regex=False)
m["sex"] = demo.str[0]      # 'm' 또는 'f'
m["age"] = demo.str[1:]     # '1524', '014' …

print(m[["iso2","year","sex","age","cases"]].head(3))
# iso2  year sex  age  cases
#   AE  1999   m  014    4.0     ← 성별·나이대가 각자의 열로 분리됨
#   AE  2000   m  014    2.0
#   AE  2002   m  014    1.0

R 쪽에서는 위컴이 이걸 아예 한 함수로 흡수했습니다. pivot_longer(names_to = c("sex","age"), names_sep = ...)처럼 펴면서 동시에 쪼개기가 됩니다 — melt와 split이 한 스텝으로 합쳐진 셈입니다. (출처: tidyr::pivot_longer, names_sep/names_to)

항목	pandas 공식 예제	강의 데이터(tb) 적용	차이 · 이유
도구	str.split(expand=True)	str[0] / str[1:] 슬라이싱	구분자가 없어 위치로 자름 — 목적은 동일
결과	공백마다 N개 열	sex, age 2개 열	쪼갠 뒤 각자 열이 되는 원리 같음
선행 단계	없음	먼저 melt 필요	열 이름이 값이자 뭉친 변수 — ①+② 복합

⚠️ 결핵 데이터에는 값이 0인 칸과 결측(NaN)인 칸이 섞여 있습니다. 논문도 짚듯 이 둘은 의미가 달라요("0건 확인"과 "조사 안 함"). dropna()로 결측만 걸러내되, 0을 결측과 뭉뚱그려 지우지 않도록 주의하세요.

🔗 어디에 쓰나 — 로그·센서·설문 필드에서 2026-08-31_seoul_temp처럼 날짜·지역·측정값이 한 컬럼명/문자열에 뭉쳐 오는 경우가 흔합니다. 이걸 각 변수 열로 떼어야 필터·집계가 됩니다.

→ 마지막, 변수가 행에도 있고 열에도 있어 melt만으로는 안 되는 가장 까다로운 경우입니다.

6. pivot — 값이 행·열 양쪽에 흩어졌을 때 (기상 데이터)

지도의 ③번, 논문이 "가장 복잡한 형태"라고 부른 유형입니다. 강의의 weather.txt(멕시코 기상관측소 일별 기온)가 그렇습니다. 날짜는 d1~d31 열로 가로로 흩어져 있고, 동시에 최고기온·최저기온이 element 열 안에서 TMAX/TMIN 행으로 흩어져 있어요. 한 방향은 melt로 펴야 하고, 다른 방향은 다시 접어야 합니다.

pivot (돌려 세우다 / cast): 한 열에 쌓여 있던 값을 여러 열로 펼쳐 세우는 변형 — melt의 반대. 논문 용어로는 cast.

melt가 열을 녹여 아래로 쌓았다면, pivot은 그 쌓인 걸 다시 옆으로 세웁니다. 여기서는 TMAX/TMIN이 서로 다른 변수인데 한 열에 값으로 눌려 있으니, 각자의 열로 세워 올려야 tidy해집니다.

공식 문서는 이렇게 설명합니다. pandas pivot_table은 index(행이 될 키), columns(열로 펼칠 키), values(칸을 채울 값)로 long 데이터를 wide로 재구성한다고 정의합니다. (출처: pandas.pivot_table)

# pandas 공식 문서 예제 — long을 index/columns/values로 세운다
pd.pivot_table(df, values=["D","E"], index=["A","C"], aggfunc="mean")
# A,C 조합이 행이 되고, D·E가 열이 되어 값이 채워짐

강의 데이터에 적용하면 이렇게 됩니다. 2단계예요. ① 먼저 d1~d31을 melt로 펴서 day 열을 만들고(가로 흩어짐 해결), ② 그다음 element(TMAX/TMIN)를 pivot으로 세워 두 개의 열로 올립니다(세로 흩어짐 해결).

w = pd.read_csv("weather.txt", sep="\t")

# ① melt: 날짜 열 d1~d31 을 'day' 한 열로 편다
long = w.melt(id_vars=["id","year","month","element"],
             var_name="day", value_name="value").dropna()
long["day"] = long["day"].str.replace("d","",regex=False).astype(int)
# 이 시점: element(TMAX/TMIN)가 아직 '값'으로 한 열에 눌려 있음 → 아직 안 tidy

# ② pivot: element 를 열로 세운다 (TMAX, TMIN 각자 열로)
wide = long.pivot_table(index=["id","year","month","day"],
                        columns="element", values="value").reset_index()
print(wide.head(3))
#            id  year  month  day   TMAX   TMIN
# MX000017004  2010      1   30  278.0  145.0   ← 하루 = 한 행, 기온 = 각 열
# MX000017004  2010      2    2  273.0  144.0   (값은 0.1℃ 단위: 278 = 27.8℃)
# MX000017004  2010      2    3  241.0  144.0

포인트는 element 열이 변수가 아니라 변수 이름을 담은 열이었다는 겁니다. TMAX와 TMIN은 서로 다른 측정량이니 각자 열이어야 맞습니다. pivot으로 세우고 나면 "하루 = 한 행, 최고·최저기온 = 각 열"이라는 tidy 형태가 완성됩니다. R에서는 이 반대 방향을 pivot_wider()가 맡습니다.

항목	pandas 공식 예제	강의 데이터(weather) 적용	차이 · 이유
행 키	index=["A","C"]	index=[id,year,month,day]	관측치를 식별하는 키 — 개념 동일
펼칠 키	columns 미사용(예제)	columns="element"	TMAX/TMIN을 열로 세우는 게 핵심
선행 단계	없음	melt 먼저	가로·세로 양쪽 흩어짐이라 melt+pivot 2단
방향	long → wide	long → wide	melt의 역연산 — 원리 동일

💡 pivot vs pivot_table: 같은 (행,열) 조합에 값이 하나뿐이면 pivot, 여러 개라 집계(mean·sum 등)가 필요하면 pivot_table을 씁니다. 중복 키에서 pivot은 에러, pivot_table은 aggfunc로 뭉갭니다.

🔗 어디에 쓰나 — "long으로 저장, wide로 표현"이 실무 공식입니다. DB·수집은 tidy(long)로 쌓아두고, 리포트 피벗테이블이나 상관행렬·히트맵을 그릴 때만 pivot으로 잠깐 wide로 세웁니다.

→ 세 도구를 한 장으로 정리하고 닫겠습니다.

치트시트 & 핵심 4가지

증상 (지저분한 유형)	도구	pandas 패턴
열 이름이 사실은 값 (wide)	melt	df.melt(id_vars=..., var_name=..., value_name=...)
한 열에 변수가 여러 개	split	s.str.split(sep, expand=True) / s.str[a:b]
값이 행·열 양쪽에 흩어짐	pivot	df.pivot_table(index=..., columns=..., values=...)
(참고) long→wide 되돌리기	pivot	melt의 역연산 — R은 pivot_wider()

📌 핵심 4가지
1. Tidy = 변수는 열, 관측치는 행, 관측단위는 표 (Wickham 3원칙 = DB 제3정규형).
2. 사람이 보기 좋은 표(wide)와 기계가 다루기 좋은 표(long)는 다르다 — 분석은 long이 기본.
3. 지저분함은 대부분 열이름=값 / 한 열에 여러 변수 / 행·열 양쪽 흩어짐으로 수렴한다.
4. 고치는 도구는 melt(펴기) · split(쪼개기) · pivot(세우기) 셋이면 충분하다.

💡 강의의 다른 명언도 같은 이야기입니다 — "데이터 분석의 80%는 데이터 청소와 준비에 쓰인다"(Dasu & Johnson, 위컴 논문 서두 인용). tidy 구조를 처음에 잡아두면 그 80%가 훨씬 가벼워집니다.

참고 자료

• Hadley Wickham, Tidy Data — Journal of Statistical Software (tidy 3원칙 §2.3, 5대 유형 §3의 원전)
• pandas 공식 문서 — melt · pivot_table · Series.str.split
• tidyr(R, Wickham) 공식 문서 — pivot_longer (melt/split의 후속, relig_income 예제)
• 데이터 출처: 강의 첨부 tidy-data-master/data (pew·tb·weather — WHO·Pew·GHCN 원자료)