대용량 파일 처리

Python code

from pathlib import Path
import io

# 줄 단위 읽기 (메모리 효율적)
def count_lines(filepath: str) -> int:
    count = 0
    with open(filepath, "r", encoding="utf-8") as f:
        for _ in f:  # 한 줄씩 읽음
            count += 1
    return count

# 청크 단위 읽기 (바이너리)
def process_large_file(filepath: str, chunk_size: int = 8192):
    total_bytes = 0
    with open(filepath, "rb") as f:
        while chunk := f.read(chunk_size):
            total_bytes += len(chunk)
    return total_bytes

# 제너레이터로 CSV 처리
def read_csv_lazy(filepath: str):
    with open(filepath, "r", encoding="utf-8") as f:
        header = next(f).strip().split(",")
        for line in f:
            values = line.strip().split(",")
            yield dict(zip(header, values))

# 메모리 효율적 변환
def transform_file(src: str, dst: str):
    with open(src, "r") as fin, open(dst, "w") as fout:
        for line in fin:
            fout.write(line.upper())

# StringIO: 메모리 내 파일 객체
buffer = io.StringIO()
buffer.write("Hello\nWorld\n")
buffer.seek(0)
for line in buffer:
    print(f"  메모리 파일: {line.strip()}")

print("대용량 파일 처리 패턴 준비 완료")