C언어로 파싱하기

싱싱한 파. Credit: https://www.adaptiveseeds.com/product/vegetables/onions/green-onions-white-spear-organic/

이번 크래프톤 정글 8주차에서 web proxy lab 과제를 수행하면서 C언어로 HTTP 요청과 응답을 파싱해야 했습니다. 다른 언어에서는 라이브러리 한 줄이면 끝날 작업들이 C에서는 왜 이리 어렵고, 버그는 왜 이리 자주 나타나는지 절실히 깨달았습니다. 아마 많은 분들이 비슷한 경험을 하셨거나, 앞으로 겪게 되시리라 생각합니다.

그래서 오늘은 C언어에서의 파싱 작업이 왜 유독 까다로운지, 그리고 이 문제를 어떻게 헤쳐나갈 수 있을지에 대한 제 경험과 팁을 공유하고자 합니다.

---

C언어 파싱, 왜 이렇게 어려운 걸까요?

1. '맨손으로 절벽 타기' - 낮은 수준의 문자열 처리: C는 본질적으로 메모리에 직접 공간을 내고, 그 공간을 참조, 연산, 저장하는 것이 전부입니다. 물론 직접 한다는 그 자체가 강력하지만, 이외의 것들까지 직접 해야 한다는 점이 문제입니다. Python의 split(), strip(), Java의 String.split() 같은 고수준 라이브러리/함수는 없습니다. 마치 맨손으로 절벽을 타는 느낌이지요.
2. 자꾸 잊혀지는 Null 문자: C 문자열의 끝에는 항상 Null 문자(`\0`)가 붙어야만 합니다. 파싱 과정에서 이를 제대로 처리하지 않으면 문자열의 끝을 인식하지 못해 segmentation fault까지 야기합니다. strncpy 같은 함수는 Null 문자를 보장하지 않아 특히 주의해야 합니다.
3. 메모리 관리 & 오류 처리: 문자열을 저장할 버퍼의 크기도 신경 써야 합니다. 파싱 결과가 버퍼 크기를 넘어서면 버퍼 오버플로가 발생하고, 이는 오류나 취약점으로 이어집니다. C로 짠 프로그램에는 관리란 게 없습니다. 그저 돌다가 규칙을 어기면 OS에 의해 종료당할 뿐입니다... OS가 있다면요.

도대체 어디서부터 봐야 될지 모르겠는 바로 그 공포의 쓴맛, Segmentation fault

---

험난한 C 파싱, 그래도 길은 있다

이런 어려움에도 불구하고, 몇 가지 핵심 전략과 유용한 도구들이 있으니, 한번 고려해 볼만하겠습니다.

1. 파싱 대상 명확히 이해: 가장 먼저 파싱할 데이터의 형식을 완벽하게 이해해야 합니다. HTTP 메시지라면 RFC 문서를, 특정 파일 형식이라면 그 명세를 숙지해야 합니다. 어떤 구분자(delimiter)를 사용하는지, 각 필드의 최대 길이는 얼마인지, 어떤 순서로 나타나는지 등을 파악하는 것이 첫걸음입니다.
2. 표준 라이브러리 활용: C 표준 라이브러리는 생각보다 (네, 어디까지나 '생각보다') 유용한 파싱 도구를 제공합니다.
   • string.h 계열:
     • strstr(const char *haystack, const char *needle): 문자열 내에서 특정 부분 문자열(needle)을 찾습니다. HTTP 헤더에서 특정 필드명("Host:", "Content-Length:")을 찾는 데 유용합니다.
     • strchr(const char *s, int c) / strrchr(const char *s, int c): 문자열에서 특정 문자(c)를 앞에서부터/뒤에서부터 찾습니다. 구분자를 찾을 때 사용합니다.
     • strncmp(const char *s1, const char *s2, size_t n): 두 문자열을 n바이트만큼 비교합니다. 특정 키워드로 시작하는지 확인할 때 안전하게 사용할 수 있습니다.
     • strtok_r(char *str, const char *delim, char **saveptr): 문자열을 구분자(delim) 기준으로 토큰화합니다. 원본 문자열을 변경하고, 스레드 환경에서는 strtok 대신 strtok_r을 사용해야 안전합니다.
     • memcpy(void *dest, const void *src, size_t n) / strncpy(char *dest, const char *src, size_t n): 파싱된 부분을 다른 버퍼로 복사할 때 사용합니다. strncpy는 Null 종료를 보장하지 않으므로, 수동으로 Null 문자를 추가하거나 dest[n-1] = '\0' 처리를 해줘야 할 때가 많습니다.
   • stdio.h 계열:
     • sscanf(const char *str, const char *format, ...): 문자열에서 형식화된 입력을 읽어옵니다. "Key: Value" 형태에서 정수 값을 읽거나, 특정 패턴의 문자열을 추출할 때 유용하지만, 버퍼 오버플로에 주의해야 합니다. (예: %s 대신 %10s처럼 너비 지정)
   • stdlib.h 계열:
     • strtol(const char *nptr, char **endptr, int base) / strtod(const char *nptr, char **endptr): 문자열을 정수(long)나 실수(double)로 변환합니다. atoi, atof보다 오류 검사(변환 불가능한 문자, 오버플로 등)에 용이하여 안전합니다. endptr을 통해 변환이 끝난 위치를 알 수 있습니다.
3. 포인터와 반복문으로 직접 (character-by-character) 파싱: 복잡한 규칙이나 상태(state)를 가져야 하는 파싱의 경우, 직접 포인터를 이동시키며 문자 단위로 검사하는 것이 효과적입니다.
   • HTTP 헤더를 한 줄씩 읽거나(\r\n 찾기), 특정 구분자 사이의 값을 추출할 때 유용합니다.
   • 상태 변수를 두어 현재 파싱 상태(예: 키를 읽는 중, 값을 읽는 중)를 관리하면 복잡한 로직도 구현할 수 있습니다.

   // 예시: ':' 문자를 찾아 key와 value를 구분하는 단순 로직
   char buffer[MAXLINE]; // 파싱할 한 줄이 담겨있다고 가정
   char *key_ptr = buffer;
   char *value_ptr = NULL;
   char *colon_ptr = strchr(buffer, ':');
   
   if (colon_ptr != NULL) {
       *colon_ptr = '\0'; // key 부분을 Null로 종료
       value_ptr = colon_ptr + 1; // ':' 다음부터 value 시작
   
       // value 앞 공백 제거 (선택적)
       while (*value_ptr == ' ' || *value_ptr == '\t') {
           value_ptr++;
       }
       // 이제 key_ptr과 value_ptr을 사용
       printf("Key: %s, Value: %s\n", key_ptr, value_ptr);
   }

4. 버퍼 관리, 안전 또 안전:
   • 항상 버퍼의 크기를 인지하고, 읽거나 쓸 데이터가 버퍼를 넘지 않도록 경계 검사를 철저히 합니다. 가령 sprintf 대신 snprintf를 사용하여 출력 길이를 제한합니다.
   • 파싱된 문자열을 저장할 때는 항상 Null 문자를 위한 공간을 추가로 확보하고, 복사 후 Null 문자를 명시적으로 넣어주는 습관을 들입니다. 가령 "CAT"라는 문자열을 담기 위한 크기는, 3이 아니라 4입니다. CAT 끝에 `\0`이 들어가니까요.
5. 꼼꼼한 디버깅 & 로깅:
   • 함수가 실패할 수 있는 모든 지점에서 반환 값을 확인하고, 오류 상황에 대처합니다. (예: strstr가 NULL을 반환하는 경우)
   • errno를 확인하여 시스템 콜 오류의 원인을 파악합니다.
   • gcc로 컴파일 시 -g를, 그리고 gdb로 디버그합니다. gdb에는 backtrace, frame <번호>, print <변수> 등 생각보다 (네, 역시나 어디까지나 '생각보다') 단서가 되어줄 만한 기능들이 있습니다.

gcc -g -o my_program my_program.c // -g 옵션을 통해 디버그용 정보 생성

gdb ./my_program
(gdb) run          # 프로그램 실행
... (세그폴트 발생) ...
(gdb) backtrace    # 또는 bt. 콜 스택을 보여주어 어디서 오류가 났는지 확인
(gdb) frame <번호> # 특정 스택 프레임으로 이동
(gdb) print <변수> # 변수 값 확인
(gdb) x/ <포맷> <주소> # 특정 메모리 주소의 내용 확인 (예: x/10wx 0x...)

---

C언어에서 써보는 정규표현식

https://github.com/PCRE2Project/pcre2

GitHub - PCRE2Project/pcre2: PCRE2 development is based here.

C에서도 정규표현식을 활용할 수 있다면 어마어마한 도움이 될 것입니다. 표준 라이브러리에 없다는 게 문제이지요. 이럴 때 사용할 수 있는 것이 바로 PCRE2(Perl Compatible Regular Expressions version 2)입니다. 셸에 Ubuntu 기준으로 아래와 같이 입력하여 PCRE2 라이브러리를 설치합니다.

sudo apt install libpcre2-dev

컴파일할 때는 아래와 같이 -lpcre2-8 옵션을 붙입니다.

gcc ./regex1.c -o regex1 -lpcre2-8

사용되는 헤더 파일 및 예시 코드에 대해서는, 아래 실전 예시 2를 참고하여 주시면 감사하겠습니다.

---

실전 예시 1: 범용 문자열 숫자 파싱

아래 예제는 "12345", "3.14" 같은 char[]을 입력받아 이를 int 또는 double로 변환합니다.

#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <limits.h>
#include <float.h>

/**
 * 문자열을 정수(int)로 변환
 * 실패 시 0 반환 + 오류 메시지 출력
 */
int parse_int(const char *str, int *result) {
    char *endptr;
    long val;

    errno = 0; // 오류 플래그 초기화
    val = strtol(str, &endptr, 10);

    // 오류 체크
    if (errno == ERANGE || val < INT_MIN || val > INT_MAX) {
        fprintf(stderr, "parse_int: out of range\n");
        return 0;
    }
    if (endptr == str || *endptr != '\0') {
        fprintf(stderr, "parse_int: invalid input '%s'\n", str);
        return 0;
    }

    *result = (int)val;
    return 1;
}

/**
 * 문자열을 실수(double)로 변환
 * 실패 시 0 반환 + 오류 메시지 출력
 */
int parse_double(const char *str, double *result) {
    char *endptr;
    double val;

    errno = 0;
    val = strtod(str, &endptr);

    if (errno == ERANGE || val < -DBL_MAX || val > DBL_MAX) {
        fprintf(stderr, "parse_double: out of range\n");
        return 0;
    }
    if (endptr == str || *endptr != '\0') {
        fprintf(stderr, "parse_double: invalid input '%s'\n", str);
        return 0;
    }

    *result = val;
    return 1;
}

int main() {
    const char *int_str = "12345";
    const char *double_str = "3.14159";
    const char *bad_str = "42abc";

    int i;
    double d;

    if (parse_int(int_str, &i))
        printf("Parsed int: %d\n", i);

    if (parse_double(double_str, &d))
        printf("Parsed double: %f\n", d);

    // 실패 예시
    parse_int(bad_str, &i);
    parse_double(bad_str, &d);

    return 0;
}

위 예시는 기본적인 아이디어만 다루며, 실제 HTTP 파서라면 \r\n 처리, 대소문자 무시 비교 (헤더 필드명), 값의 인코딩 처리 등 아예 RFC대로 구현하는 수준이 되어야 할 것입니다.

---

실전 예시 2: HTTP 헤더 파싱 (PCRE2 활용)

PCRE2는 특히 복잡한 문자열 파싱이 요구될 때 그 빛을 발합니다. 아래는 GET http://google.com/webhp?hl=ko HTTP/1.1 같은 HTTP request 한 줄을 PCRE2로 파싱하는 예제입니다.

• HTTP Method → GET
• Origin hostname → google.com
• Port (없으면 default 80) → 80
• Path → /webhp?hl=ko
• HTTP Version → HTTP/1.1

이때 필요한 정규표현식은 ^([A-Z]+)\s+http://([^/:]+)(?::(\d+))?(/[^ ]*)\s+(HTTP/\d(?:\.\d)?)입니다.

정규표현식 그룹 번호	설명	예시 값
1 ([A-Z]+)	HTTP Method	GET
2 ([^\/:]+)	Hostname	google.com
3 (\d+)	Port	- (→ 정규표현식 파싱 후 C 코드로 80을 지정)
4 (/[^ ]*)	Path	/webhp?hl=ko
5 (HTTP/\d(?:\.\d)?)	HTTP Version	HTTP/1.1

#define PCRE2_CODE_UNIT_WIDTH 8
#include <pcre2.h>
#include <stdio.h>
#include <string.h>
#include <stdlib.h>

int main() {
    PCRE2_SPTR pattern = (PCRE2_SPTR)"^([A-Z]+)\\s+http://([^/:]+)(?::(\\d+))?(/[^ ]*)\\s+(HTTP/\\d\\.\\d)";
    PCRE2_SPTR subject = (PCRE2_SPTR)"GET http://google.com/webhp?hl=ko HTTP/1.1";

    int errornumber;
    PCRE2_SIZE erroroffset;
    pcre2_code *re = pcre2_compile(
        pattern, PCRE2_ZERO_TERMINATED, 0,
        &errornumber, &erroroffset, NULL);

    if (re == NULL) {
        PCRE2_UCHAR buffer[256];
        pcre2_get_error_message(errornumber, buffer, sizeof(buffer));
        printf("Regex compile error at offset %d: %s\n", (int)erroroffset, buffer);
        return 1;
    }

    pcre2_match_data *match_data = pcre2_match_data_create_from_pattern(re, NULL);
    int rc = pcre2_match(
        re, subject, strlen((char *)subject),
        0, 0, match_data, NULL);

    if (rc < 0) {
        printf("Match failed\n");
        pcre2_match_data_free(match_data);
        pcre2_code_free(re);
        return 1;
    }

    PCRE2_SIZE *ovector = pcre2_get_ovector_pointer(match_data);
    char buffer[256];

    const char *labels[] = {"Method", "Host", "Port", "Path", "Version"};

    for (int i = 1; i <= 5; i++) {
        PCRE2_SIZE start = ovector[2 * i];
        PCRE2_SIZE end = ovector[2 * i + 1];
        size_t len = end - start;
        strncpy(buffer, (char *)subject + start, len);
        buffer[len] = '\0';
        printf("%s: %s\n", labels[i - 1], buffer);
    }

    // 예외처리: 포트가 없으면 80으로 기본값 처리
    if (ovector[6] == ovector[7]) {
        printf("Port (default): 80\n");
    }

    pcre2_match_data_free(match_data);
    pcre2_code_free(re);
    return 0;
}

실행 결과는 아래와 같습니다.

 

정규표현식을 활용할 때 추천 드리는 웹사이트입니다. 여기서는 정규표현식을 테스트할 수 있습니다. https://regex101.com/

regex101: build, test, and debug regex

참고로 regex101.com과 C에서 이스케이프 문자를 처리하는 방식은 거꾸로이니, 이를 알고 사용하시면 좋겠습니다.

---

마치며

파싱 자체도 쉽지 않지만, 그걸 C로 한다는 것은 여러모로 난해한 일입니다. 하지만 이 또한 메모리 관리, 포인터, 문자열 처리와 함께 외부 라이브러리까지 사용해보는 새로운 계기가 될 것입니다. 저의 경험이 여러분에게도 조금이나마 도움이 되었기를 바랍니다.