sejong.jeonjo@gmail.com

작성일: 2024년 12월 10일

Segmentation fault (core dumped)

분명 process가 segmentation fault 상황에서 core file이 dump되어야 하는데, 어디에도 core file이 없는 경우가 있다.

이럴 때는 coredump와 관련한 설정이 안 되어 있는 것이니까, 아래의 내용을 보고 coredump 관련 설정이 잘 되어 있는지 다시 확인해봐야 한다.

core dump file의 size 제한 설정이 있는지 확인

너무 큰 core dump file이 생성되는 부작용을 막기 위해 core file size limit 설정이 존재한다.

(2020년대 이후로는 SSD, HDD가 충분히 커서 이런 core file size limit이 유용한지 모르겠다.)

core file이 수십개가 dump되어도 문제 없을만큼 storage가 크다면, unlimit 설정값으로 바꾸는 것을 권장한다.

## 현재 설정값 확인하는 명령.
$ ulimit -a
real-time non-blocking time  (microseconds, -R) unlimited
core file size              (blocks, -c) unlimited
data seg size               (kbytes, -d) unlimited
... (내용 생략) ...

## core file size 제한을 푸는 명령 (무제한 크기로 변경)
$ ulimit -c unlimited

위와 같이 설정하면, 내 login shell 환경에만 즉시 적용되고  Linux 시스템 전체적으로는 아직도 옛날 core file size가 적용된다.

따라서 Linux 시스템 전체에 설정 값을 적용하려면 아래와 같이 limits.conf 파일을 수정해야 한다.

$  cat  /etc/security/limits.conf
(... 중간 내용 생략 ...)
*      soft    core      unlimited
(... 중간 내용 생략 ...)

core file 이름 패턴 및 경로 설정

core file이 어느 폴더에 저장되고, 어떤 이름으로 저장될지 설정해야 한다.

$ cat /proc/sys/kernel/core_pattern
/tmp/core.%e.%p.%h.%t

각 설정값이 의미하는 것은 이렇다.

• %e   프로그램 이름 (실행 binary file name)
• %p   Process ID (예: 3453)
• %h   Host name (예: mynode)
• %t    core file dump된 시각 

위와 같이 설정하면, 아래와 같이 실제로 core file이 /tmp 폴더에 dump된다.

$ ls /tmp/core.*
/tmp/core.myapp.104618.mynode.1733790395

위 파일 이름에 포함된 "1733790395" 값은 Unix time(또는 epoch time)라고 한다.

이 epoch time을 우리 눈에 익숙한 포맷으로 바꾸려면 아래와 같이 명령을 수행하면 된다.

## Timezone 설정이 UTC이면, 아래와 같이 출력 
$ date -d @1733790395
Tue 10 Dec 00:26:35 UTC 2024

## Timezone 설정이 Asia/Seoul이면, 아래와 같이 출력
$ date -d @1733790395
Tue Dec 10 09:26:35 KST 2024

epoch time 및 date 포맷 변경에 관한 자세한 내용은 아래 블로그 글을 참고

https://andrewpage.tistory.com/193

작성일: 2024년 12월 10일

대화형 방식으로 gdb 명령 사용하기 (interactive mode)

## 현재 실행중인 프로세스 '1234'에 attach하기 위해 아래와 같이 명령을 실행
$ gdb -p 1234

## 프로세스 '1234'의 모든 thread 목록을 출력
$ info thread
... ( 출력 내용 생략 ) ...
... 모든 쓰레드 정보가 출력됨 ...

## 전체 thread 중에서 thread '5'의 정보를 보기
$ thread 5

## thread '5'의 backtrace 정보를 출력
$ bt

batch 방식으로 gdb 명령 사용하기 (non-interactive mode)

gdb 명령을 batch 방식으로 사용할 수 있다. 

아래 예제처럼 2개의 gdb 내부 명령을 사용하고자 할 때는 '-ex' 옵션을 2번 사용하면 된다.

이렇게 하면, -ex 옵션 순서에 따라(즉, 왼쪽에서 오른쪽으로 순서에 따라) 명령이 차례대로 수행된다. 

$ gdb -batch -ex "info thread" -ex "thread apply all bt" -p 1234

위 예제의 경우,

  - 전체 thread list를 출력하고,

  - 각 thread의 call stack을 출력한다.

C언어로 Multi thread 구조를 만들다보면 자연스럽게 사용하게 되는 mutex lock과 conditional variable에 관한 예지이다.

#include "sys/time.h"
#include "sys/types.h"
#include <sys/poll.h>
#include <pthread.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>

#define   ITER  30

int                 g_data[ITER];

pthread_cond_t      cond[ITER];
pthread_mutex_t     mutex[ITER];


void* producer(void *data){
    int  rc;
    int  idx = 0;

    while (1) {
        int idx_mod = idx % ITER;
        rc = pthread_mutex_lock(&mutex[idx_mod]);
        g_data[idx_mod] = idx;
#ifdef __STDOUT_PRINT__
        printf("producer.data: %d\n", g_data[idx_mod]);
        fflush(NULL);
#endif
        rc = pthread_cond_signal(&cond[idx_mod]);
        rc = pthread_mutex_unlock(&mutex[idx_mod]);
        poll(0, 0, 1);
        idx++;
    }
}


void* consumer(void *data){
    int  rc;
    int  my_thr_idx = *(int *)data;

    printf("consumer thread idx: %d\n", my_thr_idx);

    while (1) {
        rc = pthread_mutex_lock(&mutex[my_thr_idx]);
        rc = pthread_cond_wait(&cond[my_thr_idx], &mutex[my_thr_idx]);
#ifdef __STDOUT_PRINT__
        printf("comsumer[%d].data: %d\n\n", my_thr_idx, g_data[my_thr_idx]);
        fflush(NULL);
#endif
        rc = pthread_mutex_unlock(&mutex[my_thr_idx]);
    }
}

int main()
{
    //
    // producer thread
    //
    pthread_t    thr_id_prod;
    if (pthread_create(&thr_id_prod, NULL, producer, NULL) != 0) {
        printf("thread create error(%d, %s)\n", errno, strerror(errno));
        return 0;
    }

    poll(0, 0, 1000);

    //
    // consumer thread
    //
    pthread_t    thr_id_cons[ITER];
    int          new_idx[ITER];
    for (int idx=0; idx<ITER; idx++) {
        new_idx[idx] = idx;
        pthread_mutex_init(&mutex[idx], NULL);
        pthread_cond_init(&cond[idx], NULL);
        if (pthread_create(&thr_id_cons[idx], NULL, consumer, (void *) &new_idx[idx]) != 0) {
            printf("thread create error(%d, %s)\n", errno, strerror(errno));
            return 0;
        }
    }

    int status;
    for (int idx=0; idx<ITER; idx++) {
        pthread_join(thr_id_cons[idx], (void **)&status);
    }

    return 0;
}

위와 같이 코드를 작성하고, gcc compiler로 실행 파일을 만든다.

$ gcc -D__STDOUT_PRINT__ main.c -o my_test_app

$ ./my_test_app