DEVOPS와 SE를 위한 리눅스 커널 이야기
책 소개
커널은 오랜 세월 기능이 추가되고 개선되어 오면서 완벽하게 이해하기 힘들 정도로 방대해졌다. 하지만 변하지 않는 기본 기능들이 있다. 이런 근간이 되는 기능에 대한 이해를 바탕으로 시스템의 문제를 파악하고 해결하는 것이 시스템 엔지니어링의 기본이라 할 수 있다.
이 책은 리눅스 서버를 관리할 때 만날 수 있는 문제점들과 이를 해결하는 방법을 제시하고 있다. 저자는 현업에서 경험한 다양한 상황과 문제를 바탕으로 하드웨어 정보를 알아내는 데 유용한 명령어, 정보를 해석하는 방법, 애플리케이션 테스트와 튜닝까지 실무에서 궁금할 법한 내용을 설명한다.
[이 책에서 다루는 내용들]
시스템 구성 정보 확인하기
top 명령으로 프로세스 정보 확인하기
Load Average로 시스템 부하 확인하기
swap과 메모리 증설의 연관 관계
NUMA 아키텍처와 메모리 관리
TCP Keepalive로 종단 간 연결 유지하기
TIME_WAIT 소켓이 서비스에 미치는 영향
작가 소개
저자 : 강진우
글쓰기를 좋아하고 새로운 기술 익히는 것을 좋아하는, 아직도 갈 길이 먼 시스템 엔지니어다. NBP를 거쳐 현재는 카카오에서 시스템 엔지니어로 근무하고 있다. 브런치를 통해서 사람들과 지식 공유하는 것을 즐긴다.
목 차
1장 시스템 구성 정보 확인하기
1.1 커널 정보 확인하기
1.2 CPU 정보 확인하기
1.3 메모리 정보 확인하기
1.4 디스크 정보 확인하기
1.5 네트워크 정보 확인하기
1.6 요약
2장 top을 통해 살펴보는 프로세스 정보들
2.1 시스템의 상태 살피기
2.2 VIRT, RES, SHR ..?
2.3 VIRT와 RES 그리고 Memory Commit의 개념
2.4 프로세스의 상태 보기
2.5 프로세스의 우선순위
2.6 요약
3장 Load Average와 시스템 부하
3.1 Load Average의 정의
3.2 Load Average 계산 과정
3.3 CPU Bound vs I/O Bound
3.4 vmstat으로 부하의 정체 확인하기
3.5 Load Average가 시스템에 끼치는 영향
3.6 Case Study - OS 버전과 Load Average
3.7 요약
4장 free 명령이 숨기고 있는 것들
4.1 메모리 사용량 확인하기
4.2 buffers와 cached 영역
4.3 /proc/meminfo 읽기
4.4 slab 메모리 영역
4.5 Case Study - Slab 메모리 누수
4.6 요약
5장 swap, 메모리 증설의 포인트
5.1 swap 영역
5.2 버디 시스템
5.3 메모리 재할당 과정
5.4 vm.swappiness와 vm.vfs_cache_pressure
5.5 메모리 증설의 포인트
5.6 Case Study - gdb를 이용해서 메모리 누수 잡기
5.7 요약
6장 NUMA, 메모리 관리의 새로운 세계
6.1 NUMA 아키텍처
6.2 리눅스에서의 NUMA 확인
6.3 메모리 할당 정책별 특징
6.4 numad를 이용한 메모리 할당 관리
6.5 vm.zone_reclaim_mode 커널 파라미터
6.6 NUMA 아키텍처의 메모리 할당 정책과 워크로드
6.7 요약
7장 TIME_WAIT 소켓이 서비스에 미치는 영향
7.1 TCP 통신 과정
7.2 TIME_WAIT 소켓의 문제점
7.3 클라이언트에서의 TIME_WAIT
7.4 net.ipv4.tcp_tw_reuse
7.5 ConnectionPool 방식 사용하기
7.6 서버 입장에서의 TIME_WAIT 소켓
7.7 net.ipv4.tcp_tw_recycle
7.8 keepalive 사용하기
7.9 TIME_WAIT 상태의 존재 이유
7.10 Case Study - nginx upstream에서 발생하는 TIME_WAIT
7.11 요약
8장 TCP Keepalive를 이용한 세션 유지
8.1 TCP Keepalive란
8.2 TCP Keepalive의 파라미터들
8.3 TCP Keepalive와 좀비 커넥션
8.4 TCP Keepalive와 HTTP Keepalive
8.5 Case Study - MQ 서버와 로드 밸런서
8.6 요약
9장 TCP 재전송과 타임아웃
9.1 TCP 재전송과 RTO
9.2 재전송을 결정하는 커널 파라미터
9.3 재전송 추적하기
9.4 RTO_MIN 값 변경하기
9.5 애플리케이션 타임아웃
9.6 요약
10장 dirty page가 I/O에 끼치는 영향
10.1 dirty page란
10.2 dirty page 관련 커널 파라미터
10.3 백그라운드 동기화
10.4 dirty page 설정과 I/O 패턴
10.5 요약
11장 I/O 작업이 지나가는 관문, I/O 스케줄러
11.1 I/O 스케줄러의 필요성
11.2 I/O 스케줄러 설정
11.3 cfq I/O 스케줄러
11.4 deadline I/O 스케줄러
11.5 noop I/O 스케줄러
11.6 cfq와 deadline의 성능 테스트
11.7 I/O 워크로드 살펴보기
11.8 요약
12장 애플리케이션 성능 측정과 튜닝
12.1 애플리케이션 만들기
12.2 성능 테스트 시작
12.3 CPU 성능 최적화하기
12.4. 네트워크 소켓 최적화하기
12.5 nginx를 통해 reverse proxy 설정하기
12.6. 요약
Appendix A 커널 디버깅을 위한 커널 컴파일
A.1 커널 소스 컴파일하기
A.2 printk() 함수 추가하기
A.3 printk() 함수로 Load Average 계산 과정 살펴보기
A.4 요약
Appendix B strace를 통한 애플리케이션 분석
B.1 strace의 기본 사용법
B.2 hostname 명령 분석하기
B.3 요약
Appendix C tcpdump와 와이어샤크를 통한 TCP 패킷 분석
C.1 tcpdump의 사용법
C.2 와이어샤크 사용법
C.3 요약
1.1 커널 정보 확인하기
1.2 CPU 정보 확인하기
1.3 메모리 정보 확인하기
1.4 디스크 정보 확인하기
1.5 네트워크 정보 확인하기
1.6 요약
2장 top을 통해 살펴보는 프로세스 정보들
2.1 시스템의 상태 살피기
2.2 VIRT, RES, SHR ..?
2.3 VIRT와 RES 그리고 Memory Commit의 개념
2.4 프로세스의 상태 보기
2.5 프로세스의 우선순위
2.6 요약
3장 Load Average와 시스템 부하
3.1 Load Average의 정의
3.2 Load Average 계산 과정
3.3 CPU Bound vs I/O Bound
3.4 vmstat으로 부하의 정체 확인하기
3.5 Load Average가 시스템에 끼치는 영향
3.6 Case Study - OS 버전과 Load Average
3.7 요약
4장 free 명령이 숨기고 있는 것들
4.1 메모리 사용량 확인하기
4.2 buffers와 cached 영역
4.3 /proc/meminfo 읽기
4.4 slab 메모리 영역
4.5 Case Study - Slab 메모리 누수
4.6 요약
5장 swap, 메모리 증설의 포인트
5.1 swap 영역
5.2 버디 시스템
5.3 메모리 재할당 과정
5.4 vm.swappiness와 vm.vfs_cache_pressure
5.5 메모리 증설의 포인트
5.6 Case Study - gdb를 이용해서 메모리 누수 잡기
5.7 요약
6장 NUMA, 메모리 관리의 새로운 세계
6.1 NUMA 아키텍처
6.2 리눅스에서의 NUMA 확인
6.3 메모리 할당 정책별 특징
6.4 numad를 이용한 메모리 할당 관리
6.5 vm.zone_reclaim_mode 커널 파라미터
6.6 NUMA 아키텍처의 메모리 할당 정책과 워크로드
6.7 요약
7장 TIME_WAIT 소켓이 서비스에 미치는 영향
7.1 TCP 통신 과정
7.2 TIME_WAIT 소켓의 문제점
7.3 클라이언트에서의 TIME_WAIT
7.4 net.ipv4.tcp_tw_reuse
7.5 ConnectionPool 방식 사용하기
7.6 서버 입장에서의 TIME_WAIT 소켓
7.7 net.ipv4.tcp_tw_recycle
7.8 keepalive 사용하기
7.9 TIME_WAIT 상태의 존재 이유
7.10 Case Study - nginx upstream에서 발생하는 TIME_WAIT
7.11 요약
8장 TCP Keepalive를 이용한 세션 유지
8.1 TCP Keepalive란
8.2 TCP Keepalive의 파라미터들
8.3 TCP Keepalive와 좀비 커넥션
8.4 TCP Keepalive와 HTTP Keepalive
8.5 Case Study - MQ 서버와 로드 밸런서
8.6 요약
9장 TCP 재전송과 타임아웃
9.1 TCP 재전송과 RTO
9.2 재전송을 결정하는 커널 파라미터
9.3 재전송 추적하기
9.4 RTO_MIN 값 변경하기
9.5 애플리케이션 타임아웃
9.6 요약
10장 dirty page가 I/O에 끼치는 영향
10.1 dirty page란
10.2 dirty page 관련 커널 파라미터
10.3 백그라운드 동기화
10.4 dirty page 설정과 I/O 패턴
10.5 요약
11장 I/O 작업이 지나가는 관문, I/O 스케줄러
11.1 I/O 스케줄러의 필요성
11.2 I/O 스케줄러 설정
11.3 cfq I/O 스케줄러
11.4 deadline I/O 스케줄러
11.5 noop I/O 스케줄러
11.6 cfq와 deadline의 성능 테스트
11.7 I/O 워크로드 살펴보기
11.8 요약
12장 애플리케이션 성능 측정과 튜닝
12.1 애플리케이션 만들기
12.2 성능 테스트 시작
12.3 CPU 성능 최적화하기
12.4. 네트워크 소켓 최적화하기
12.5 nginx를 통해 reverse proxy 설정하기
12.6. 요약
Appendix A 커널 디버깅을 위한 커널 컴파일
A.1 커널 소스 컴파일하기
A.2 printk() 함수 추가하기
A.3 printk() 함수로 Load Average 계산 과정 살펴보기
A.4 요약
Appendix B strace를 통한 애플리케이션 분석
B.1 strace의 기본 사용법
B.2 hostname 명령 분석하기
B.3 요약
Appendix C tcpdump와 와이어샤크를 통한 TCP 패킷 분석
C.1 tcpdump의 사용법
C.2 와이어샤크 사용법
C.3 요약
01. 반품기한
- 단순 변심인 경우 : 상품 수령 후 7일 이내 신청
- 상품 불량/오배송인 경우 : 상품 수령 후 3개월 이내, 혹은 그 사실을 알게 된 이후 30일 이내 반품 신청 가능
02. 반품 배송비
| 반품사유 | 반품 배송비 부담자 |
|---|---|
| 단순변심 | 고객 부담이며, 최초 배송비를 포함해 왕복 배송비가 발생합니다. 또한, 도서/산간지역이거나 설치 상품을 반품하는 경우에는 배송비가 추가될 수 있습니다. |
| 고객 부담이 아닙니다. |
03. 배송상태에 따른 환불안내
| 진행 상태 | 결제완료 | 상품준비중 | 배송지시/배송중/배송완료 |
|---|---|---|---|
| 어떤 상태 | 주문 내역 확인 전 | 상품 발송 준비 중 | 상품이 택배사로 이미 발송 됨 |
| 환불 | 즉시환불 | 구매취소 의사전달 → 발송중지 → 환불 | 반품회수 → 반품상품 확인 → 환불 |
04. 취소방법
- 결제완료 또는 배송상품은 1:1 문의에 취소신청해 주셔야 합니다.
- 특정 상품의 경우 취소 수수료가 부과될 수 있습니다.
05. 환불시점
| 결제수단 | 환불시점 | 환불방법 |
|---|---|---|
| 신용카드 | 취소완료 후, 3~5일 내 카드사 승인취소(영업일 기준) | 신용카드 승인취소 |
| 계좌이체 |
실시간 계좌이체 또는 무통장입금 취소완료 후, 입력하신 환불계좌로 1~2일 내 환불금액 입금(영업일 기준) |
계좌입금 |
| 휴대폰 결제 |
당일 구매내역 취소시 취소 완료 후, 6시간 이내 승인취소 전월 구매내역 취소시 취소 완료 후, 1~2일 내 환불계좌로 입금(영업일 기준) |
당일취소 : 휴대폰 결제 승인취소 익월취소 : 계좌입금 |
| 포인트 | 취소 완료 후, 당일 포인트 적립 | 환불 포인트 적립 |
06. 취소반품 불가 사유
- 단순변심으로 인한 반품 시, 배송 완료 후 7일이 지나면 취소/반품 신청이 접수되지 않습니다.
- 주문/제작 상품의 경우, 상품의 제작이 이미 진행된 경우에는 취소가 불가합니다.
- 구성품을 분실하였거나 취급 부주의로 인한 파손/고장/오염된 경우에는 취소/반품이 제한됩니다.
- 제조사의 사정 (신모델 출시 등) 및 부품 가격변동 등에 의해 가격이 변동될 수 있으며, 이로 인한 반품 및 가격보상은 불가합니다.
- 뷰티 상품 이용 시 트러블(알러지, 붉은 반점, 가려움, 따가움)이 발생하는 경우 진료 확인서 및 소견서 등을 증빙하면 환불이 가능하지만 이 경우, 제반 비용은 고객님께서 부담하셔야 합니다.
- 각 상품별로 아래와 같은 사유로 취소/반품이 제한 될 수 있습니다.
| 상품군 | 취소/반품 불가사유 |
|---|---|
| 의류/잡화/수입명품 | 상품의 택(TAG) 제거/라벨 및 상품 훼손으로 상품의 가치가 현저히 감소된 경우 |
| 계절상품/식품/화장품 | 고객님의 사용, 시간경과, 일부 소비에 의하여 상품의 가치가 현저히 감소한 경우 |
| 가전/설치상품 | 전자제품 특성 상, 정품 스티커가 제거되었거나 설치 또는 사용 이후에 단순변심인 경우, 액정화면이 부착된 상품의 전원을 켠 경우 (상품불량으로 인한 교환/반품은 AS센터의 불량 판정을 받아야 합니다.) |
| 자동차용품 | 상품을 개봉하여 장착한 이후 단순변심의 경우 |
| CD/DVD/GAME/BOOK등 | 복제가 가능한 상품의 포장 등을 훼손한 경우 |
| 상품의 시리얼 넘버 유출로 내장된 소프트웨어의 가치가 감소한 경우 | |
| 노트북, 테스크탑 PC 등 | 홀로그램 등을 분리, 분실, 훼손하여 상품의 가치가 현저히 감소하여 재판매가 불가할 경우 |