오픈 소스 로드 밸런서 HAProxy

로드 밸런싱이란?

• NAT(Network Address Translation): 사설 IP 주소를 공인 IP 주소로 바꾸는 데 사용하는 통신망의 주소 변조기이다.
• DSR(Dynamic Source Routing protocol): 로드 밸런서 사용 시 서버에서 클라이언트로 되돌아가는 경우 목적지 주소를 스위치의 IP 주소가 아닌 클라이언트의 IP 주소로 전달해서 네트워크 스위치를 거치지 않고 바로 클라이언트를 찾아가는 개념이다.
• Tunneling: 인터넷상에서 눈에 보이지 않는 통로를 만들어 통신할 수 있게 하는 개념으로, 데이터를 캡슐화해서 연결된 상호 간에만 캡슐화된 패킷을 구별해 캡슐화를 해제할 수 있다.

로드 밸런서 동작 방식

Bridge/Transparent Mode

1. 요청 전달 시 변조
   - 사용자 > L4 > NAT(IP/MAC 주소 변조) > real server - 사용자가 L4를 호출하면 중간에 NAT가 목적지 IP 주소를 real server IP 주소로 변조하고 MAC 주소도 변조한다.
2. 응답 전달 시 변조
   - real server > NAT > L4 > 사용자 - real server에서 L4를 거치면서 출발지(source) IP 주소를 L4 가상 IP 주소로 변조한다. 동일 네트워크 대역이므로 MAC 주소는 변조하지 않는다.

Router Mode

One Arm Mode

DSR (Direct Server Return) Mode

HAProxy 동작 방식

1. 최초 접근 시 서버에 요청 전달
2. 응답 시 쿠키(cookie)에 서버 정보 추가 후 반환
3. 재요청 시 proxy에서 쿠키 정보 확인 > 최초 요청 서버로 전달
4. 다시 접근 시 쿠키 추가 없이 전달 > 클라이언트에 쿠키 정보가 계속 존재함(쿠키 재사용)

HAProxy HA(High availability) 구성

1. 쿠키에 정보 추가 없고 X-Forwarded-For에 정보 추가
2. 쿠키에 추가 없음
3. Jsessionid 추가
4. 서버 정보 + jsessionid를 쿠키에 추가
5. 쿠키에서 서버 판별 후 jsessionid만 전달

L4 + HAProxy HA 구성 및 Global 환경에서 구성

하드웨어 L4 + HAProxy

GSLB(Global Service Load Balancing) + HAProxy

1. 클라이언트에서 DNS로 도메인 조회
2. 근거리 IDC 정보 전달

HAProxy Ncloud 적용 사례

사내 Ncloud 시스템의 DNS RR을 HAProxy로 교체

HAProxy 성능

1. 해외 운영 사례

• 서버 사양(저사양): Dell PowerEdge 2850, Intel PCI3 4x Gigabit Fiber card (CPU 1.6GHz dual core x 1)
• 제공 서비스: 영화 다운로드 서비스
• 결과: 일별 2.47TB 전송 + 81일 동안 운영

2. nGrinder 테스트

• 환경: HAProxy (1core), apache 서버 2대
• 결과: 6,603 TPS

3. 해외 성능 사례

• 듀얼 CPU 환경에서 초당 2만 세션까지 연결 가능 -> CPU 성능이 높아지면 연결 가능 세션 수 증가
• 초당 1만 건 세션 연결 시 응답에 100밀리초(ms) 소요 -> 최대 연결 개수는 하드웨어의 RAM과 file descriptor에 의해 결정됨 -> 세션당 16KB 사용 시 6만 세션당 1G RAM 필요

HAProxy 설치 및 옵션

HAProxy 운영 시 필요한 옵션

• HAProxy 설정 매뉴얼: http://cbonte.github.com/haproxy-dconv/configuration-1.4.html

HAProxy 옵션

• global # 전역 옵션 섹션
  • daemon: 백그라운드 모드(background mode)로 실행
  • log: syslog 설정
  • log-send-hostname: hostname 설정
  • uid: 프로세스의 userid를 number로 변경
  • user: 프로세스의 userid를 name으로 변경
  • node: 두 개 이상의 프로세스나 서버가 같은 IP 주소를 공유할 때 name 설정(HA 설정)
  • maxconn: 프로세스당 최대 연결 개수
• Defaults # 기본 옵션 섹션
  • log: syslog 설정
  • maxconn: 프로세스당 최대 연결 개수
• listen webfarm 10.101.22.76:80 : haproxy name ip:port
  • mode http: 연결 프로토콜
  • option httpchk: health check
  • option log-health-checks: health 로그 남김 여부
  • option forwardfor: 클라이언트 정보 전달
  • option httpclose: keep-alive 문제 발생 시 off 옵션
  • cookie SERVERID rewrite: 쿠키로 서버 구별 시 사용 여부
  • cookie JSESSIONID prefix: HA 구성 시 prefix 이후에 서버 정보 주입 여부
  • balance roundrobin: 순환 분배 방식
  • stats enable: 서버 상태 보기 가능 여부
  • stats uri /admin: 서버 상태 보기 uri
  • server xvadm01.ncli 10.101.22.18:80 cookie admin_portal_1 check inter 1000 rise 2 fall 5: real server 정보(server [host명] [ip]:[port] cookie [서버쿠키명] check inter [주기(m/s)] rise [서버구동여부점검횟수], fall [서비스중단여부점검횟수])

balance 옵션

• roundrobin: 순차적으로 분배(최대 연결 가능 서버 4128개)
• static-rr: 서버에 부여된 가중치에 따라서 분배
• leastconn: 접속 수가 가장 적은 서버로 분배
• source: 운영 중인 서버의 가중치를 나눠서 접속자 IP를 해싱(hashing)해서 분배
• uri: 접속하는 URI를 해싱해서 운영 중인 서버의 가중치를 나눠서 분배(URI의 길이 또는 depth로 해싱)
• url_param: HTTP GET 요청에 대해서 특정 패턴이 있는지 여부 확인 후 조건에 맞는 서버로 분배(조건 없는 경우 round robin으로 처리)
• hdr: HTTP 헤더 에서 hdr(<name>)으로 지정된 조건이 있는 경우에 대해서만 분배(조건 없는 경우 round robin으로 처리)
• rdp-cookie: TCP 요청에 대한 RDP 쿠키에 따른 분배

HAProxy 1.4.22 단점 - SSL 미지원

HAProxy 설치 및 config 수정

$ wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.22.tar.gz
$ tar xvfz haproxy-1.4.22.tar.gz
$ cd harproxy-1.4.22
$ make TARGET=linux26 ARCH=x86_64
$ make install
$ cd examples
$ cp haproxy.init /etc/rc.d/init.d/haproxy
$ chmod 755 /etc/rc.d/init.d/haproxy
$ mkdir -p /etc/haproxy/
$ cp /생성위치/haproxy-1.4.22/examples/haproxy.cfg /etc/haproxy/
$ mkdir -p /etc/haproxy/errors/
$ cp /생성위치/haproxy-1.4.22/examples/errorfiles/* /etc/haproxy/errors/
$ cd /usr/sbin
$ ln -s /usr/local/haproxy/sbin/haproxy haproxy
$ vi /etc/haproxy/haproxy.cfg

#서버 정보
#LB ip         10.101.22.33
#server-1 10.101.27.49
#server-2 10.101.26.50

global  
        log 127.0.0.1   local0
        log 127.0.0.1   local1 notice
        maxconn 4096
        uid 99
        gid 99
        daemon
        log-send-hostname
        #debug
        #quiet

defaults  
        log     global

listen  webfarm 10.101.22.33:80  
        mode http
        option httpchk GET /l7check.html HTTP/1.0
        option log-health-checks
        option forwardfor
        option httpclose
        cookie SERVERID rewrite
        cookie JSESSIONID prefix
        balance roundrobin
        stats enable
        stats uri /admin
        server  xvadm01.ncli 10.101.27.49:80 cookie admin_portal_1 check inter 1000 rise 2 fall 5
        server  xvadm02.ncli 10.101.26.50:80 cookie admin_portal_2 check inter 1000 rise 2 fall 5
$ /etc/init.d/haproxy start

마치며

참고 자료

• HAProxy Configuration Manual 1.4.22-9: http://cbonte.github.com/haproxy-dconv/configuration-1.4.html
• HAProxy 1.5-dev12 support SSL : http://blog.exceliance.fr/2012/09/04/howto-ssl-native-in-haproxy/
• HAProxy Performance : http://haproxy.1wt.eu/#perf
• Load Balancer : http://blog.loadbalancer.org/?a=1
• KeepAlived : http://keepalived.org/
• Stunnel : https://www.stunnel.org/index.html
• Openssl : http://www.openssl.org/