HoguInside & ㅁ ㅇ ㄷ nail

오픈 소스 로드 밸런서 HAProxy

로드 밸런싱이란?

• NAT(Network Address Translation): 사설 IP 주소를 공인 IP 주소로 바꾸는 데 사용하는 통신망의 주소 변조기이다.
• DSR(Dynamic Source Routing protocol): 로드 밸런서 사용 시 서버에서 클라이언트로 되돌아가는 경우 목적지 주소를 스위치의 IP 주소가 아닌 클라이언트의 IP 주소로 전달해서 네트워크 스위치를 거치지 않고 바로 클라이언트를 찾아가는 개념이다.
• Tunneling: 인터넷상에서 눈에 보이지 않는 통로를 만들어 통신할 수 있게 하는 개념으로, 데이터를 캡슐화해서 연결된 상호 간에만 캡슐화된 패킷을 구별해 캡슐화를 해제할 수 있다.

로드 밸런서 동작 방식

Bridge/Transparent Mode

1. 요청 전달 시 변조
   - 사용자 > L4 > NAT(IP/MAC 주소 변조) > real server - 사용자가 L4를 호출하면 중간에 NAT가 목적지 IP 주소를 real server IP 주소로 변조하고 MAC 주소도 변조한다.
2. 응답 전달 시 변조
   - real server > NAT > L4 > 사용자 - real server에서 L4를 거치면서 출발지(source) IP 주소를 L4 가상 IP 주소로 변조한다. 동일 네트워크 대역이므로 MAC 주소는 변조하지 않는다.

Router Mode

One Arm Mode

DSR (Direct Server Return) Mode

HAProxy 동작 방식

1. 최초 접근 시 서버에 요청 전달
2. 응답 시 쿠키(cookie)에 서버 정보 추가 후 반환
3. 재요청 시 proxy에서 쿠키 정보 확인 > 최초 요청 서버로 전달
4. 다시 접근 시 쿠키 추가 없이 전달 > 클라이언트에 쿠키 정보가 계속 존재함(쿠키 재사용)

HAProxy HA(High availability) 구성

1. 쿠키에 정보 추가 없고 X-Forwarded-For에 정보 추가
2. 쿠키에 추가 없음
3. Jsessionid 추가
4. 서버 정보 + jsessionid를 쿠키에 추가
5. 쿠키에서 서버 판별 후 jsessionid만 전달

L4 + HAProxy HA 구성 및 Global 환경에서 구성

하드웨어 L4 + HAProxy

GSLB(Global Service Load Balancing) + HAProxy

1. 클라이언트에서 DNS로 도메인 조회
2. 근거리 IDC 정보 전달

HAProxy Ncloud 적용 사례

사내 Ncloud 시스템의 DNS RR을 HAProxy로 교체

HAProxy 성능

1. 해외 운영 사례

• 서버 사양(저사양): Dell PowerEdge 2850, Intel PCI3 4x Gigabit Fiber card (CPU 1.6GHz dual core x 1)
• 제공 서비스: 영화 다운로드 서비스
• 결과: 일별 2.47TB 전송 + 81일 동안 운영

2. nGrinder 테스트

• 환경: HAProxy (1core), apache 서버 2대
• 결과: 6,603 TPS

3. 해외 성능 사례

• 듀얼 CPU 환경에서 초당 2만 세션까지 연결 가능 -> CPU 성능이 높아지면 연결 가능 세션 수 증가
• 초당 1만 건 세션 연결 시 응답에 100밀리초(ms) 소요 -> 최대 연결 개수는 하드웨어의 RAM과 file descriptor에 의해 결정됨 -> 세션당 16KB 사용 시 6만 세션당 1G RAM 필요

HAProxy 설치 및 옵션

HAProxy 운영 시 필요한 옵션

• HAProxy 설정 매뉴얼: http://cbonte.github.com/haproxy-dconv/configuration-1.4.html

HAProxy 옵션

• global # 전역 옵션 섹션
  • daemon: 백그라운드 모드(background mode)로 실행
  • log: syslog 설정
  • log-send-hostname: hostname 설정
  • uid: 프로세스의 userid를 number로 변경
  • user: 프로세스의 userid를 name으로 변경
  • node: 두 개 이상의 프로세스나 서버가 같은 IP 주소를 공유할 때 name 설정(HA 설정)
  • maxconn: 프로세스당 최대 연결 개수
• Defaults # 기본 옵션 섹션
  • log: syslog 설정
  • maxconn: 프로세스당 최대 연결 개수
• listen webfarm 10.101.22.76:80 : haproxy name ip:port
  • mode http: 연결 프로토콜
  • option httpchk: health check
  • option log-health-checks: health 로그 남김 여부
  • option forwardfor: 클라이언트 정보 전달
  • option httpclose: keep-alive 문제 발생 시 off 옵션
  • cookie SERVERID rewrite: 쿠키로 서버 구별 시 사용 여부
  • cookie JSESSIONID prefix: HA 구성 시 prefix 이후에 서버 정보 주입 여부
  • balance roundrobin: 순환 분배 방식
  • stats enable: 서버 상태 보기 가능 여부
  • stats uri /admin: 서버 상태 보기 uri
  • server xvadm01.ncli 10.101.22.18:80 cookie admin_portal_1 check inter 1000 rise 2 fall 5: real server 정보(server [host명] [ip]:[port] cookie [서버쿠키명] check inter [주기(m/s)] rise [서버구동여부점검횟수], fall [서비스중단여부점검횟수])

balance 옵션

• roundrobin: 순차적으로 분배(최대 연결 가능 서버 4128개)
• static-rr: 서버에 부여된 가중치에 따라서 분배
• leastconn: 접속 수가 가장 적은 서버로 분배
• source: 운영 중인 서버의 가중치를 나눠서 접속자 IP를 해싱(hashing)해서 분배
• uri: 접속하는 URI를 해싱해서 운영 중인 서버의 가중치를 나눠서 분배(URI의 길이 또는 depth로 해싱)
• url_param: HTTP GET 요청에 대해서 특정 패턴이 있는지 여부 확인 후 조건에 맞는 서버로 분배(조건 없는 경우 round robin으로 처리)
• hdr: HTTP 헤더 에서 hdr(<name>)으로 지정된 조건이 있는 경우에 대해서만 분배(조건 없는 경우 round robin으로 처리)
• rdp-cookie: TCP 요청에 대한 RDP 쿠키에 따른 분배

HAProxy 1.4.22 단점 - SSL 미지원

HAProxy 설치 및 config 수정

$ wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.22.tar.gz
$ tar xvfz haproxy-1.4.22.tar.gz
$ cd harproxy-1.4.22
$ make TARGET=linux26 ARCH=x86_64
$ make install
$ cd examples
$ cp haproxy.init /etc/rc.d/init.d/haproxy
$ chmod 755 /etc/rc.d/init.d/haproxy
$ mkdir -p /etc/haproxy/
$ cp /생성위치/haproxy-1.4.22/examples/haproxy.cfg /etc/haproxy/
$ mkdir -p /etc/haproxy/errors/
$ cp /생성위치/haproxy-1.4.22/examples/errorfiles/* /etc/haproxy/errors/
$ cd /usr/sbin
$ ln -s /usr/local/haproxy/sbin/haproxy haproxy
$ vi /etc/haproxy/haproxy.cfg

#서버 정보
#LB ip         10.101.22.33
#server-1 10.101.27.49
#server-2 10.101.26.50

global  
        log 127.0.0.1   local0
        log 127.0.0.1   local1 notice
        maxconn 4096
        uid 99
        gid 99
        daemon
        log-send-hostname
        #debug
        #quiet

defaults  
        log     global

listen  webfarm 10.101.22.33:80  
        mode http
        option httpchk GET /l7check.html HTTP/1.0
        option log-health-checks
        option forwardfor
        option httpclose
        cookie SERVERID rewrite
        cookie JSESSIONID prefix
        balance roundrobin
        stats enable
        stats uri /admin
        server  xvadm01.ncli 10.101.27.49:80 cookie admin_portal_1 check inter 1000 rise 2 fall 5
        server  xvadm02.ncli 10.101.26.50:80 cookie admin_portal_2 check inter 1000 rise 2 fall 5
$ /etc/init.d/haproxy start

마치며

참고 자료

• HAProxy Configuration Manual 1.4.22-9: http://cbonte.github.com/haproxy-dconv/configuration-1.4.html
• HAProxy 1.5-dev12 support SSL : http://blog.exceliance.fr/2012/09/04/howto-ssl-native-in-haproxy/
• HAProxy Performance : http://haproxy.1wt.eu/#perf
• Load Balancer : http://blog.loadbalancer.org/?a=1
• KeepAlived : http://keepalived.org/
• Stunnel : https://www.stunnel.org/index.html
• Openssl : http://www.openssl.org/

HAProxy 설치 및 설정 사용 후기

다운 사이트 : http://haproxy.1wt.eu/

설치

다운로드
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.24.tar.gz

설치 & 컴파일
tar xvfz haproxy-1.4.24.tar.gz
cd haproxy-1.4.24/

32비트
make TARGET=linux26 ARCH=x86 PREFIX=/usr/local/haproxy

64비트
make TARGET=linux26 ARCH=x86_64 PREFIX=/usr/local/haproxy

make install

스크립트 복사
cd examples/
cp haproxy.init /etc/rc.d/init.d/haproxy
chmod 755 /etc/rc.d/init.d/haproxy
mkdir -p /etc/haproxy/
cp haproxy.cfg /etc/haproxy/
mkdir -p /etc/haproxy/errors/
cp ./errorfiles/* /etc/haproxy/errors/

심볼릭 링크 지정
ln -sf /usr/local/sbin/haproxy /usr/sbin/haproxy

프로그램 시작

[root@localhost network-scripts]# /etc/init.d/haproxy start
Starting haproxy: [ALERT] 055/033619 (5018) : Starting proxy test: cannot bind socket
[실패]

하면 애러……

설정을 해야댐..

vi /etc/haproxy/haproxy.cfg 열면 기본 설정이 있음…그래서 설정을 해이댐 설정에 앞서!!

cp -arp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0:0

vim /etc/sysconfig/network-scripts/ifcfg-eth0:0

DEVICE=eth0:0
BOOTPROTO=static
ONBOOT=yes
#HWADDR=BC:5F:F4:FD:AA:88
IPADDR=xxx.xxx.xxx.21
NETMASK=255.255.255.0

해당  프록시 서버가  ” xxx.xxx.xxx.20 ” 번 이라면 ” xxx.xxx.xxx.21 “아이피로 alias 설정(네트웤이 /24 일경우. 그게 아니라면 해당 대역에 있는 아이피 사용)

[root@localhost haproxy]# ifconfig
eth0 Link encap:Ethernet HWaddr BC:5F:F4:FD:AA:88
inet addr:xxx.xxx.xxx.20 Bcast:115.68.141.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:30283 errors:0 dropped:0 overruns:0 frame:0
TX packets:21719 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:9061670 (8.6 MiB) TX bytes:8092143 (7.7 MiB)

eth0:0 Link encap:Ethernet HWaddr BC:5F:F4:FD:AA:88
inet addr:xxx.xxx.xxx.21 Bcast:115.68.141.255 Mask:255.255.255.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

이제 해당 프록시를 설정해봅세

vi /etc/haproxy/haproxy.cfg

# this config needs haproxy-1.1.28 or haproxy-1.2.1

global
log 127.0.0.1 local0
log 127.0.0.1 local1 notice
#log loghost local0 info
maxconn 4096
# chroot /usr/share/haproxy
uid 99
gid 99
daemon
#debug
#quiet

defaults
log global
mode http
#option httplog
option dontlognull
retries 3
#redispatch
maxconn 2000
contimeout 5000
clitimeout 50000
srvtimeout 50000
stats enable
stats uri /lb?stats
stats realm Haproxy\ Statistics

# hoguking

listen test xxx.xxx.xxx.21:80  —-> listen 앞에는 프록시명(다른 설정을 할때 플락시명이 겹치면 애러)을 적어주고, 위쪽에는 아까 설정한 eth0:0 의 아이피를
option forwardfor
server inst1 xxx.xxx.xxx.xxx:80 check inter 2000 fall 3  —> 아래 쪽에는 본인의 웹서버 아이피를 넣어 준다

listen test1 xxx.xxx.xxx.21:3306
option forwardfor
server inst1 xxx.xxx.xxx.xxx:3306 check inter 2000 fall 3



[root@localhost haproxy]# netstat -nlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 xxx.xxx.xxx.21:3306 0.0.0.0:* LISTEN 6648/haproxy
tcp 0 0 xxx.xxx.xxx.21:80 0.0.0.0:* LISTEN 6648/haproxy
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 2097/sshd
udp 0 0 0.0.0.0:59070 0.0.0.0:* 6648/haproxy

이제 서버를 접속 하면 잘된다.

이걸로써 두개의 아이피로 서버의 접근이 가능하고 ssh 및 tcp 관련해서 접근 하는것은 모두 가능!!!!!!!ㅇㅇ!!!

=======================================================================

TIP1

해당 도메인의 DNS, 즉 네임서버 등록해 있는 존파일에 웹서버 실아이피를 넣지 말고 haproxy 서버 아이피를 등록해도 해당 홈페이지로 접근 가능!!!!!!

이렇게 되면 해당 웹서버의 실제 아이피를 알아 내기 어렵다, 이또 한 보안에 상당한 도움이 된다!!!!!!!

=======================================================================

TIP2

HAPROXY 서버에서 0.0.0.0:포트주소 형식으로 LISTEN 상태라면 해당 포트로는 haproxy 실행되지 않음

tcp 0 0 192.168.0.1:80 0.0.0.0:* LISTEN 17783/haproxy
tcp 0 0 192.168.0.2:80 0.0.0.0:* LISTEN 15677/httpd

httpd.conf
Listen 192.168.0.2:80

haproxy.conf
listen test 192.168.0.1:80

=======================================================================

분배테스트

VIP 공인 ↔ 공인 : 분배됨
VIP 공인 ↔ 사설 : 분배됨

VIP 사설 ↔ 사설 : 분배됨
VIP 사설 ↔ 공인 : 분배됨

HAPROXY 서버에서 리얼서버 분배 포트로 통신가능하면 전세계 어디든지 넘길수 있음 ㅇㅇ

=======================================================================
회사에서 테스트를 한다기에 함 사용 해봤다 ㅇㅇ 개인서버에다가 테스트 해봤는데 생각 보다 만족!!!

서버에 부하 분산으로 사용하고, 서버동접자 수가 많고 가용성이 필요 사이트는 사용하기 좋은 것 같음!!!

다람쥐 메일 설치 및 설정

squirrelmail (다람쥐메일) 설치하기* 다람쥐 메일에는 imap 기반으로 운영. sendmail 경우에는 xinetd의 imap, dovecot (uw) 부분을 활용하면 된다.
* qmail 을 사용하는 경우는 대개 courier-imap 을 많이 사용함 ( courier-authlib , courier-imap )
### courier-authlib-0.58 설치 ###
cd /usr/local/src
wget http://shupp.org/software/courier-authlib-0.58.tar.bz2
tar jvxf courier-authlib-0.58.tar.bz2
chown -R root.root courier-authlib-0.58
cd courier-authlib-0.58

./configure –prefix=/usr/local/courier-authlib –without-authpam –without-authldap –without-authpwd –without-authmysql –without-authpgsql –without-authshadow –without-authuserdb –without-authcustom –without-authcram –without-authpipe –with-authvchkpw –with-redhat
make
make install
make install-configure —-> 제일 중요함!!!

cp courier-authlib.sysvinit /etc/init.d/courier-authlib
chmod 700 /etc/init.d/courier-authlib
chkconfig –add courier-authlib
/etc/init.d/courier-authlib start

### courier-imap-4.0.6 설치 ###
cd /usr/local/src
wget http://shupp.org/software/courier-imap-4.0.6.tar.bz2
tar jvxf courier-imap-4.0.6.tar.bz2
chown -R root.root courier-imap-4.0.6
cd courier-imap-4.0.6

export COURIERAUTHCONFIG=/usr/local/courier-authlib/bin/courierauthconfig
export CPPFLAGS=-I/usr/local/courier-authlib/include
./configure –prefix=/usr/local/courier-imap –disable-root-check –with-redhat

make
make install
make install-configure  —> 제일 중요함!!!!

vi /usr/local/courier-imap/etc/imapd

MAXDAEMONS=40
MAXPERIP=40
IMAP_EMPTYTRASH=Trash:7,Sent:30
IMAPDSTART=YES

cp courier-imap.sysvinit /etc/rc.d/init.d/courier-imap
chmod 744 /etc/rc.d/init.d/courier-imap
chkconfig –add courier-imap
/etc/rc.d/init.d/courier-imap start

### squirrelamil (다람쥐메일) 설치 ###
cd /usr/local/src
wget http://www.squirrelmail.org/countdl.php?fileurl=http%3A%2F%2Fprdownloads.sourceforge.net%2Fsquirrelmail%2Fsquirrelmail-1.4.13.tar.gz ===> http://www.squirrelmail.org/download.php (다운페이지)
cd /usr/local/apache/htdocs
tar xvzf /usr/local/src/squirrelmail-1.4.13.tar.gz
chown -R nobody.nobody squirrelmail-1.4.13
chmod -R 750 squirrelmail-1.4.13
ln -s squirrelmail-1.4.13 squirrelmail

mkdir /var/squirrelmail
mkdir /var/squirrelmail/data
mkdir /var/squirrelmail/attach

cd squirrelmail
cp data/default_pref /var/squirrelmail/data
chown -R nobody.nobody /var/squirrelmail
chmod -R 0770 /var/squirrelmail/data
chmod -R 0730 /var/squirrelmail/attach

cd config
./conf.pl

Main Menu —
1. Organization Preferences
2. Server Settings
3. Folder Defaults
4. General Options
5. Themes
6. Address Books
7. Message of the Day (MOTD)
8. Plugins
9. Database
10. Languages

D. Set pre-defined settings for specific IMAP servers

C Turn color on
S Save data
Q Quit

Command >> D

Please select your IMAP server:
cyrus = Cyrus IMAP server
uw = University of Washington’s IMAP server (xinetd 의 imap 경우 -> 보통 sendmail에 다람쥐메일설치할경우 선택)
exchange = Microsoft Exchange IMAP server
courier = Courier IMAP server
macosx = Mac OS X Mailserver
hmailserver = hMailServer
quit = Do not change anything
Command >> courier

1 ] Organization Preferences
1. Organization Name : Webmail
2. Organization Logo : ../images/sm_logo.png
3. Org. Logo Width/Height : (308/111)
4. Organization Title : Webmail
5. Signout Page :
6. Top Frame : _top
7. Provider link : http://www.hoguinside.com
8. Provider name : hoguinside webmail

R Return to Main Menu
C Turn color on
S Save data
Q Quit

Command >>

2 ] Server Settings

General
——-
1. Domain : example.com => ( neulwon.com 으로 수정.)
2. Invert Time : false
3. Sendmail or SMTP : SMTP

A. Update IMAP Settings : localhost:143 (courier)
B. Update SMTP Settings : localhost:25

R Return to Main Menu
C Turn color on
S Save data
Q Quit

Command >>

3 ] Folder Defaults

1. Default Folder Prefix : INBOX.
2. Show Folder Prefix Option : false
3. Trash Folder : Trash
4. Sent Folder : Sent
5. Drafts Folder : Drafts
6. By default, move to trash : true
7. By default, move to sent : true
8. By default, save as draft : true
9. List Special Folders First : true
10. Show Special Folders Color : true
11. Auto Expunge : true
12. Default Sub. of INBOX : false
13. Show ‘Contain Sub.’ Option : false
14. Default Unseen Notify : 2
15. Default Unseen Type : 2 -> ( 1-=>2 로 수정)
16. Auto Create Special Folders : true
17. Folder Delete Bypasses Trash : true
18. Enable /NoSelect folder fix : false

R Return to Main Menu
C Turn color on
S Save data
Q Quit

4 ] General Options

1. Data Directory : ../data/ => ( /var/squirrelmail/data/ ) 로 수정
2. Attachment Directory : $data_dir => ( /var/squirrelmail/attach/) 로 수정
3. Directory Hash Level : 0
4. Default Left Size : 150
5. Usernames in Lowercase : false => ( true ) 로 수정
6. Allow use of priority : true
7. Hide SM attributions : false => ( true ) 로 수정
8. Allow use of receipts : true
9. Allow editing of identity : true
Allow editing of name : true
Remove username from header : false
10. Allow server thread sort : false
11. Allow server-side sorting : false
12. Allow server charset search : true
13. Enable UID support : true
14. PHP session name : SQMSESSID

R Return to Main Menu
C Turn color on
S Save data
Q Quit

Command >>

6 ] Address Books

1. Change LDAP Servers
2. Use Javascript Address Book Search : fault => ( true ) 로 수정
3. Global file address book :
4. Allow writing into global file address book : false

R Return to Main Menu
C Turn color on
S Save data
Q Quit

Command >>

8 ] Plugins

Installed Plugins
1. delete_move_next
2. spamcop
3. administrator
4. newmail
5. abook_take
6. message_details
7. info
8. mail_fetch
9. translate
10. listcommands
11. calendar
12. bug_report
13. filters
14. sent_subfolders
15. squirrelspell

Available Plugins:
16. fortune

R Return to Main Menu
C Turn color on
S Save data
Q Quit

10 ] Language preferences

1. Default Language : en_US => ( ko_KR)
2. Default Charset : iso-8859-1 => ( EUC-KR )
3. Enable lossy encoding : false

R Return to Main Menu
C Turn color on
S Save data
Q Quit

Command >>

cd /usr/local/src
wget http://www.squirrelmail.org/plugins/quota_usage-1.3.1.tar.gz  (Plugins – Obsolete)
wget http://www.squirrelmail.org/plugins/compatibility-2.0.9.tar.gz  (Plugins – Miscellaneous)

cd /usr/local/apache/htdocs/squirrelmail/plugins
tar xvzf /usr/local/src/quota_usage-1.3.1.tar.gz
cp quota_usage/config.php.sample quota_usage/config.php
chown -R nobody.nobody quota_usage
chmod -R o-rx quota_usage

vi quota_usage/functions.php
Go to line 43 and change the value 1000000 to 1048576
==> 43 라인 부분에서 1000000 을1048576 으로 수정,

tar xzf /usr/local/src/compatibility-2.0.9.tar.gz
chown -R nobody.nobody compatibility
chmod -R o-rx compatibility

cd ../config
./conf.pl

8 ] Plugins
부분에서
quota_usage
compatibility 을

-> Installed Plugins 으로 선택하여 올려준다.

# vi /usr/local/apache/conf/httpd.conf 부분에 webmail 페이지 띄우기 위해 버추얼 호스트 설정.

<VirtualHost *:80>
ServerAdmin webmaster@zosen.net
DocumentRoot /usr/local/apache/htdocs/squirrelmail
ServerName webmail.zosen.net
ErrorLog logs/webmail.zosen.net-error_log
CustomLog logs/webmail.zosen.net-access_log common
</VirtualHost>

* named 설정에서 서브도메인 ‘webmail’을 사용할 수 있어야 한다. (예: webmail.neulwon.com)

* 다람쥐메일 한글화

http://www.squirrelmail.org/download.php 에서 다람쥐메일 설치버전에 맞는 언어팩설치

cd /usr/local/apache/htdocs/squirrelmail/
wget http://heanet.dl.sourceforge.net/sourceforge/squirrelmail/all_locales-1.4.5-20050904.tar.gz
tar xvzf all_locales-1.4.5-20050904.tar.gz
cd locale ==> 부분에 ko_KR 이있는지 확인.

==> http://webmail.도메인

sendmail + dovecot (imap4, pop3) 5분안에 설치하기

다음 내용은 리눅스 환경에서 sendmail + dovecot (imap, pop3) 서비스 설치 방법에 대해서 설명하고 있다.

이 외에도 여러가지 옵션 및 설정사항들이 있으며, 좀 더 자세한 내용은 다음 홈페이지를 참고해야 한다.



http://www.sendmail.org

http://www.dovecot.org



어디까지나 본 문서는 5분안에 sendmail + dovecot (imap, pop3) 서비스를 설치하는데 있다. !!!!



1. sendmail 설치

sendmail을 설치하기 위해서는 여러가지 라이브러리들이 함깨 설치되어야 하는데, 다음과 같이 yum 명령어를

사용하면 그 모든 작업을 매우 수월하게 진행할 수 있다.

[root@linux ~] yum install sendmail



2. sendmail config 수정

[root@linux ~] vi  /etc/mail/sendmail.cf

/etc/mail/sendmail.cf 파일에 수정해야 할 곳은 딱 한 곳 뿐이다. (현재로서는 .. 2008년 3월 기준)

# SMTP daemon options
O DaemonPortOptions=Port=smtp,Addr=0.0.0.0, Name=MTA



3. sendmail 재시작

[root@linux mail]# service sendmail restart
Shutting down sm-client:                              [  OK  ]
Shutting down sendmail:                              [  OK  ]
Starting sendmail:                                        [  OK  ]
Starting sm-client:                                        [  OK  ]



4. sendmail 테스트

[root@linux mail]# telnet localhost 25
Trying 127.0.0.1…
Connected to localhost.localdomain (127.0.0.1).
Escape character is ‘^]’.
220 linux.net ESMTP Sendmail 8.13.8/8.13.8; Tue, 11 Mar 2008 17:36:47 -0400


5. dovecot 설치

[root@linux ~] yum install dovecot



6. dovecot config 수정

[root@linux ~] vi  /etc/dovecot.conf

수정해야 할 부분은 딱 두 군데 뿐이다. (protocols, listen)

다음에 표시된 빨간색 protocols, listen을 참고 삼아서 똑 같이 수정한다.

# Protocols we want to be serving: imap imaps pop3 pop3s
# If you only want to use dovecot-auth, you can set this to “none”.
protocols = imap imaps pop3 pop3s

# IP or host address where to listen in for connections. It’s not currently
# possible to specify multiple addresses. “*” listens in all IPv4 interfaces.
# “[::]” listens in all IPv6 interfaces, but may also listen in all IPv4
# interfaces depending on the operating system.
#
# If you want to specify ports for each service, you will need to configure
# these settings inside the protocol imap/pop3 { … } section, so you can
# specify different ports for IMAP/POP3. For example:
#   protocol imap {
#     listen = *:10143
#     ssl_listen = *:10943
#     ..
#   }
#   protocol pop3 {
#     listen = *:10100
#     ..
#   }
listen = [::]



7. dovecot 서비스 재시작

[root@linux ~] service dovecot restart
Stopping Dovecot Imap:                                  [  OK  ]
Starting Dovecot Imap:                                    [  OK  ]



8. dovecot imap4 서비스 테스트

[root@linux mail]# telnet localhost 143
Trying 127.0.0.1…
Connected to localhost.localdomain (127.0.0.1).
Escape character is ‘^]’.
* OK Dovecot ready.



9. dovecot pop3 서비스 테스트

[root@linux mail]# telnet localhost 110
Trying 127.0.0.1…
Connected to localhost.localdomain (127.0.0.1).
Escape character is ‘^]’.
+OK Dovecot ready.
※ 만약 localhost를 제외한 외부에서 sendmail 혹은 dovecot(imap, pop3)에 텔넷 연결이 되지 않을 경우

    다음 세 가지 사항을 점검해 볼 필요가 있다.

    1. iptables            25번, 110번, 143번 포트가 방화벽에서 허용되고 있는지 유/무

    2. netstat -avp     LISTENINIG 포트 체크

    3. ps -ef | grep sendmail        혹은   ps -ef | grep dovecot

10분간의 로그 중 20회 이상 Fail Password를 발생시킨 아이피를 차단한다.

php 스크립트로 작성.

동작원리
1. /var/log/secure 파일에서 10분전의 로그 추출.
2. 아이피 별로 갯수 통계
3. 한 아이피에서 20회 이상 sshd로 비밀번호가 틀렸다면 /etc/hosts.deny에 “ALL : 아이피”의 형태로 저장
4. xinetd 데몬 재시작
5. 등록한 아이피 목록을 메일 주소로 발송

실행
./secure_analysis.sh sshd

crontab 등록
*/10 * * * * /경로명/secure_analysis.sh sshd

소스

#!/usr/local/php/bin/php
<?
//개요
// secure log를 분석해서 sshd로 불법적인 접속을 시도하는 IP를 /etc/hosts.deny에 등록하는 작업을 한다.
// Log Example : Jun 5 07:48:18 p1 sshd[1110]: Failed password for root from 211.114.190.196 port 52944 ssh2
// 추출 명령어 : grep “Jun 7 09″ secure | grep “sshd” | grep “Failed password” | awk -F “from” ‘{print $2}’ | awk ‘{print $1}’
// 지정된 입력값을 입력하지 않으면 실행하지 않는다.

if ($argc > 1) {
$RECEIVE_EMAIL = “받을 메일 주소“;
$Hostname = trim(exec(“hostname”));
$Date = date(“Y-m-d H:i:s”);
// 10분전 분을 구한다.
$TenAgo = substr(date(“i”,mktime(date(“H”), date(“i”)-10, 0, date(“m”), date(“d”), date(“Y”))), 0, 1);
if (!file_exists(“/var/log/sshd_log”)) {
exec(“mkdir -p /var/log/sshd_log”);
}
if (!file_exists(“/var/log/sshd_log/secure_analysis.log”)) {
exec(“touch /var/log/sshd_log/secure_analysis.log”);
}
// 날짜에 따라서 검색어의 공백처리가 틀린 관계로…
$DayLength = strlen(date(“j”));
if ($DayLength == 2) {
$now = date(“M j H:”);
} else {
$now = date(“M j H:”);
}
if ($argv[1] == “sshd”) {
exec(“grep \”$now$TenAgo\” /var/log/secure | grep \”sshd\” | grep \”Failed password\” | awk -F \”from\” ‘{print \$1}’ > /var/log/sshd_log/secure_log_”.$argv[1]);
}
$Fail_IP_File = file(“/var/log/sshd_log/secure_log_”.$argv[1]);
for ($i = 0; $i < count($Fail_IP_File); $i++) {
$Fail_IP_File[$i] = trim($Fail_IP_File[$i]);
}
$Fail_Statistics = array_count_values($Fail_IP_File);
exec(“echo \”\” > /var/log/sshd_log/denyIP.list_”.$argv[1]);
while (list ($Ip, $Count) = each ($Fail_Statistics)) {
// 여기의 20을 수정하여 등록을 조절 할 수 있다.
if ($Count > 20) {
$Now_Time = date(“Y년 m월 d일 H시 i분 s초”);
exec(“echo \”#Regist $Now_Time\” >> /etc/hosts.deny”);
exec(“echo \”ALL : $Ip\” >> /etc/hosts.deny”);
$Restart_Xinetd = 1;
exec(“echo \”$Now_Time | $Ip | $Count 회\” >> /var/log/sshd_log/denyIP.list_”.$argv[1]);
}
exec(“echo \”$Date\t$Ip\t$Count\” >> /var/log/sshd_log/secure_analysis.log”);
}
if ($Restart_Xinetd) {
exec(“killall -HUP xinetd”);
exec(“cat \”/var/log/sshd_log/denyIP.list_”.$argv[1].”\” | mail -s \”$Hostname Deny IP LIST – $Date \” $RECEIVE_EMAIL”);
}
} else {
echo(“Missing Argument… Confirm Execute…\n”);
}
?>

리눅스는 부팅단계에서 /etc/rc.d/rc.sysinit 스크립트에 내용에 따라

fsck 가 /etc/fstab파일을 참조하여  각 마운트된 (디스크)장치의 파일 시스템을 점검 한답니다.

그런데 점검도중 파일시스템이 맛텡이가 가버린 파티션이 있다면 부팅이 안된답니다.

그럴때 fsck를 이용하여 우리는 응급조치를 취해야 한답니다.그럼 이 fsck를 이용하는 방법을 알아 봅시다.




부팅 도중에 위와 같은 오류 메시지와 함께 부팅이 멈춰 버립니다. 익숙한 X윈도우 환경은 온데간데 없구요..ㅜㅜ

먼저 우리는 오류 메시지에 대한 정확 한 이해가 필요 합니다. 네이버 영한 사전을 펼치고 모르는 단어를 찾아가며

시스템이 머라고 알리는지 정확하게..아니면 대충이라도 알아볼 필요가 있습니다

우리가 주목해야 하는 부분은 저 빨간색 [FAILED] 위의 메시지 입니다.

/dev/sdb1 : UNEXPECTED UNCONSISTENCY : RUN fsck MANUALLY.   <- 바로 이 부분이지요.



해석 해보면.. /dev/sdb1 파티션을 메뉴얼에 따라 fsck를 이용하여 체크 하는 도중에 예상치 못한 오류가

있더라.

우린 어뜨케 해야 할가요? 먼저 root의 비밀번호를 때려 넣어줍니다.

그러면

(Repair filesystem) :

위와 같은 프롬프트가 뜨는데요 파일 시스템을 복구 하란 말이 겠죠 .

우린 오류가 난 부분을 진단해서 고쳐줘야 한답니다.



(Repair filesystem):e2fsck /dev/sdb1

와 같이 명령어를 쳐주면 알아서 몽창그리 처리해줍니다. 그럼 이런 저런 메시지가 뜬답니다. 그리고 리부팅을 해주면

아주 잘 부팅이 되는 걸 볼수 있습니다. 참 쉽죠잉~? 한때 제가 이걸 못해서 다시 설치를 했던때가 있었는데..ㅜㅜ;



fsck의 여러 가지 옵션을 알아봅시다.



먼저  fsck를 이용하여 파일시스템을 점검 할때에는 파티션을 언마운트 시킨후에 해야 한답니다. 안그러면 점검하다가 파일시스템에

되려 손상이 가는 경우가 있을수 있답니다.


위와 같은 명령어로 장치들의 마운트 정보를 확인 할 수 있겠죠 .(df명령은 시스템의 파일시스템별 디스크 정보에 대한 정보를

쉽게 확인 할수 있는 명령으로 man페이지를 보고 공부해 두는게 좋아용!)



-f : 이는 파일시스 템이 이상이 없더라도 강제적으로 파일 시스템을 점검 할때 사용 합니다.

ex) #e2fsck -f /dev/sdb1



-j : 이는 저널링 파일 시스템을 대상으로 작업할때 사용 하는 옵션입니다. 저널링 파일 시스템(보통 ext3)를 대상으로 작업할때

옵션이 아니라 필수 해줘야 하는 옵션입니다.

ex)#e2fsck -j ext3 /dev/sda1



-v : 점검내역 상세 보기

ex)#e2fsck -j ext3 -fv /dev/sda2                   ext3의 파일 시스템으로 구성된 sda1파티션을 강제로 점검하면서 상세내역도 보는명령



-p : 오류 있는 파일 시스템의 자동 복구    (아주 유용한 옵션이랍니다..)

ex)#e2fsck -b 98304 -p /dev/sda1



-y : 수행 과정의 질문에 모두 yes라 응답하는 옵션

ex)#e2fsck -b 98304 -y /dev/sdb1



-n :수행 과정의 질몬에 모두 no 로 응답하는 옵션

ex)#e2fsck -b 98304 -n /dev/sdb1



-c : 점검 과정에서 찾게된 베드블록을 마킹하여 사용치 못하게 하는 옵션

ex)e2fsck -j ext3 -cv /dev/sda2              (/dev/sda2 파일 시스템내의 배드블록이 있다면 배드블록 아이노드에 마킹하는 작업)





◈백업 슈퍼블록을 이용한 파일 시스템 복구.



위와 같은 많은 방법을 동원하여 복구 하려 해도 안될때 우리는 백업 수퍼 블록을 이용하여야 한답니다.

리눅스의 파일 시스템의 구조와 수퍼 블록의 정확한 개념, 그리고 백업 슈퍼 블록의 위치를 알아야 한답니다.



리눅스 파일시스템의 경우 대게 슈퍼블록을 이용하여 읽고 쓰기를 하는데 이녀석이 깨지면 끝장나게 되는 것이죠.

그래서 이 슈퍼블록의 위치 바로 ~ 뒤에 저러게의 슈퍼블록 백업 블록이 있는데요 이녀석들을 이용한 복구 방버이죠.



먼저 슈퍼 블록과 그의 분신들의 위치를 알아 봅시다.



위와 같이 확인 할수 있습니다.대게 메인 블록이 맛텡이가면 저 백업 블록에 의해 작업하면 된답니다. 몽땅 맛이가면 우리도

맛텡이 가는 거죠 . 단 하나만 살아 있으면 되는 겁니다.



실사용 예를 봅시다.



#e2fsck -b 57345 -f -j ext3 -y /dev/sda1  ( sda1 파티션의 파일시스템을 4번째 슈퍼블록 복사본을 이용하여 강제로 복구 하는데 질의되

모든 질문에 모두 yes로 대답 하여 하겠다 )

출처 :  http://www.adminplay.com/22877#!prettyPhoto



=======================================================================================

파일 시스템 체크로 인해 문제 가 발생 할 수 있습니다. 위 말처럼 파티션 점검을 할때는 언파운트 후에 진행을 해야합니다.

그러나 실수로 최상위를 체크 한답시고 파일시스템 문제 발생 한 적이 있음.. 명령어 완성형이랑 옵션 나부랭이 쳐보면서…

Filesystem Type Size Used Avail Use% Mounted on

/dev/sda3 ext3 448G 12G 413G 3% /
/dev/sda1 ext3 190M 18M 163M 10% /boot
tmpfs tmpfs 2.0G 0 2.0G 0% /dev/shm

해당 파티션 sda3.. 파일 시스템 체크….그 후에는..서버가…. 커널 패닉에..리부팅 해도 커널패닉..싱글 모드도 커널패닉……멘탈 패닉 상태로 빠질꺼임…ㅇㅇ;;;

그때 당황하지 문제 하드를 적출해서 다른 서버에 물리거나 ODD가 있다면 리눅스 레스큐 모드로 진행을 하면 됨.

물론, 다른 서버에 하드를 도킹 했을대는 마운트가 바로 안된다. 해당 파일 시스템에 장애가 발생해서 슈퍼 블록에 문제가 어쩌고… 그럴때는 일단 복구 보다는

#e2fsck -j ext3 -y  /dev/sdb3 –> 요론 식으로 파일시스템을 체크를 해보는거임  당연히 타입은 ext2,ext4 로 해당 타입을 지정해주고 토킹을 하면 하드가 한개 일시는sdb 로 잡히니까 잊지말고 ㅇㅇ;

그 후 블록에 문제가 없다면 본 서버에다가 다시 올려도 서버 정상적으로 나올꺼임  그러니까 손구락 미스도 당황할거 없음!!!