[VPN] FortiGate 장비와 MacOS 사이의 IPSec 터널 설정

FortiGate 설정

IPSec Tunnels 생성

Network

  • Remote Gateway: “Dialup User”, Interface: “wan1″(공인 IP가 연결된 WAN 포트)
  • Local Gateway: Disable
  • Mode Config: Disable
  • NAT Traversal: Enable
  • Dead Peer Detection: On Idle
  • Add route: Disable
  • Auto discovery sender / receiver: Disable
  • Device creation: Enabled
  • Tunnel search: Selectors

Authentication

  • Method: Pre-shared Key
  • Pre-shared Key: 정한 PSK를 적는다. 아래 MacOS 설정의 ipsec.secrets 와 당연히 동일(e.g. mySecretKey)해야 한다.
  • IKE Version: 1
  • IKE Mode Main(ID protection)
  • Peer Options: Accept Types는 Specific peer ID로 하고 Peer ID로 아래 ipsec.confleftid와 동일(e.g. dasomoli.org)해야 한다.

Phase 1 Proposal

  • Encryption: AES256
  • Integrity: SHA256
  • DH Group: 14
  • Key Lifetime (seconds): 86400

XAUTH

  • Type: Disabled

Phase 2 Selectors

  • Subnet1
    • Local Address: 192.168.64.0/19 (192.168.64.0/255.255.224.0)
    • RemoteAddress: 192.168.0.0/24 (192.168.0.0/255.255.255.0)
    • Encryption: AES256, Integrity: SHA256, DH Group: 14
    • Enable Replay Detection: Enabled
    • Enable Perfect Forward Secrecy (PFS): Enabled
    • Local Port/Remote Port/Protocol: Enabled
    • Key Lifetime: 3600
  • Subnet2
    • Local Address: 10.30.0.0/16 (10.30.0.0/255.255.0.0)
    • RemoteAddress: 192.168.0.0/24 (192.168.0.0/255.255.255.0)
    • Encryption: AES256, Integrity: SHA256, DH Group: 14
    • Enable Replay Detection: Enabled
    • Enable Perfect Forward Secrecy (PFS): Enabled
    • Local Port/Remote Port/Protocol: Enabled
    • Key Lifetime: 3600

Log 확인

FortiGate CLI에서 확인

diagnose vpn ike gateway list

또는:

diagnose vpn tunnel list

그 외.

  • Static Routes에 터널 연결된 PC로의 routing이 추가되어야 한다.
  • Firewall Policy가 추가된 IPSec 터널을 위한 인터페이스에 incoming/outgoing 모두 허용되어야 한다.
    • NAT는 이 경우 Disable하여야 한다.

MacOS 설정

1. 사전 준비

1.1. strongswan 설치

strongswan 을 설치한다.

brew install strongswan

2. 설정 파일 작성

/opt/homebrew/etc/ipsec.conf 설정 파일을 작성한다.

  • left: 내 Mac
  • right: FortiGate의 공인 IP
  • leftid, rightid: FortiGate와 일치해야 함
  • leftsubnet: 집 네트워크
  • rightsubnet: FortiGate 내부 네트워크
  • ike나 esp의 aes256-sha256-modp2048 는 Encryption: AES256, Integrity: SHA256, DH Group: 14를 의미한다. 느낌표(!)는 강제 적용을 의미한다.
config setup
    charondebug="ike 2, knl 2, cfg 2, net 2, esp 2"

conn fortigate
    keyexchange=ikev1
    aggressive=no
    authby=psk
    forceencaps=yes
    installpolicy=yes
    type=tunnel
    left=%defaultroute
    leftid=@dasomoli.org
    right=11.13.3.1
    rightid=11.13.3.1
    leftsubnet=192.168.0.0/24
    rightsubnet=192.168.64.0/19,10.30.0.0/16
    leftupdown=/opt/homebrew/etc/ipsec-updown.sh
    ike=aes256-sha256-modp2048!
    esp=aes256-sha256-modp2048!
    ikelifetime=86400s
    lifetime=3600s
    dpdaction=restart
    auto=start

설정 파일에서 사용하는 /opt/homebrew/etc/ipsec-updown.sh 를 작성한다. 이는 strongSwan은 macOS에서 커널 라우팅 테이블에 자동으로 라우트를 추가하지 않기 때문이다. 이는 macOS 커널이 PF_ROUTE를 통해 정책 기반 라우팅을 제공하지 않기 때문이다. 따라서 updown 스크립트를 활용해 수동 라우팅을 추가한다.

#!/bin/sh
case "$PLUTO_VERB" in
    up-client)
        /sbin/route add -net 10.30.0.0/16 -interface $PLUTO_INTERFACE
        /sbin/route add -net 192.168.64.0/19 -interface $PLUTO_INTERFACE
        ;;
    down-client)
        /sbin/route delete -net 10.30.0.0/16
        /sbin/route delete -net 192.168.64.0/19
        ;;
esac

PSK를 /opt/homebrew/etc/ipsec.secrets 파일 안에 다음과 같이 넣는다.

@dasomoli.org @fortigate : PSK "mySecretKey"

3. 실행 방법

macOS에서는 시스템 서비스로 실행되지 않기 때문에, 수동으로 아래와 같이 실행한다.

sudo ipsec start

또는

sudo ipsec down fortigate
sudo ipsec up fortigate

로그 확인:

log show --predicate 'process == "charon"' --info --last 5m

연결 확인:

ipsec statusall

종료:

sudo ipsec stop

라우팅 확인:

route -n get 10.30.0.1

혹은:

netstat -rn | grep 10.

[VPN] IPSec 터널 및 IKE 연결 방식

IPSec 터널은 인터넷 프로토콜 보안(IPSec, IP Security)을 이용해 두 네트워크 간에 암호화된 통신 경로(터널)를 만드는 기술입니다. 보통 VPN(Virtual Private Network)의 핵심 기술 중 하나로 사용되며, 안전하게 데이터를 송수신할 수 있도록 해줍니다.

IPSec 터널이란?

  • IPSec 터널 모드(IPSec Tunnel Mode)는 네트워크 장비(예: 라우터, 방화벽 등) 간에 암호화된 가상의 터널을 형성하여, 두 개의 네트워크 간에 안전한 통신을 가능하게 합니다.
  • 인터넷 같은 불특정 다수가 접근 가능한 네트워크 위에 안전한 통신 경로를 구축하는 것이 목적입니다.

작동 방식

  1. 터널의 양 끝단 장비(예: VPN 게이트웨이)는 서로를 인증합니다. (보통 사전 공유 키(PSK), 인증서 등을 사용)
  2. IKE(Internet Key Exchange)를 통해 보안 매개변수를 협상하고, 세션 키를 교환합니다.
  3. 실제 데이터가 오갈 때는 ESP(Encapsulating Security Payload)AH(Authentication Header) 프로토콜을 통해 데이터를 암호화하고 인증합니다.
  4. 암호화된 IP 패킷을 새로운 외부 IP 헤더로 감싸 전송합니다. (이게 ‘터널 모드’의 핵심)

IPSec 터널 연결 단계 (IKEv1 또는 IKEv2 기준)

IPSec 연결은 보통 두 단계로 나뉩니다:

  1. IKE Phase 1: 인증 및 보안 채널 수립
  2. IKE Phase 2 (IPSec Phase): 실제 데이터 통신에 사용할 세션 키 생성

Phase 1: IKE Security Association 수립

목표: 두 장비 간에 안전한 제어 채널 (IKE SA)을 먼저 수립하여, 이후 민감한 설정 정보를 안전하게 교환할 수 있게 함.

1.1. IKE 협상 시작

  • 양쪽 장비(IPSec peer)가 연결을 시작함 (Initiator와 Responder)
  • 서로 지원 가능한 암호화 알고리즘, 인증 방법 등을 교환
    • 예: AES-256, SHA-256, DH Group 14 등

1.2. Diffie-Hellman 키 교환

  • 서로 키 정보를 주고받아 공유 비밀 키 생성 (이 키는 암호화에 사용됨)
  • 이 과정은 공개키 기반이지만, 공유된 키는 외부에서 알 수 없음

1.3. 인증 수행

  • 서로의 신원을 인증 (보통 다음 중 하나 사용):
    • Pre-Shared Key (PSK): 양쪽에 같은 비밀번호 설정
    • 디지털 인증서: PKI 기반
    • EAP 방식: 사용자 인증용

1.4. IKE SA 생성 (Secure Association)

  • 위 과정이 완료되면, 양쪽 장비 간에 암호화된 안전한 제어 채널 생성됨

Phase 2: IPSec Security Association 수립

목표: 실제 데이터를 암호화하기 위한 IPSec 터널 (IPSec SA)을 만들고, 트래픽을 전송할 준비를 마침

2.1. IPSec 프로토콜/정책 협상

  • 어떤 프로토콜을 쓸지 협의
    • ESP (Encapsulating Security Payload): 암호화와 인증 제공 (일반적으로 사용)
    • AH (Authentication Header): 인증만 제공 (거의 안 씀)
  • 어떤 암호화 알고리즘을 사용할지 결정 (예: AES, 3DES, SHA 등)

2.2. 세션 키 생성

  • Phase 1에서 공유된 비밀 키를 기반으로 실제 트래픽을 암호화할 키 생성

2.3. IPSec SA 생성

  • 양쪽 장비는 서로에게 암호화된 트래픽을 보낼 수 있는 IPSec 터널을 완성

이후: 데이터 통신

  • 이제부터는 이 IPSec 터널을 통해 모든 데이터가 암호화되어 전송됨
  • 클라이언트 또는 네트워크 장비는 인터넷을 통해 전송되지만 내부처럼 안전한 연결을 경험

요약: 단계별 체크리스트

단계설명키워드
Phase 1제어 채널 설정IKE, DH 키 교환, PSK/인증서, 암호화
Phase 2터널 설정ESP, IPSec SA, 트래픽 선택자
이후암호화된 데이터 전송실제 사용자 데이터 암호화

IKE는 어떤 방식으로 연결되나요?

기본 프로토콜

  • IKE는 UDP 기반 프로토콜입니다.
  • 즉, TCP가 아닌 UDP를 사용하며, 신뢰성 있는 연결을 보장하지는 않지만 빠른 통신이 가능합니다.

IKE가 사용하는 포트

포트 번호프로토콜설명
UDP 500번 포트IKE (v1, v2 모두)IKE SA를 설정하기 위한 초기 패킷 전송에 사용됨
UDP 4500번 포트NAT-T (NAT Traversal)NAT 환경에 있는 경우 ESP 대신 이 포트를 사용하여 UDP로 터널링
ESP 프로토콜 (IP 프로토콜 번호 50)암호화된 실제 데이터IKE 설정 후 데이터 트래픽에 사용됨 (포트 X, IP 프로토콜 50)
AH 프로토콜 (IP 프로토콜 번호 51)인증 전용 (거의 안 씀)선택적 사용

연결 흐름 간단 요약

  1. UDP 500으로 IKE SA 협상 시작
  2. NAT 환경이면 → NAT-T가 감지되어 UDP 4500으로 포트 전환
  3. Phase 2까지 완료되면 → ESP(IP 프로토콜 50) 또는 AH(IP 프로토콜 51)로 암호화된 데이터 전송

NAT 환경 예시

만약 장비 뒤에 NAT가 있을 경우 (예: 공유기):

  • 일반 ESP 패킷은 NAT 장비에서 막히거나 변조됨
  • 이때 NAT-T (UDP encapsulation)이 작동하여 ESP를 UDP 4500 포트로 감싸서 전송함 → NAT 환경에서도 통신 가능

참고 예시 (방화벽 설정 시)

허용해야 할 포트/프로토콜목적
UDP 500IKE Phase 1/2
UDP 4500NAT 환경에서의 IKE 및 ESP 트래픽
ESP (IP 프로토콜 50)암호화된 데이터 (터널링된 트래픽)
AH (IP 프로토콜 51)인증용 데이터 (선택적)

주의: ESP는 TCP/UDP 포트가 아니라 IP 프로토콜 번호 50입니다. 방화벽에서는 포트가 아닌 프로토콜 번호로 허용해줘야 합니다.