Koneksi VPN IPSec Kantor Drop Putus Nyambung

Mimpi buruk setiap manajer IT adalah mendapat telepon di tengah malam dari kepala cabang, berteriak bahwa sistem ERP (Enterprise Resource Planning) mendadak tidak bisa menyimpan data. Setelah diperiksa log servernya, masalahnya selalu berulang pada titik yang sama: tunnel VPN (Virtual Private Network) yang menghubungkan kantor cabang ke kantor pusat tiba-tiba terputus (dropped). Anda merestart router Mikrotik atau Fortigate, koneksi kembali hijau selama beberapa jam, lalu terputus lagi tanpa peringatan.

Banyak teknisi buru-buru menyalahkan perangkat keras. Mereka mengganti router dengan seri yang lebih mahal, tapi penyakit putus-nyambung ini tetap bertahan. Masalah sesungguhnya tidak terletak pada mesin di atas meja Anda, melainkan pada karakter alami jalur internet broadband yang Anda sewa. Menghubungkan dua sistem krusial perusahaan menggunakan jalur internet kelas rumahan (meski berkecepatan tinggi) adalah sebuah pertaruhan arsitektur yang berisiko fatal.

Mengapa VPN IPSec Terputus di Jalur Broadband?

Koneksi VPN IPSec putus nyambung karena sambungan Broadband Anda mengalami pergantian rute (Dynamic Routing) oleh sistem pusat ISP secara otomatis, atau terkena limitasi NAT (Network Address Translation) sesi. Solusi mutlaknya adalah mengubah koneksi di sisi cabang menggunakan layanan IP Public Statis.

skema topologi penyebab vpn ipsec putus akibat dynamic routing dan cgnat pada jalur broadband
skema topologi penyebab vpn ipsec putus akibat dynamic routing dan cgnat pada jalur broadband

Mari kita bedah anatomi jalurnya. Koneksi broadband rumahan dirancang untuk aktivitas yang mentolerir jeda, seperti browsing web atau streaming video. Saat Anda menonton Netflix dan ISP tiba-tiba membelokkan rute data Anda melalui kabel laut yang berbeda karena alasan load balancing internal mereka, Anda tidak akan menyadarinya. Aplikasi streaming memiliki sistem buffer (penampungan data) yang menutupi jeda sepersekian detik tersebut.

Namun, protokol IPSec sangat sensitif dan parno (paranoid). IPSec tidak hanya membungkus data, tapi juga menyegelnya dengan stempel waktu dan tanda tangan keamanan algoritmik. Saat paket IPSec sedang melaju dan tiba-tiba ISP melakukan dynamic routing yang menyebabkan jeda ping (latensi) melompat drastis, atau merubah rute sehingga paket datang dengan urutan yang kacau (Out of Order Packets), mesin IPSec di kantor pusat akan curiga. Sistem akan mengira paket tersebut adalah hasil bajakan siber (Man-in-the-Middle attack). Detik itu juga, demi keamanan, kantor pusat akan menghancurkan terowongan (tunnel) dan memutus sesi secara paksa (Drop/Tear down).

Limitasi Sesi CGNAT (Carrier-Grade NAT)

Faktor pembunuh VPN kedua adalah monster bernama CGNAT. Saat ini, persediaan IPv4 di dunia sudah habis. Untuk mengakalinya, ISP internet rumahan tidak lagi memberikan satu IP Public untuk satu rumah. Mereka menaruh satu router raksasa di sentral, dan satu IP Public tersebut dipakai keroyokan oleh ratusan rumah di satu area. Ini yang disebut CGNAT.

Router CGNAT milik ISP ini harus mencatat jutaan sesi lalu lintas dari setiap rumah. Agar prosesor router ISP tidak jebol, mereka membatasi “umur” sebuah sesi (Session Timeout). Jika terowongan VPN IPSec kantor Anda sedang sepi data (idle) karena karyawan sedang istirahat makan siang, router CGNAT ISP akan menganggap koneksi itu sudah mati dan menghapusnya dari daftar antrean (Flush Session).

Sore harinya, saat karyawan cabang mencoba mengirim laporan transaksi, paket data tersebut menabrak tembok buntu karena jalurnya sudah dihapus oleh ISP. VPN Anda terputus sepihak. Ini adalah penjelasan teknis mengapa banyak jaringan kantor cabang hancur lebur jika hanya mengandalkan jaringan perumahan tanpa IP khusus. Jika perusahaan Anda ingin serius, pelajari Harga Sewa IP Public Statis B2B Indonesia sebagai fondasi awal membangun jaringan antar cabang yang kebal dari pemutusan sepihak ISP.

Troubleshoot Protokol ESP (Protocol 50) yang Diblokir

Selain masalah rute dan NAT, IPSec seringkali tercekik oleh firewall ISP sendiri. Berbeda dengan browsing web yang menggunakan protokol TCP (Transmission Control Protocol) port 80 atau 443, IPSec murni beroperasi di atas protokol yang sama sekali berbeda, yaitu ESP (Encapsulating Security Payload – Protocol 50) dan AH (Authentication Header – Protocol 51), ditambah UDP port 500 (untuk IKE) dan UDP port 4500 (untuk NAT-T).

ilustrasi penyumbatan protokol esp 50 pada firewall isp mencegah koneksi ipsec phase 2
ilustrasi penyumbatan protokol esp 50 pada firewall isp mencegah koneksi ipsec phase 2

Masalahnya, banyak ISP kelas konsumen (terutama provider seluler dan beberapa provider fiber rumahan) memasang firewall ketat yang secara default (bawaan pabrik) memblokir atau men-drop trafik ESP Protocol 50. Mereka menganggap trafik enkripsi aneh ini berpotensi membahayakan jaringan internal mereka atau menyedot terlalu banyak resource pemrosesan. Saat Anda mencoba membangun tunnel (Phase 1 IKE berhasil), proses akan selalu berhenti di Phase 2 (IPSec SA) karena paket ESP-nya nyangkut di tengah jalan.

Cara mengatasinya dari sisi Anda adalah dengan “memaksa” IPSec menggunakan jalur alternatif. Pastikan fitur NAT Traversal (NAT-T) aktif di kedua ujung router. NAT-T sangat jenius; ia akan menyembunyikan protokol ESP yang dibenci ISP tersebut dengan cara membungkusnya lagi ke dalam paket UDP biasa (berjalan di atas port 4500). ISP akan tertipu dan mengira itu hanya lalu lintas aplikasi standar, sehingga membiarkannya lewat dengan aman.

Penyesuaian Ukuran MTU (Maximum Transmission Unit) pada Tunnel VPN

Jika terowongan berhasil terbentuk (Status: Connected) tetapi karyawan mengeluh akses web intranet kantor pusat terasa sangat lambat, atau halaman web setengah terbuka lalu nge-hang, maka Anda sedang berhadapan dengan masalah mematikan bernama Fragmentasi MTU.

Bayangkan pipa saluran air. Kabel internet biasa memiliki kapasitas standar pipa (MTU) sebesar 1500 byte. Namun, saat Anda menggunakan IPSec, paket data Anda harus dibungkus dengan berbagai lapisan keamanan (seperti baju zirah besi) sebelum masuk ke pipa tersebut. Baju zirah IPSec ini memakan ruang sekitar 50 hingga 60 byte. Akibatnya, paket data utuh sebesar 1500 byte ditambah baju zirah 60 byte menjadi 1560 byte. Paket ini terlalu gemuk untuk masuk ke pipa standar ISP!

Ketika dipaksa masuk, ISP akan memecah (fragmentasi) paket gemuk tersebut menjadi dua bagian yang lebih kecil. Proses memecah dan menyatukan kembali paket di ujung tujuan ini sangat menguras tenaga CPU router dan memakan waktu (delay). Bahkan, ada ISP yang saking pelitnya, mereka tidak mau repot memecah data dan langsung membuang paket gemuk tersebut ke tong sampah jaringan (Drop Blackhole).

Solusi teknisnya adalah melakukan diet ketat sejak dari pintu keluar. Anda wajib mempelajari Efek MTU Size & MSS Clamping. Turunkan nilai MTU di interface virtual VPN Anda (misalnya menjadi 1400 atau 1420), dan aktifkan aturan MSS Clamping (Change MSS) di firewall Mangle. Ini memaksa setiap komputer di kantor cabang untuk mengecilkan ukuran data mereka sedari awal sebelum dibungkus oleh IPSec, sehingga bisa meluncur mulus tanpa pecah di tengah jalan.

Realita Menyebalkan di Lapangan (Catatan Teknisi)

Minggu lalu tim kami nanganin komplain panik dari klien ekspedisi di daerah Tanjung Priok. Mereka punya 5 cabang kecil yang nyambung ke server pusat pakai Mikrotik. Nah, 3 cabangnya aman, tapi 2 cabang ini IPSec-nya putus nyambung persis tiap jam 2 siang sama jam 8 malem. Pusing kepala admin mereka nyari salahnya di mana, kirain mikrotiknya kepanasan atau kabelnya digigit tikus.

Pas saya login dan cek log IP-nya, ketauan banget masalahnya. Itu 2 cabang pakai internet paketan murah meriah yang IP-nya gonta-ganti mulu. Tiap ISP ngereset masa sewa IP (DHCP Lease Time), IP Public mereka berubah. Otomatis tunnel IPSec di kantor pusat bingung dong, “Loh ini temen saya yang tadi IP-nya 110.x.x.x kemana? Kok tiba-tiba yang ngetuk pintu IP-nya 180.x.x.x?”. Ya jelas sama pusat langsung diblokir karena dikira hacker.

Kasus kayak gini gak akan selesai cuma dengan ngerestart alat. Kita akhirnya maksa manajemen mereka buat migrasiin koneksi 2 cabang itu ke paketan Internet IP Public Statis Bebas RTO. Memang secara tagihan bulanan naik lumayan, tapi coba itung kerugian operasional kalau truk ekspedisi gagal jalan gara-gara surat jalannya gak bisa diprint karena sistem putus. Sejak pakai IP Statis, tunnel IPSec mereka sampai hari ini anteng, uptime tembus 40 hari non-stop tanpa bengong.

Solusi Masa Depan: Evaluasi Arsitektur SD-WAN

Terus terang, mengandalkan IPSec tradisional (Site-to-Site VPN) untuk menghubungkan puluhan cabang di era cloud sekarang ini sudah mulai ditinggalkan oleh perusahaan besar (Enterprise). Mengelola aturan firewall, menyamakan MTU, dan mengecek sertifikat IPSec satu per satu untuk puluhan router adalah pekerjaan yang tidak efisien dan rentan kesalahan manusia (human error).

Teknologi telah bergeser ke arah arsitektur Software-Defined Wide Area Network. Sistem ini membuang jauh-jauh kerumitan command line IPSec kuno. Anda wajib melirik Provider Internet SD-WAN Solusi Banyak Cabang jika topologi Anda semakin membengkak.

Keajaiban SD-WAN terletak pada orkestrasi otomatis. Perangkat di cabang tidak perlu Anda setting IPSec-nya. Begitu dicolok internet (apapun jenis providernya), alat itu akan otomatis mencari server pusat (Zero Touch Provisioning), membangun terowongan enkripsi secara otomatis, dan yang paling penting: memiliki kecerdasan buatan untuk mengukur MTU, latensi, dan packet loss setiap detik. Jika jalur A sedang macet parah, SD-WAN akan seketika memindahkan lalu lintas data ERP ke jalur B tanpa memutus sesi (seamless failover). Karyawan Anda bahkan tidak akan sadar bahwa internet baru saja mengalami gangguan berat.

FAQ

Kenapa IPSec saya cuma bisa Phase 1 tapi Phase 2 selalu gagal nyambung?

Ini gejala paling klasik dari masalah NAT atau Firewall ISP. Phase 1 (IKE) yang pakai port UDP 500 biasanya lolos karena cuma negosiasi awal. Tapi pas masuk Phase 2, router mulai ngirim data asli pakai protokol ESP (Protocol 50). Banyak ISP rumahan memblokir mentah-mentah lalu lintas ESP ini. Solusinya: centang atau aktifkan fitur “Force NAT Traversal (NAT-T)” di pengaturan IPSec Anda supaya paketnya dibungkus ulang pakai UDP port 4500 yang diizinkan ISP.

Apakah ganti router Mikrotik ke seri yang CPU-nya gede bisa bikin VPN gak putus?

Nggak ngaruh sama sekali kalau akar masalahnya ada di Dynamic IP dari ISP. Sebesar apapun CPU router Anda (misal pakai CCR series), kalau tiba-tiba kabel bawah laut ISP digigit hiu atau IP Public Anda di-reset sama sentral mereka, tunnel IPSec tetap bakal ambruk. Upgrade hardware cuma berguna kalau kecepatan transfer data VPN Anda (Throughput) mentok atau lemot akibat CPU router lama nggak kuat ngitung proses enkripsi data (misal AES-256).

Kenapa setelah VPN nyambung, buka web lokal kantor rasanya berat banget padahal ping-nya kecil?

Ini hampir dipastikan masalah Fragmentasi MTU. Paket data Anda “terlalu gemuk” karena ketambahan seragam keamanan IPSec, sehingga nyangkut atau harus dipecah paksa saat melewati kabel ISP. Ping itu ukuran paketnya super kecil (cuma 32 byte), makanya lancar jaya. Tapi pas buka web (ukurannya ribuan byte), dia nyangkut. Masuk ke pengaturan firewall, cari Mangle, lalu set TCP MSS Clamping ke angka yang lebih kecil (misal 1300 atau 1360).

Berapa sisa bandwidth asli setelah dilewatkan ke tunnel enkripsi IPSec?

Ada yang namanya “Encryption Overhead”. Proses enkripsi data itu butuh ruang ekstra. Secara kasar, Anda akan kehilangan sekitar 10% hingga 15% dari total kecepatan bandwidth Anda hanya untuk menampung kode-kode keamanan (header) IPSec. Jadi kalau internet cabang 100 Mbps, kecepatan maksimal yang bisa disedot pas narik file dari server pusat paling mentok di kisaran 85 Mbps. Sisa 15 Mbps-nya menguap buat biaya keamanan udara.

INFORMASI BERLANGGANAN INTERNET