HFT Network

Lab de Rede HFT - Colocation em Bolsa de Valores

Este lab simula a infraestrutura de rede de uma firma de High-Frequency Trading co-localizada em data centers de bolsas de valores, inspirado em empresas como Jump Trading, Citadel Securities e Virtu Financial.

Cenario

Sua firma opera servidores de trading em uma instalacao de colocation com conectividade direta a duas bolsas de valores (NYSE e NASDAQ). Voce deve configurar selecao deterministica de caminho primario/backup, deteccao de failover sub-segundo, protecao contra vazamento de rotas e distribuicao de market data via multicast para garantir que sua infraestrutura de trading nunca perca uma atualizacao.

Topologia

Tipos de Conexao no Mundo Real

Na infraestrutura real de HFT, cada segmento da rede usa um tipo de conexao fisica diferente, otimizado para latencia e distancia:

Dentro do Data Center da Bolsa (Exchange ↔ Colo Routers)

Os roteadores da firma ficam no mesmo predio que o matching engine da bolsa — distancias de 10 a 100 metros. As conexoes usam:

Conexao	Meio Fisico	Distancia	Latencia
Exchange ↔ Colo Primary	Twinax DAC (Direct Attach Copper) ou Short-Range Fiber (SR) — SFP+ 10G/SFP28 25G com fibra OM4 multimodo	1-100m	~5ns/metro
Exchange ↔ Colo Backup	Idem — caminho fisico independente pelo data center (diversidade de patch panels e switches de acesso)	1-100m	~5ns/metro
Multicast Source → Exchange Router	Twinax DAC — conexao mais curta possivel entre o feed server da bolsa e o roteador de distribuicao	<10m	~50ns total

Nota: Firmas como Citadel e Jump Trading especificam ate o comprimento exato dos cabos para garantir que todas as firmas no colo tenham a mesma latencia ate o matching engine — isso e chamado de equalized cable length e e uma exigencia regulatoria em algumas bolsas.

Entre Data Centers (ColoPrimary ↔ ColoBackup)

Quando a firma opera em dois data centers diferentes (ex: NY4 e NY5 em Secaucus, NJ — ambos usados pela NYSE/NASDAQ), as conexoes entre colos usam:

Conexao	Meio Fisico	Distancia	Latencia
Colo Primary ↔ Colo Backup (mesma cidade)	Dark Fiber — par de fibra dedicado e exclusivo, sem equipamento ativo no meio. Firmas como Spread Networks e McKay Brothers vendem/alugam rotas de dark fiber otimizadas	1-50km	~5us/km
Colo Primary ↔ Colo Backup (longa distancia)	DWDM (Dense Wavelength Division Multiplexing) — multiplexacao de comprimentos de onda em fibra existente. Usado para Chicago ↔ New Jersey (~1,200km, ~6ms one-way)	100-2000km	~5us/km
Alternativa de ultra-baixa latencia	Microondas/Millimeter Wave — links ponto-a-ponto pelo ar (velocidade da luz no vacuo e ~30% mais rapida que na fibra). Jump Trading investiu $14M em torres de microondas Chicago-NJ	100-1000km	~3.3us/km

Segmentos LAN (Router ↔ Feed Handler)

Dentro do rack da firma, entre o roteador de colo e os servidores de trading:

Conexao	Meio Fisico	Distancia	Latencia
Colo Router ↔ Feed Handler	Twinax DAC 25G/100G ou AOC (Active Optical Cable) — conexao direta sem switch intermediario quando possivel	<5m	<50ns
Entre servidores (risk, pricing, OMS)	InfiniBand HDR (200Gbps) ou RoCEv2 sobre 100GbE — RDMA para transferencia de dados sem copia de kernel	<10m	~1us
NIC dos servidores	Mellanox/NVIDIA ConnectX-7 ou Solarflare X2522 — NICs com suporte a kernel bypass (DPDK/OpenOnload) e hardware timestamping com precisao de nanosegundos	-	-

Neste lab, todas as conexoes sao simuladas como links Ethernet ponto-a-ponto no ContainerLab. Os conceitos de roteamento (BGP, BFD, PIM-SM) sao identicos independentemente do meio fisico.

Referencia de IPs — Links eBGP

Link	Sub-rede	Dispositivo A	Dispositivo B
NYSE - ColoPrimary	10.0.12.0/30	r1 Eth0/1 = .1	r2 Eth0/1 = .2
NYSE - ColoBackup	10.0.14.0/30	r1 Eth0/2 = .1	r4 Eth0/1 = .2
NASDAQ - ColoPrimary	10.0.32.0/30	r3 Eth0/1 = .1	r2 Eth0/2 = .2
NASDAQ - ColoBackup	10.0.34.0/30	r3 Eth0/2 = .1	r4 Eth0/2 = .2
ColoPrimary - ColoBackup	10.0.24.0/30	r2 Eth0/3 = .1	r4 Eth0/3 = .2

Referencia de IPs — Segmentos Multicast

Segmento	Sub-rede	Roteador	Host Linux
NYSE Market Data Source	10.1.1.0/24	r1 Eth0/3 = .1	src-nyse eth1 = .10
NASDAQ Market Data Source	10.3.1.0/24	r3 Eth0/3 = .1	src-nasdaq eth1 = .10
Feed Handler Primario	10.2.1.0/24	r2 Eth0/4 = .1	feed-handler eth1 = .10
Feed Handler Backup	10.4.1.0/24	r4 Eth0/4 = .1	feed-handler-bk eth1 = .10

Grupos Multicast

Grupo	Feed	Origem
239.1.1.1	NYSE Quotes (Top of Book)	src-nyse (10.1.1.10)
239.1.1.2	NYSE Trades	src-nyse (10.1.1.10)
239.2.1.1	NASDAQ Quotes (Top of Book)	src-nasdaq (10.3.1.10)
239.2.1.2	NASDAQ Trades	src-nasdaq (10.3.1.10)

Loopbacks

Dispositivo	Loopback0	AS
r1 (NYSE)	1.1.1.1/32	65001
r2 (ColoPrimary)	2.2.2.2/32	65002
r3 (NASDAQ)	3.3.3.3/32	65003
r4 (ColoBackup)	4.4.4.4/32	65004