Subnets.ru

**vasy rogov** » 11 окт 2011, 12:54

Есть сервер Intel SR2600urlx. Пытаюсь сделать из него шэйпер с помощью Dummynet.

sr2600# uname -a
FreeBSD sr2600 8.2-STABLE FreeBSD 8.2-STABLE

Набор правил ipfw:

Код: Выделить всё: ${FwCMD} add pipe 1 ip from table$1$ to any in ${FwCMD} add pipe 2 ip from table$2$ to any in ${FwCMD} add pipe 3 ip from table$3$ to any in ${FwCMD} add pipe 4 ip from table$4$ to any in ${FwCMD} add pipe 5 ip from table$5$ to any in ${FwCMD} add pipe 6 ip from table$6$ to any in ${FwCMD} add pipe 7 ip from table$7$ to any in ${FwCMD} add pipe 8 ip from table$8$ to any in ${FwCMD} add pipe 9 ip from table$9$ to any in ${FwCMD} add pipe 10 ip from table$10$ to any in ${FwCMD} add pipe 100 ip from table$100$ to any in ${FwCMD} add pipe 11 ip from any to table$1$ out ${FwCMD} add pipe 12 ip from any to table$2$ out ${FwCMD} add pipe 13 ip from any to table$3$ out ${FwCMD} add pipe 14 ip from any to table$4$ out ${FwCMD} add pipe 15 ip from any to table$5$ out ${FwCMD} add pipe 16 ip from any to table$6$ out ${FwCMD} add pipe 17 ip from any to table$7$ out ${FwCMD} add pipe 18 ip from any to table$8$ out ${FwCMD} add pipe 19 ip from any to table$9$ out ${FwCMD} add pipe 20 ip from any to table$10$ out ${FwCMD} add pipe 101 ip from any to table$100$ out ${FwCMD} pipe 1 config mask src-ip 0xffffffff bw 64kbit/s ${FwCMD} pipe 11 config mask dst-ip 0xffffffff bw 64kbit/s ${FwCMD} pipe 2 config mask src-ip 0xffffffff bw 128kbit/s ${FwCMD} pipe 12 config mask dst-ip 0xffffffff bw 128kbit/s ${FwCMD} pipe 3 config mask src-ip 0xffffffff bw 256kbit/s ${FwCMD} pipe 13 config mask dst-ip 0xffffffff bw 256kbit/s ${FwCMD} pipe 4 config mask src-ip 0xffffffff bw 512kbit/s ${FwCMD} pipe 14 config mask dst-ip 0xffffffff bw 512kbit/s ${FwCMD} pipe 5 config mask src-ip 0xffffffff bw 1024kbit/s ${FwCMD} pipe 15 config mask dst-ip 0xffffffff bw 1024kbit/s ${FwCMD} pipe 6 config mask src-ip 0xffffffff bw 2048bit/s ${FwCMD} pipe 16 config mask dst-ip 0xffffffff bw 2048bit/s ${FwCMD} pipe 7 config mask src-ip 0xffffffff bw 3072kbit/s queue 50KBytes ${FwCMD} pipe 17 config mask dst-ip 0xffffffff bw 3072kbit/s queue 50KBytes ${FwCMD} pipe 8 config mask src-ip 0xffffffff bw 4096bit/s ${FwCMD} pipe 18 config mask dst-ip 0xffffffff bw 4096bit/s ${FwCMD} pipe 9 config mask src-ip 0xffffffff bw 5120kbit/s ${FwCMD} pipe 19 config mask dst-ip 0xffffffff bw 5120kbit/s ${FwCMD} pipe 10 config mask src-ip 0xffffffff bw 10240kbit/s ${FwCMD} pipe 20 config mask dst-ip 0xffffffff bw 10240kbit/s ${FwCMD} pipe 100 config mask src-ip 0xffffffff bw 64kbit/s ${FwCMD} pipe 101 config mask dst-ip 0xffffffff bw 64kbit/s

Клиентов пока порядка ~400, на клиента выделяется сеть/30, в таблицу сеткой и добавляются.

Проблема в том, что когда включаю ipfw перестает ходить интернет, при пинге клиентских ипов пишет "ping: sendto: No buffer space available". При попытке пинга клиентом "мир" по tcpdump'у вижу эхо-регуест и эхо-ансвер, но клиент утверждает что у него пинг отвечает "превышен интервал.."

В час пик на роутере статистика:

sr2600# netstat -dhw1

Код: Выделить всё: input (Total) output packets errs idrops bytes packets errs bytes colls drops 129k 0 0 89M 134k 0 92M 0 0 140k 0 0 101M 145k 0 105M 0 0 149k 0 0 105M 154k 0 108M 0 0 143k 0 0 104M 147k 0 108M 0 0 134k 0 0 95M 138k 0 98M 0 0 142k 0 0 103M 146k 0 106M 0 0 126k 0 0 87M 130k 0 90M 0 0 147k 0 0 102M 152k 0 106M 0 0 143k 0 0 100M 149k 0 104M 0 0 142k 0 0 103M 146k 0 107M 0 0 137k 0 0 97M 142k 0 100M 0 0 128k 0 0 88M 133k 0 92M 0 0

sr2600# top -SIP

Код: Выделить всё: last pid: 42195; load averages: 1.28, 1.15, 1.08 up 32+14:10:25 13:40:15 230 processes: 19 running, 154 sleeping, 57 waiting CPU 0: 0.0% user, 0.0% nice, 0.6% system, 8.4% interrupt, 91.0% idle CPU 1: 0.0% user, 0.0% nice, 0.6% system, 11.2% interrupt, 88.2% idle CPU 2: 0.0% user, 0.0% nice, 0.0% system, 11.8% interrupt, 88.2% idle CPU 3: 0.0% user, 0.0% nice, 0.0% system, 13.5% interrupt, 86.5% idle CPU 4: 0.0% user, 0.0% nice, 2.2% system, 0.0% interrupt, 97.8% idle CPU 5: 2.3% user, 0.0% nice, 1.1% system, 0.0% interrupt, 96.6% idle CPU 6: 0.0% user, 0.0% nice, 4.5% system, 0.0% interrupt, 95.5% idle CPU 7: 0.0% user, 0.0% nice, 6.2% system, 0.0% interrupt, 93.8% idle CPU 8: 0.0% user, 0.0% nice, 7.9% system, 0.0% interrupt, 92.1% idle CPU 9: 0.0% user, 0.0% nice, 1.1% system, 0.0% interrupt, 98.9% idle CPU 10: 0.0% user, 0.0% nice, 6.7% system, 0.0% interrupt, 93.3% idle CPU 11: 0.6% user, 0.0% nice, 4.5% system, 0.0% interrupt, 94.9% idle CPU 12: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 13: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 14: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 15: 0.0% user, 0.0% nice, 0.0% system, 5.6% interrupt, 94.4% idle Mem: 282M Active, 664M Inact, 767M Wired, 164K Cache, 821M Buf, 6109M Free Swap: 4096M Total, 4096M Free PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 16 171 ki31 0K 256K CPU0 0 ??? 1548.05% idle 12 root 57 -68 - 0K 912K WAIT 3 240.9H 56.25% intr 0 root 35 -68 0 0K 544K - 12 143.3H 37.55% kernel 59894 bind 1 45 0 106M 104M kqread 11 527:36 3.96% named 17045 root 1 45 0 300M 294M select 9 293:44 2.20% bgpd

Поллинг не включен.

На сколько я понимаю это происходит потому, что забиваются очереди пайпов, но при такой же конфигурации должно выделяться на каждый ип своя очередь/пайп или же все таки получается, что на каждую таблицу именно один пайп выделяется с одной очередью пакетов на всех? Ведь если бы на каждого клиента выделялся бы свой пайп, не могут же все разом свои очереди забить...

ЗЫ сумбурно, но смысл уловить можно, а так ниид хелп

**root** » 12 окт 2011, 10:04

показывай выводы команд:

Код: Выделить всё: sysctl net.inet.ip.fw.one_pass

Код: Выделить всё: ipfw show

Код: Выделить всё: ipfw pipe list

**Андрей** » 12 окт 2011, 12:01

vasy rogov писал(а):Проблема в том, что когда включаю ipfw перестает ходить интернет, при пинге клиентских ипов пишет "ping: sendto: No buffer space available".

Не так давно устанавливал еще 1 сервер доступа, подобное сообщение получал от того, что не правильно настроил "датчик" биллинговой системы. Он должен добавлять или удалять правило хождения абона в "мир". Правило было сделано на отказ.

**vasy rogov** » 12 окт 2011, 15:28

sysctl net.inet.ip.fw.one_pass

Код: Выделить всё: net.inet.ip.fw.one_pass: 1

Про это я уже думал, спецом стоит 1 что бы в следующий пайп не пападали пакеты.

ipfw show

Код: Выделить всё: 00100 0 0 pipe 1 ip from table(1) to any in 00200 0 0 pipe 2 ip from table(2) to any in 00300 0 0 pipe 3 ip from table(3) to any in 00400 0 0 pipe 4 ip from table(4) to any in 00500 0 0 pipe 5 ip from table(5) to any in 00600 0 0 pipe 6 ip from table(6) to any in 00700 0 0 pipe 7 ip from table(7) to any in 00800 0 0 pipe 8 ip from table(8) to any in 00900 16151 3546471 pipe 9 ip from table(9) to any in 01000 0 0 pipe 10 ip from table(10) to any in 01100 0 0 pipe 100 ip from table(100) to any in 01200 0 0 pipe 11 ip from any to table(1) out 01300 0 0 pipe 12 ip from any to table(2) out 01400 0 0 pipe 13 ip from any to table(3) out 01500 0 0 pipe 14 ip from any to table(4) out 01600 0 0 pipe 15 ip from any to table(5) out 01700 0 0 pipe 16 ip from any to table(6) out 01800 0 0 pipe 17 ip from any to table(7) out 01900 0 0 pipe 18 ip from any to table(8) out 02000 22458 26576659 pipe 19 ip from any to table(9) out 02100 0 0 pipe 20 ip from any to table(10) out 02200 0 0 pipe 101 ip from any to table(100) out 65535 164452240935 117060508793366 allow ip from any to any

ipfw pipe list

Код: Выделить всё: 00001: 64.000 Kbit/s 0 ms burst 0 q131073 50 sl. 0 flows (1 buckets) sched 65537 weight 0 lmax 0 pri 0 droptail sched 65537 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00002: 128.000 Kbit/s 0 ms burst 0 q131074 50 sl. 0 flows (1 buckets) sched 65538 weight 0 lmax 0 pri 0 droptail sched 65538 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00003: 256.000 Kbit/s 0 ms burst 0 q131075 50 sl. 0 flows (1 buckets) sched 65539 weight 0 lmax 0 pri 0 droptail sched 65539 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00004: 512.000 Kbit/s 0 ms burst 0 q131076 50 sl. 0 flows (1 buckets) sched 65540 weight 0 lmax 0 pri 0 droptail sched 65540 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00005: 1.024 Mbit/s 0 ms burst 0 q131077 50 sl. 0 flows (1 buckets) sched 65541 weight 0 lmax 0 pri 0 droptail sched 65541 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00006: 2.048 Kbit/s 0 ms burst 0 q131078 50 sl. 0 flows (1 buckets) sched 65542 weight 0 lmax 0 pri 0 droptail sched 65542 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00007: 3.072 Mbit/s 0 ms burst 0 q131079 50 KB 0 flows (1 buckets) sched 65543 weight 0 lmax 0 pri 0 droptail sched 65543 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00008: 4.096 Kbit/s 0 ms burst 0 q131080 50 sl. 0 flows (1 buckets) sched 65544 weight 0 lmax 0 pri 0 droptail sched 65544 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00009: 5.120 Mbit/s 0 ms burst 0 q131081 50 sl. 0 flows (1 buckets) sched 65545 weight 0 lmax 0 pri 0 droptail sched 65545 type FIFO flags 0x1 100 buckets 1 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 223 ip х.х.х.2/0 0.0.0.0/0 5691 5976942 0 0 195 00010: 10.240 Mbit/s 0 ms burst 0 q131082 50 sl. 0 flows (1 buckets) sched 65546 weight 0 lmax 0 pri 0 droptail sched 65546 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00011: 64.000 Kbit/s 0 ms burst 0 q131083 50 sl. 0 flows (1 buckets) sched 65547 weight 0 lmax 0 pri 0 droptail sched 65547 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00012: 128.000 Kbit/s 0 ms burst 0 q131084 50 sl. 0 flows (1 buckets) sched 65548 weight 0 lmax 0 pri 0 droptail sched 65548 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00013: 256.000 Kbit/s 0 ms burst 0 q131085 50 sl. 0 flows (1 buckets) sched 65549 weight 0 lmax 0 pri 0 droptail sched 65549 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00014: 512.000 Kbit/s 0 ms burst 0 q131086 50 sl. 0 flows (1 buckets) sched 65550 weight 0 lmax 0 pri 0 droptail sched 65550 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00015: 1.024 Mbit/s 0 ms burst 0 q131087 50 sl. 0 flows (1 buckets) sched 65551 weight 0 lmax 0 pri 0 droptail sched 65551 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00017: 3.072 Mbit/s 0 ms burst 0 q131089 50 KB 0 flows (1 buckets) sched 65553 weight 0 lmax 0 pri 0 droptail sched 65553 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00016: 2.048 Kbit/s 0 ms burst 0 q131088 50 sl. 0 flows (1 buckets) sched 65552 weight 0 lmax 0 pri 0 droptail sched 65552 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00019: 5.120 Mbit/s 0 ms burst 0 q131091 50 sl. 0 flows (1 buckets) sched 65555 weight 0 lmax 0 pri 0 droptail sched 65555 type FIFO flags 0x1 100 buckets 1 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 181 ip 0.0.0.0/0 х.х.х.2/0 1009 520981 47 61628 10 00018: 4.096 Kbit/s 0 ms burst 0 q131090 50 sl. 0 flows (1 buckets) sched 65554 weight 0 lmax 0 pri 0 droptail sched 65554 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00020: 10.240 Mbit/s 0 ms burst 0 q131092 50 sl. 0 flows (1 buckets) sched 65556 weight 0 lmax 0 pri 0 droptail sched 65556 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00100: 64.000 Kbit/s 0 ms burst 0 q131172 50 sl. 0 flows (1 buckets) sched 65636 weight 0 lmax 0 pri 0 droptail sched 65636 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0xffffffff/0x0000 -> 0x00000000/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp 00101: 64.000 Kbit/s 0 ms burst 0 q131173 50 sl. 0 flows (1 buckets) sched 65637 weight 0 lmax 0 pri 0 droptail sched 65637 type FIFO flags 0x1 100 buckets 0 active mask: 0x00 0x00000000/0x0000 -> 0xffffffff/0x0000 BKT Prot ___Source IP/port____ ____Dest. IP/port____ Tot_pkt/bytes Pkt/Byte Drp

Все показатели сняты в момент когда в таблице только один ип, не чего сейчас не "тупит", понятно что лучше бы привести показатели в момент всех забитых клиентов, но это черевато очень.... но если мыслей не будет, то сниму показания в момент "иступления"

**lehisnoe** » 12 окт 2011, 17:43

У нас есть практика не очень хорошего поведения системы при конфигурации pipe'ов, используя направление out, вследствие чего мы всегда используем только направление in с указанием ифейса.
В твоем случае, я бы попробовал переписать правила таким образом:

Код: Выделить всё: ${FwCMD} add pipe 1 ip from table$1$ to any via $loc in ${FwCMD} add pipe 11 ip from any to table$1$ via $ext in

где $loc - интерфейс, смотрящий в локалку, $ext - интерфейс, смотрящий во вне.

**root** » 13 окт 2011, 07:55

+1 к lehisnoe

я бы ещё попробовал убрать конфигурацию mask из пайпов

Код: Выделить всё: pipe 7004 config bw 8Kbit/s pipe 7005 config bw 18Kbit/s

и посмотрел бы себя тачка ощущала при таком варианте

**vasy rogov** » 13 окт 2011, 16:44

lehisnoe писал(а):
Код: Выделить всё
${FwCMD} add pipe 1 ip from table$1$ to any via $loc in ${FwCMD} add pipe 11 ip from any to table$1$ via $ext in

где $loc - интерфейс, смотрящий в локалку, $ext - интерфейс, смотрящий во вне.

Проблема в том, что на каждого клиента выделяется влан, соответственно придется перечислить все вланы, на выход проще - всего два.

root писал(а):я бы ещё попробовал убрать конфигурацию mask из пайпов

Код: Выделить всё
pipe 7004 config bw 8Kbit/s
pipe 7005 config bw 18Kbit/s

А разве тогда не получится, что на каждую таблицу будет создан один пайп и скорость будет у всех ипов сумарная?

**root** » 14 окт 2011, 07:27

vasy rogov писал(а):что на каждого клиента выделяется влан, соответственно придется перечислить все вланы

зачем перечислять все, если можно указать по маске:

Код: Выделить всё: via vlan* in

Subnets.ru

FreeBSD Pipe

FreeBSD Pipe

Re: FreeBSD Pipe

Re: FreeBSD Pipe

Re: FreeBSD Pipe

Re: FreeBSD Pipe

Re: FreeBSD Pipe

Re: FreeBSD Pipe

Re: FreeBSD Pipe

Кто сейчас на конференции