Subnets.ru

**Mechanic** » 18 фев 2010, 17:23

поправил правила sysctl "net.inet.ip.fw.one_pass"=1
поставил igb 1.8.4 intel 2головы
но система всеравно оч сильно нагружена

как расчитывается kern.ipc.maxsockbuf ?
cтавлю 524288 и уже не грeзится ng_nat

текущ top -SH

Код: Выделить всё: last pid: 7230; load averages: 2.14, 2.24, 1.87 up 0+00:50:26 16:19:14 124 processes: 4 running, 93 sleeping, 27 waiting CPU: 5.0% user, 0.0% nice, 37.2% system, 23.4% interrupt, 34.4% idle Mem: 70M Active, 651M Inact, 337M Wired, 2336K Cache, 199M Buf, 893M Free Swap: 5120M Total, 5120M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 2 root -68 - 0K 8K sleep 0 10:24 34.96% ng_queue0 12 root 171 ki31 0K 8K RUN 0 12:10 34.28% idle: cpu0 3 root -68 - 0K 8K sleep 0 10:23 31.59% ng_queue1 32 root -68 - 0K 8K WAIT 1 4:33 16.06% irq259: igb0 11 root 171 ki31 0K 8K RUN 1 12:35 14.06% idle: cpu1 30 root -68 - 0K 8K WAIT 0 4:57 13.87% irq258: igb0 68 root -68 - 0K 8K - 1 8:15 7.47% dummynet 41 root -68 - 0K 8K WAIT 1 1:27 5.37% irq264: igb1 39 root -68 - 0K 8K WAIT 0 2:00 4.88% irq263: igb1 861 root 8 0 32128K 18540K wait 1 1:36 2.78% mpd5

Код: Выделить всё: vpn1# ipfw list |wc -l 66

используются tablearg

Код: Выделить всё: vpn1# kldstat Id Refs Address Size Name 1 9 0x80400000 a85b28 kernel 2 1 0x80e86000 1c030 if_igb.ko 3 1 0x80ea3000 6a4e8 acpi.ko 4 1 0x87d83000 4000 ng_mppc.ko 5 1 0x87d87000 2000 rc4.ko

Код: Выделить всё: 2 users Load 0.70 1.54 1.64 Feb 18 16:21 Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER Tot Share Tot Share Free in out in out Act 82400 10012 209424 13260 1370876 count All 224432 12524 4472232 26600 pages Proc: Interrupts r p d s w Csw Trp Sys Int Sof Flt cow 16152 total 1 43 209k 74 2186 12k 994 41 5 zfod atapci0+++ ozfod uhci1++ 21 40.4%Sys 26.7%Intr 1.1%User 0.0%Nice 31.9%Idle %ozfod uhci3 ehci | | | | | | | | | | | daefr 1993 cpu0: time ====================++++++++++++++ prcfr 2023 igb0 256 26 dtbuf 30 totfr 2024 igb0 258 Namei Name-cache Dir-cache 100000 desvn react 2016 igb0 259 Calls hits % hits % 26524 numvn pdwak igb0 260 5 5 100 5146 frevn pdpgs 2020 igb1 261 intrn 2024 igb1 263 Disks ad10 151576 wire 2006 igb1 264 KB/t 0.00 72144 act igb1 265 tps 0 405252 inact 54 em0 irq266 MB/s 0.00 2336 cache 1992 cpu1: time %busy 0 1368540 free 204096 buf

при этом интерфейсов

Код: Выделить всё: vpn1# ifconfig |grep ng| wc -l 896

Код: Выделить всё: vpn1# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 79843 0 39193608 82121 0 49426255 0 75332 0 36752202 78016 0 46222968 0 74110 0 36009371 76500 0 45539169 0 74389 0 36123381 77065 0 45226497 0 78552 0 36958804 80618 0 45723578 0 75555 0 36930223 78230 0 46301027 0

**Mechanic** » 18 фев 2010, 18:11

есть еще одна машина , на которой настройки практически одинаковые, в качестве шейпер используется ng_car+ipfw в отличии о вышеописанной машинки, так вот ее top

Код: Выделить всё: last pid: 92841; load averages: 0.81, 1.42, 1.46 up 0+02:17:03 17:08:38 92 processes: 2 running, 66 sleeping, 24 waiting CPU: 0.6% user, 0.0% nice, 57.6% system, 32.1% interrupt, 9.7% idle Mem: 32M Active, 215M Inact, 55M Wired, 60K Cache, 108M Buf, 666M Free Swap: 3072M Total, 3072M Free PID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND 2 root 1 -68 - 0K 8K sleep 69:01 58.40% ng_queue0 31 root 1 -68 - 0K 8K WAIT 29:40 25.39% irq260: igb1 11 root 1 171 ki31 0K 8K RUN 25:22 13.96% idle: cpu0 26 root 1 -68 - 0K 8K WAIT 4:07 2.49% irq257: igb0 12 root 1 -32 - 0K 8K WAIT 1:48 0.39% swi4: clock sio 24 root 1 -68 - 0K 8K WAIT 0:51 0.10% irq256: igb0 29 root 1 -68 - 0K 8K WAIT 0:30 0.10% irq259: igb1 15 root 1 -16 - 0K 8K - 0:20 0.00% yarrow 671 unbound 2 4 0 28728K 18096K kqread 0:15 0.00% unbound 732 root 1 44 0 9360K 5892K select 0:10 0.00% snmpd 25 root 1 -68 - 0K 8K - 0:02 0.00% igb0 txq 30 root 1 -68 - 0K 8K - 0:02 0.00% igb1 txq 4 root 1 -8 - 0K 8K - 0:02 0.00% g_up 648 root 1 44 0 3212K 1284K select 0:02 0.00% syslogd 5 root 1 -8 - 0K 8K - 0:01 0.00% g_down 50 root 1 -64 - 0K 8K WAIT 0:01 0.00% irq14: ata0 490 root 1 44 0 4016K 2536K select 0:01 0.00% ospfd 484 root 1 44 0 3880K 2144K select 0:01 0.00% zebra 61 root 1 -16 - 0K 8K sdflus 0:00 0.00% softdepflush 3 root 1 -8 - 0K 8K - 0:00 0.00% g_event 60 root 1 20 - 0K 8K syncer 0:00 0.00% syncer 833 root 1 44 0 5904K 3528K select 0:00 0.00% sendmail 815 www 1 4 0 3592K 2288K kqread 0:00 0.00% nginx 92801 root 1 44 0 3524K 1796K RUN 0:00 0.00% top 92781 admin 1 8 0 3492K 1548K wait 0:00 0.00% sh 14 root 1 -44 - 0K 8K WAIT 0:00 0.00% swi1: net

проц утилизируется практически на 90%-100%
трафика бегает

Код: Выделить всё: vpn2# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 20051 0 10706636 20955 0 13113045 0 20245 0 10443159 21585 0 13301831 0 20082 0 10601823 21147 0 13351008 0 21363 0 11519105 22331 0 14194453 0 21678 0 11519511 22580 0 14380451 0 20161 0 10524004 21304 0 13305644 0

кол-во абонов в онлайне

Код: Выделить всё: vpn2# ifconfig | grep ng | wc -l 242

Код: Выделить всё: 1 users Load 0.63 1.12 1.32 Feb 18 17:10 Mem:KB REAL VIRTUAL VN PAGER SWAP PAGER Tot Share Tot Share Free in out in out Act 42476 4048 147480 4244 681312 count All 92256 6016 4391808 7376 pages Proc: Interrupts r p d s w Csw Trp Sys Int Sof Flt cow 8983 total 29 15k 3 478 6968 592 zfod ata0 irq14 ozfod 2010 cpu0: time 46.6%Sys 31.6%Intr 0.0%User 0.0%Nice 21.8%Idle %ozfod 1756 igb0 256 | | | | | | | | | | | daefr 1737 igb0 257 =======================++++++++++++++++ prcfr igb0 258 41 dtbuf totfr 1658 igb1 259 Namei Name-cache Dir-cache 70151 desvn react 1822 igb1 260 Calls hits % hits % 930 numvn pdwak igb1 261 53 frevn pdpgs intrn Disks ad0 56104 wire KB/t 0.00 33292 act tps 0 219932 inact MB/s 0.00 60 cache %busy 0 681252 free 110848 buf

Код: Выделить всё: vpn2# ngctl list |wc -l 1725

**root** » 19 фев 2010, 16:35

на vpn1 больше туннелей и пакетов в секунду

с недавнего времени так же столкнулись с проблемой "ng_queueХ" с ng_nat`ом
процессы

Код: Выделить всё: 1243 root 1 -68 - 0K 8K sleep 0 64:46 6.69% ng_queue4 1241 root 1 -68 - 0K 8K sleep 6 68:25 6.30% ng_queue2 1239 root 1 -68 - 0K 8K sleep 3 65:21 4.98% ng_queue0 1242 root 1 -68 - 0K 8K sleep 3 67:36 4.69% ng_queue3 1244 root 1 -68 - 0K 8K sleep 0 64:12 4.59% ng_queue5 1246 root 1 -68 - 0K 8K sleep 4 67:47 4.49% ng_queue7 1245 root 1 -68 - 0K 8K sleep 0 66:12 4.49% ng_queue6 1240 root 1 -68 - 0K 8K sleep 3 64:45 4.30% ng_queue1

начинают сильно загружаться и когда подходят к 100% то начинаются конкретные лаги и потери у пользователей
но доходя до 100% оно на секунду "замирает". а потом опять сбрасывается почти в 0% и потихоньку начинает расти
такое впечатление, что очередь забивается, а потом высвобождается
пока "лекарства" найдено не было
пакетов 50-60К через 1- ифейс, ифейсов 2, трафик по 2-м ифейсам 400-600 мбит/с

ты попробуй поиграться вот с этими параметрами:

Код: Выделить всё: net.inet.ip.fastforwarding=1 net.inet.icmp.icmplim=50 net.inet.tcp.msl=7500 net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 kern.ipc.somaxconn=4096 net.inet.ip.intr_queue_maxlen=5120 kern.ipc.maxsockbuf=8388608 net.inet.icmp.bmcastecho=0 net.inet.icmp.maskrepl=0 net.inet.icmp.drop_redirect=1 net.inet.icmp.log_redirect=0 net.inet.ip.redirect=0

а так же с

Код: Выделить всё: net.isr.direct

**Mechanic** » 19 фев 2010, 18:44

net.isr.direct игрался, при 0 системе совсем плохо, swi1:net сразу идет вверх, но при этом общее кол-во пакетов прходящих через систему ниже раза в 1,5
вот при 0

Код: Выделить всё: last pid: 25955; load averages: 1.90, 2.74, 3.07 up 0+12:16:49 17:27:48 113 processes: 4 running, 83 sleeping, 26 waiting CPU: 6.2% user, 0.0% nice, 33.3% system, 41.8% interrupt, 18.7% idle Mem: 163M Active, 12M Inact, 177M Wired, 2032K Cache, 51M Buf, 1599M Free Swap: 5120M Total, 5120M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 13 root -44 - 0K 8K CPU0 0 0:25 48.58% swi1: net 2 root -68 - 0K 8K sleep 1 252:46 38.18% ng_queue0 3 root -68 - 0K 8K sleep 0 252:41 36.38% ng_queue1 12 root 171 ki31 0K 8K RUN 0 238:27 28.47% idle: cpu0 11 root 171 ki31 0K 8K RUN 1 269:14 8.69% idle: cpu1 25953 root 98 0 5756K 3104K select 1 0:00 8.59% mysql 861 root 8 0 38272K 27240K wait 0 31:46 8.50% mpd5 25949 root -8 0 3480K 1464K piperd 1 0:00 8.50% sh 25948 root 8 0 3516K 1408K wait 0 0:00 8.50% sh 899 root 46 0 11180K 7448K select 0 6:40 2.78% snmpd 30 root -68 - 0K 8K WAIT 0 73:09 1.46% irq258: igb0 35 root -68 - 0K 8K WAIT 0 7:31 1.37% irq261: igb1 32 root -68 - 0K 8K WAIT 1 71:47 1.07% irq259: igb0 39 root -68 - 0K 8K WAIT 0 29:12 0.98% irq263: igb1 41 root -68 - 0K 8K WAIT 1 33:33 0.78% irq264: igb1

Код: Выделить всё: vpn1# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 62350 0 22619751 63502 0 29637279 0 33821 0 15133034 36919 0 14060413 0 62353 0 23069898 63517 0 30117653 0

вот трафик при 1

Код: Выделить всё: vpn1# netstat -w1 input (Total) output packets errs bytes packets errs bytes colls 108310 0 50957456 110658 0 61537580 0 87542 0 47463985 85949 0 39992871 0 104581 0 52900153 105733 0 60764187 0 111478 0 52927752 112428 0 64353758 0 113062 0 53866280 115646 0 66088044 0 106319 0 50319273 108704 0 60960652 0 104295 0 48948486 106081 0 58630300 0

из каких соображений kern.ipc.maxsockbuf=8388608 ?
как проверить сколько надо ? у меня kern.ipc.maxsockbuf: 262144
и вот этот net.inet.ip.redirect=0 , у меня при 1 - не помню что уже, но вообщем система хренова работала

параметры sysctl сейчас пересмотрю
завтра у меня приедет серверок -2ксеона, попробую на нем поиграться с оптимизацией

**root** » 24 фев 2010, 21:36

Mechanic писал(а):net.isr.direct игрался, при 0 системе совсем плохо

понятно, таже фигня и у меня, описание парама:

пакеты, приходящие через драйвер сетевой карты, могут обрабатываться сразу при sysctl net.isr.direct=1, либо сначала укладываться в очередь при нулевом значении этого параметра;

Mechanic писал(а):из каких соображений kern.ipc.maxsockbuf=8388608 ?

по методу "стучим в админский бубуен"

описание:

kern.ipc.maxsockbuf
максимальный размер TCP буфера, расчитывается 16*MAXUSERS+512, MAXUSERS указывается в ядре.

Mechanic писал(а):завтра у меня приедет серверок -2ксеона, попробую на нем поиграться с оптимизацией

попробуй конечно, посмотрим, что получится по итогу

а много у тя в через эту машину торентщиков сидит ? глянь:

Код: Выделить всё: tcpdump -ni IFACE_NAME -n udp and "ip[40:4]=0x7FFFFFFF"

много у тя такого трафика бежит ?

**Mechanic** » 28 фев 2010, 21:47

с текущим серваком нечего толком не вышло, заказал себе S3420GPLC+ Xeon X3460 , поставлю на него dual ET и попробую с оптимизацией
посмотрел трафик, да, льется его прилично, это новый торрент udp. На наге советуют дропать этот траф, но не думаю , что это правильный способ.

из каких соображений kern.ipc.maxsockbuf=8388608 ?

по методу "стучим в админский бубуен"
описание:
kern.ipc.maxsockbuf
максимальный размер TCP буфера, расчитывается 16*MAXUSERS+512, MAXUSERS указывается в ядре.

у меня стоит MAXUSERS=512. те должно получиться 8704, а у тебя по этим расчетам 524256

помойму оч заоблачное

**root** » 04 мар 2010, 13:09

Mechanic писал(а):поставлю на него dual ET

c ней под фрей траблы, заводится тока после шаманства, посему если у тя ещё есть возможность передумать, то лучше передумай
Вот почитай наш опус: Intel® Gigabit ET Dual Port Server Adapter (чип 82576) и FreeBSD

**Mechanic** » 06 мар 2010, 12:43

нету траблов, 7.2stable ее видит, только с родными дровами она работает криво, я ставил от интела 1.7.4 и 1.8.4 , с последними опции

Код: Выделить всё: dev.igb.0.enable_lro=0 dev.igb.1.enable_lro=0

не работают , нужно

Код: Выделить всё: ifconfig igb* -lro

**root** » 06 мар 2010, 14:46

Mechanic писал(а):не работают , нужно

ага, мы уже подправили статью на эту тему

**Mechanic** » 10 мар 2010, 21:10

запарила меня эта машинка

все никак не могу найти от чего связка ipfw+ng_car+ng_nat+ng_netflow+mpd5 (2) валится, а связка ipfw+dummynet+ng_nat+ng_netflow+mpd5 -работает (1)
те фактически замена шейпера с ng_car на думминет решает задачу на одинаковых машинах ?
Причем есть еще 1 машина , на которой связка ipfw+ng_car+ng_netflow без mpd5 и ng_nat работает номально

все краши системы видны здесь: http://forum.nag.ru/forum/index.php?showtopic=54562
дрова для сетевушек перебрал все вариации. ставил ЕТ, валится система и усе
сейчас обратил внимание, что в message последнее сообщение пишется em0: discard frame w/o packet header
гугль нечего вразумительного не нашел по этому поводу

Какие еще действия можно предпринять ?
есть вариант - избаваиться от серых ип (адреса получены, осталось организовать выделение)
-убрать связку ipfw+ng_car и вешать ng_car прямо на интерфейс
и .. ?

Subnets.ru

ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Re: ng_car+ipfw

Кто сейчас на конференции