ng_car+ipfw

[lehisnoe]

1. У меня осталось стойкое впечатление. что дрова от яндекса для роутеров, как минимум, не лучший вариант (в отличие от хостинговых машинок). А посему в наших изысканиях мы остановились на дровах от Intel.
2. Чудес не бывает, если софт на машинах ПОЛНОСТЬЮ одинаковый, то единственным логическим выводом м.б. только то, что проблема в железе.
3. Проблема в железе может проявляться, в т.ч., и только под серьезной нагрузкой (как у нас, но у нас еще эпопея не закончена), а при средней и слабой нагрузке машинка может себя вести в обычном режиме.

PS: Я понимаю, что от моего поста хорошо, что если только моральная поддержка

[root]

те фактически замена шейпера с ng_car на думминет решает задачу на одинаковых машинах ?

когда ничего не помогает в ход идет админский бубен

это с виду они все одинаковые, но разница есть всегда
например разные партии материнских плат, памяти

дело тут в netgraph, а вот в чем именно... в этом и суть вопроса.....
как будто что то мешает друг другу

что ты в итоге правил в sysctl ?
м.б. стоит попробовать 7.3 ? посмотреть на ситуевину там ?

как у нас, но у нас еще эпопея не закончена

ага...... хотя 7.3 нам не помогло....

чичас у себя просто взяли и реинстальнули 7.2 по голому, пока результат не очень понятен, хотя кажется, на глазок, что улудшения есть
м.б. и тебе стоит попробовать реинсталл с нуля ?

[Mechanic]

1. У меня осталось стойкое впечатление. что дрова от яндекса для роутеров, как минимум, не лучший вариант (в отличие от хостинговых машинок). А посему в наших изысканиях мы остановились на дровах от Intel.
2. Чудес не бывает, если софт на машинах ПОЛНОСТЬЮ одинаковый, то единственным логическим выводом м.б. только то, что проблема в железе.
3. Проблема в железе может проявляться, в т.ч., и только под серьезной нагрузкой (как у нас, но у нас еще эпопея не закончена), а при средней и слабой нагрузке машинка может себя вести в обычном режиме.

PS: Я понимаю, что от моего поста хорошо, что если только моральная поддержка

варианты с дровами перебирали для исключения ошибок
машины частично различны, на 2 (dummynet) стоит ЕТ, которая не работает нормально на 1(ng_car), на 1 7.3-PRERELEASE (новее чем на 2)
похоже я не один, вот http://forums.freebsd.org/showthread.ph ... ght=ng_car

We're currently using ng_ipfw + ng_car for traffic shaping.
This has been working good until we got some more heavy traffic load, and now it crashes our system (FreeBSD 8.0-RELEASE-p2) constantly.
Now we are thinking about moving back to dummynet.

sysctl практически остался не изменным

Код: Выделить всё

kern.sugid_coredump=0
kern.corefile=/var/core/%N.core

net.inet.icmp.icmplim=100

##kern.maxfilesperproc=32768
##kern.maxfiles=65536
kern.ipc.somaxconn=2048
kern.ipc.maxsockets=100000
kern.ipc.nmbclusters=100000

#kern.ipc.maxsockbuf=1048576
 kern.ipc.maxsockbuf=2097152

#net.inet.ip.intr_queue_maxlen=10000
#net.inet.ip.fw.debug=0
net.inet.ip.fw.dyn_max=20480
net.inet.ip.fw.dyn_buckets=4096
net.inet.ip.fw.one_pass=1       # for dummynet+nat !!!!

net.inet.ip.fastforwarding=1
#net.inet.tcp.msl=7500
#net.inet.tcp.rfc1323=1

net.inet.ip.portrange.first=8192
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.randomized=0
net.inet.ip.intr_queue_maxlen=4096

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.ip.redirect=1  #prin 0 normalno ne rabotaet

#net.inet.udp.maxdgram=57344
net.inet.udp.recvspace=65535
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535

net.graph.maxdgram=1024000
net.graph.recvspace=1024000

net.local.stream.recvspace=65535
net.local.stream.sendspace=65535

# Intel(R) PRO/1000 Network Connection
dev.em.0.rx_int_delay=600
dev.em.0.tx_int_delay=600
dev.em.0.rx_abs_int_delay=1000
dev.em.0.tx_abs_int_delay=1000
dev.em.0.rx_processing_limit=1024

# Yandex driver
dev.em.0.rx_kthreads=2

# Intel(R) PRO/1000ET Network Connection

#dev.igb.0.low_latency=1000
#dev.igb.0.ave_latency=2000
#dev.igb.0.bulk_latency=4000
#dev.igb.0.rx_processing_limit=400      #1000
#dev.igb.0.enable_aim=1

#dev.igb.1.low_latency=1000
#dev.igb.1.ave_latency=2000
#dev.igb.1.bulk_latency=4000
#dev.igb.1.rx_processing_limit=400      #1000
#dev.igb.1.enable_aim=1

net.inet.ip.fastforwarding=1 , читал, что при нате лучше не использовать ?! такли это

[root]

net.inet.ip.fastforwarding=1 , читал, что при нате лучше не использовать ?! такли это

а вот четкого мнения по этому вопросу я не видел, но по идее оно должно помогать, а не мешать
по своим ощущениям скажу просто - пофиг, т.к. ни улудшений ни ухудшений я не заметил

попробуй ещё вот это:

Код: Выделить всё

net.graph.maxdgram=40960
net.graph.recvspace=40960

расскажешь потом повлияло ли на ситуацию

да, а POLLING ты включать пробовал ?

[Mechanic]

поллинг не пробовал, ведь сетевушки интел -сами умеют и тюнингом это выставляется
что касается graph , у меня стоит на ng_car

Код: Выделить всё

net.graph.recvspace: 1024000
net.graph.maxdgram: 1024000


на dummynet

Код: Выделить всё

net.graph.recvspace: 128000
net.graph.maxdgram: 128000


насколько помню значения задирались для того, чтобы нормально получать информацию о нодах, а не ошибки ngctl: recv msg: No buffer space available
при маленьком кол-ве нод все, но при большом буфера не хватает
вы предлагаете уменьшить ?!

вот еще

Код: Выделить всё

cat /boot/loader.conf
kern.ipc.maxpipekva=32000000
kern.ipc.maxsockbuf=1048576
kern.maxusers=512
kern.maxdsiz=1073741824
kern.dfldsiz=1073741824
kern.maxssiz=134217728
net.inet.tcp.syncache.hashsize=1024
net.inet.tcp.syncache.bucketlimit=100
net.inet.tcp.tcbhashsize=32768
net.graph.maxalloc=4096 #default 4096

#memory
#512M mem for kernel
vm.kmem_size=512M
vm.kmem_size_max=512M
#1G mem for kernel
#vm.kmem_size=1G
#vm.kmem_size_max=1G

#Intel em-driver
if_em_load="YES"
hw.em.rxd=2048
hw.em.txd=2048
hw.em.rx_int_delay=600
hw.em.tx_int_delay=600
hw.em.rx_abs_int_delay=1000
hw.em.tx_abs_int_delay=1000


[root]

поллинг не пробовал

попробуй, иногда реально помогает разгрузить проц

вы предлагаете уменьшить ?!

я предлагал "поиграться" с этими переменными, ничего более.

[Mechanic]

аа, ну выставил , посмотрим как себя будет вести

[root]

аа, ну выставил

что именно ? поллинг ? парамы sysctl ?

[Mechanic]

Код: Выделить всё

net.graph.maxdgram=40960
net.graph.recvspace=40960

посмотрим, как работать будет

[root]

все же больше интересен результат с полингом, т.к. шансы что это действие возымеет эффект гораздо выше