Subnets.ru

Доброго времени суток !
Есть сервер 2x3.0 Xeon . 4Gb Ram FreeBSD 8.0 Stable

Сетевухи Intel . Драйвера с сайта Intel

Код: Выделить всё: pciconf -lv |grep Gigabit device = 'Dual Port Gigabit Ethernet Controller (82546EB)' device = 'Dual Port Gigabit Ethernet Controller (82546EB)' device = 'Dual Port Gigabit Ethernet Controller (82546EB)' device = 'Dual Port Gigabit Ethernet Controller (82546EB)' device = 'Gigabit Ethernet Controller (Copper) (82544EI/GC)' device = 'Gigabit Ethernet Controller (Copper) (82544EI/GC)

Проходящий траффик порядка 400 мбит
Потерь на интерфейсах нет

Код: Выделить всё: netstat -w1 input (Total) output packets errs idrops bytes packets errs bytes colls 84684 0 0 63587171 88774 0 82030245 0 83442 0 0 63384669 86695 0 79910046 0 87817 0 0 66262579 92394 0 87335940 0 90052 0 0 67444891 95468 0 90370412 0 86412 0 0 66604296 90515 0 86316935 0 85911 0 0 65559815 89901 0 84467064 0 87420 0 0 66751865 90799 0 85079546 0 91044 0 0 68575389 95259 0 89691609 0 92268 0 0 69476874 97687 0 92328239 0 91503 0 0 69630974 96972 0 93191900 0 89850 0 0 68447866 94489 0 90269291 0 87085 0 0 67421865 91755 0 88538473 0 87320 0 0 65877378 90922 0 85255914 0 88680 0 0 66949182 92810 0 87570376 0 87265 0 0 65376618 91484 0 86795158 0

Загрузка в часы пик

Код: Выделить всё: last pid: 65229; load averages: 1.42, 1.33, 1.35 164 processes: 8 running, 137 sleeping, 19 waiting CPU 0: 0.4% user, 0.0% nice, 64.9% system, 6.0% interrupt, 28.7% idle CPU 1: 1.5% user, 0.0% nice, 42.0% system, 9.8% interrupt, 46.6% idle CPU 2: 3.0% user, 0.0% nice, 34.8% system, 13.9% interrupt, 48.3% idle CPU 3: 4.1% user, 0.0% nice, 13.1% system, 21.0% interrupt, 61.8% idle Mem: 427M Active, 361M Inact, 453M Wired, 1536K Cache, 418M Buf, 2699M Free Swap: 1024M Total, 1024M Free

Sysctl

Код: Выделить всё: net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 kern.maxfiles=20328 kern.maxfilesperproc=20095 kern.ipc.maxsockets=20328 dev.em.0.rx_int_delay=300 dev.em.1.rx_int_delay=300 dev.em.2.rx_int_delay=300 dev.em.3.rx_int_delay=300 dev.em.4.rx_int_delay=300 dev.em.5.rx_int_delay=300 dev.em.0.tx_int_delay=300 dev.em.1.tx_int_delay=300 dev.em.2.tx_int_delay=300 dev.em.3.tx_int_delay=300 dev.em.4.tx_int_delay=300 dev.em.5.tx_int_delay=300 dev.em.0.rx_abs_int_delay=600 dev.em.1.rx_abs_int_delay=600 dev.em.2.rx_abs_int_delay=600 dev.em.3.rx_abs_int_delay=600 dev.em.4.rx_abs_int_delay=600 dev.em.5.rx_abs_int_delay=600 dev.em.0.tx_abs_int_delay=600 dev.em.1.tx_abs_int_delay=600 dev.em.2.tx_abs_int_delay=600 dev.em.3.tx_abs_int_delay=600 dev.em.4.tx_abs_int_delay=600 dev.em.5.tx_abs_int_delay=600 dev.em.0.rx_processing_limit=400 dev.em.1.rx_processing_limit=400 dev.em.2.rx_processing_limit=400 dev.em.3.rx_processing_limit=400 dev.em.4.rx_processing_limit=400 dev.em.5.rx_processing_limit=400 net.inet.ip.dummynet.hash_size=2048 net.inet.ip.dummynet.io_fast=1 net.inet.ip.fastforwarding=1 kern.ipc.maxsockbuf=16777216 kern.ipc.nmbclusters=65536

На сервере только агрегация вланов и шейпера.
Хочу спросить совета - сколько этот сервак еще может прогнать трафика ? В ближайшее время планируется увеличение полосы в 2 раза .
Стоит ли покупать еще сервер или можно уменьшить нагрузку покупкой хороших сетевух ? Может FreeBSD криво настроена ?
Есть еще второй сервак такой-же на нем стоит bgp и nat. Загрузка сервера практически идентична этой.
Спасибо.

amasis писал(а):сколько этот сервак еще может прогнать трафика ?

думаю что ещё макс. мегабит 200 (а то и меньше) и начнутся проблемы, а торент трафик в этом поможет

amasis писал(а):Стоит ли покупать еще сервер или можно уменьшить нагрузку покупкой хороших сетевух ?

думаю, что в любом случае будет лучше купить второй, т.к. это не только распределение нагрузки, но и большая отказоустойчивость, т.е. при падении одного сервера ляжет не вся сеть и будет возможность предоставлять услугу юзеру хоть и в аварийном режиме.

amasis писал(а): Может FreeBSD криво настроена ?

как организовано шейпирование ? ipfw ? ng_car ? иное ?
если на ipfw, то, в зависимости от ситуации, для снижении нагрузки и большей производительности может помочь оптимизация и сокращение кол-ва правил ipfw

amasis писал(а):Сетевухи Intel . Драйвера с сайта Intel

в случае чего можно попробовать дрова от яндекса

amasis писал(а):Есть еще второй сервак такой-же на нем стоит bgp и nat.

жесть какая :shock:

удавил бы руководство своими бы руками если бы они мне сказали разместить эти две службы на одном сервере
BGP протокол внешней маршрутизации и это очень отвественное место в работе любого ISP`а да и не тока ISP`а, а любой конторы с BGP, т.к. не одни юзера висят на канале, а почта, сайт и прочие сервера и проблема, возникшая из-за NAT службы может негативно сказаться на работе BGP, что чревато тем, что сети прова просто пропадут из Инета, а значит что пропадет не тока Инет у юзеров, но и все остальные службы компании будут недоступны
посему я бы рекомендовал озадачится отселением BGP на отдельную тачку, а ещё лучше на отдельную железку, например Juniper

Я бы еще посмотрел на нагрузку камня на центральном роутере сети, т.к. он тоже вынужден гонять трафик. А то потом получится вещь "Купили сервер, а все тормозит".

Андрей писал(а):Я бы еще посмотрел на нагрузку камня на центральном роутере сети

amasis писал(а):Есть еще второй сервак такой-же на нем стоит bgp и nat. Загрузка сервера практически идентична этой.

Было принято решение купить еще один сервер , бюджет $1000-$1200 Что можете посоветовать ?
Спасибо

amasis писал(а):Было принято решение купить еще один сервер , бюджет $1000-$1200 Что можете посоветовать ?
Спасибо

Честно, в голову приходит только б/у сервер у нага, да и то не факт, что подберете, т.к. они там морально старые.
Из тех, что новые, могу посоветовать посмотреть на никсе, но там тоже дешевле 50000 рублей наврядли что будет, хотя как знать.

2root, может я чего не понял. Он же ISP. Я так понял, что у него стоит роутер в локалке для тех же виланов и т.п. BGP же для аплинков. Или я опять что-то не понял.

Речь велась о первом сервере который стоит в локалке - это с него я снимал показатели . За ним стоит сервер с bgp для аплинков. Загрузка 1 и 2 примерно одинаковая .

amasis писал(а):бюджет $1000-$1200 Что можете посоветовать ?

маленькая сумма, чтобы можно было что то посоветовать, на сервер нужен бюджет от 45К рублей.
нужен сервер не хуже по конфигурации чем есть сейчас

одного сервера тебе может не хватить, т.к. после установки второго сервера под юзеров и увеличения полосы у тебя может начать проседать сервер BGP+NAT, из-за NAT процесса. Можно конечно решать проблемы по мере их поступления, но по факту и опыту получается, что лучше заранее приготовиться, а не потом метаться и торопиться, чтобы задобрить разозленных юзеров.
так что хорошо бы, чтобы у тебя было как минимум 2 сервера: один под юзеров, второй только под NAT.
а совсем хорошо было бы:

такой узел точно выдержит нагрузку 800+мбит/с

Subnets.ru

Конфигурация сервера

Конфигурация сервера

Re: Конфигурация сервера

Re: Конфигурация сервера

Re: Конфигурация сервера

Re: Конфигурация сервера

Re: Конфигурация сервера

Re: Конфигурация сервера

Re: Конфигурация сервера