Конфигурация сервера

[amasis]

Доброго времени суток !
Есть сервер 2x3.0 Xeon . 4Gb Ram FreeBSD 8.0 Stable

Сетевухи Intel . Драйвера с сайта Intel

Код: Выделить всё

pciconf -lv |grep Gigabit                                 
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Dual Port Gigabit Ethernet Controller (82546EB)'
    device     = 'Gigabit Ethernet Controller (Copper) (82544EI/GC)'
    device     = 'Gigabit Ethernet Controller (Copper) (82544EI/GC)


Проходящий траффик порядка 400 мбит
Потерь на интерфейсах нет

Код: Выделить всё

netstat -w1                                                   
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
     84684     0     0   63587171      88774     0   82030245     0
     83442     0     0   63384669      86695     0   79910046     0
     87817     0     0   66262579      92394     0   87335940     0
     90052     0     0   67444891      95468     0   90370412     0
     86412     0     0   66604296      90515     0   86316935     0
     85911     0     0   65559815      89901     0   84467064     0
     87420     0     0   66751865      90799     0   85079546     0
     91044     0     0   68575389      95259     0   89691609     0
     92268     0     0   69476874      97687     0   92328239     0
     91503     0     0   69630974      96972     0   93191900     0
     89850     0     0   68447866      94489     0   90269291     0
     87085     0     0   67421865      91755     0   88538473     0
     87320     0     0   65877378      90922     0   85255914     0
     88680     0     0   66949182      92810     0   87570376     0
     87265     0     0   65376618      91484     0   86795158     0


Загрузка в часы пик

Код: Выделить всё

last pid: 65229;  load averages:  1.42,  1.33,  1.35                       
164 processes: 8 running, 137 sleeping, 19 waiting
CPU 0:  0.4% user,  0.0% nice, 64.9% system,  6.0% interrupt, 28.7% idle
CPU 1:  1.5% user,  0.0% nice, 42.0% system,  9.8% interrupt, 46.6% idle
CPU 2:  3.0% user,  0.0% nice, 34.8% system, 13.9% interrupt, 48.3% idle
CPU 3:  4.1% user,  0.0% nice, 13.1% system, 21.0% interrupt, 61.8% idle
Mem: 427M Active, 361M Inact, 453M Wired, 1536K Cache, 418M Buf, 2699M Free
Swap: 1024M Total, 1024M Free


Sysctl

Код: Выделить всё

net.inet.tcp.blackhole=2                                                                           
net.inet.udp.blackhole=1                                                                           
                                                                                                   
kern.maxfiles=20328                                                                                 
kern.maxfilesperproc=20095                                                                         
kern.ipc.maxsockets=20328                                                                           
                                                                                                   
dev.em.0.rx_int_delay=300                                                                           
dev.em.1.rx_int_delay=300                                                                           
dev.em.2.rx_int_delay=300                                                                           
dev.em.3.rx_int_delay=300                                                                           
dev.em.4.rx_int_delay=300                                                                           
dev.em.5.rx_int_delay=300                                                                           
                                                                                                   
dev.em.0.tx_int_delay=300                                                                           
dev.em.1.tx_int_delay=300                                                                           
dev.em.2.tx_int_delay=300                                                                           
dev.em.3.tx_int_delay=300                                                                           
dev.em.4.tx_int_delay=300                                                                           
dev.em.5.tx_int_delay=300                                                                           
                                                                                                   
dev.em.0.rx_abs_int_delay=600                                                                       
dev.em.1.rx_abs_int_delay=600                                                                       
dev.em.2.rx_abs_int_delay=600                                                                       
dev.em.3.rx_abs_int_delay=600                                                                       
dev.em.4.rx_abs_int_delay=600                                                                       
dev.em.5.rx_abs_int_delay=600                                                                       
                                                                                                   
dev.em.0.tx_abs_int_delay=600                                                                       
dev.em.1.tx_abs_int_delay=600                                                                       
dev.em.2.tx_abs_int_delay=600                                                                       
dev.em.3.tx_abs_int_delay=600                                                                       
dev.em.4.tx_abs_int_delay=600                                                                       
dev.em.5.tx_abs_int_delay=600                                                                       
                                                                                                   
dev.em.0.rx_processing_limit=400                                                                   
dev.em.1.rx_processing_limit=400                                                                   
dev.em.2.rx_processing_limit=400                                                                   
dev.em.3.rx_processing_limit=400                                                                   
dev.em.4.rx_processing_limit=400                                                                   
dev.em.5.rx_processing_limit=400
                                                               
net.inet.ip.dummynet.hash_size=2048                                                                 
net.inet.ip.dummynet.io_fast=1                                                                     
net.inet.ip.fastforwarding=1                                                                       
kern.ipc.maxsockbuf=16777216                                                                       
kern.ipc.nmbclusters=65536


На сервере только агрегация вланов и шейпера.
Хочу спросить совета - сколько этот сервак еще может прогнать трафика ? В ближайшее время планируется увеличение полосы в 2 раза .
Стоит ли покупать еще сервер или можно уменьшить нагрузку покупкой хороших сетевух ? Может FreeBSD криво настроена ?
Есть еще второй сервак такой-же на нем стоит bgp и nat. Загрузка сервера практически идентична этой.
Спасибо.

[root]

сколько этот сервак еще может прогнать трафика ?

думаю что ещё макс. мегабит 200 (а то и меньше) и начнутся проблемы, а торент трафик в этом поможет

Стоит ли покупать еще сервер или можно уменьшить нагрузку покупкой хороших сетевух ?

думаю, что в любом случае будет лучше купить второй, т.к. это не только распределение нагрузки, но и большая отказоустойчивость, т.е. при падении одного сервера ляжет не вся сеть и будет возможность предоставлять услугу юзеру хоть и в аварийном режиме.

Может FreeBSD криво настроена ?

как организовано шейпирование ? ipfw ? ng_car ? иное ?
если на ipfw, то, в зависимости от ситуации, для снижении нагрузки и большей производительности может помочь оптимизация и сокращение кол-ва правил ipfw

Сетевухи Intel . Драйвера с сайта Intel

в случае чего можно попробовать дрова от яндекса

Есть еще второй сервак такой-же на нем стоит bgp и nat.

жесть какая
удавил бы руководство своими бы руками если бы они мне сказали разместить эти две службы на одном сервере
BGP протокол внешней маршрутизации и это очень отвественное место в работе любого ISP`а да и не тока ISP`а, а любой конторы с BGP, т.к. не одни юзера висят на канале, а почта, сайт и прочие сервера и проблема, возникшая из-за NAT службы может негативно сказаться на работе BGP, что чревато тем, что сети прова просто пропадут из Инета, а значит что пропадет не тока Инет у юзеров, но и все остальные службы компании будут недоступны
посему я бы рекомендовал озадачится отселением BGP на отдельную тачку, а ещё лучше на отдельную железку, например Juniper

[Андрей]

Я бы еще посмотрел на нагрузку камня на центральном роутере сети, т.к. он тоже вынужден гонять трафик. А то потом получится вещь "Купили сервер, а все тормозит".

[root]

Я бы еще посмотрел на нагрузку камня на центральном роутере сети

Есть еще второй сервак такой-же на нем стоит bgp и nat. Загрузка сервера практически идентична этой.

[amasis]

Было принято решение купить еще один сервер , бюджет $1000-$1200 Что можете посоветовать ?
Спасибо

[Андрей]

Было принято решение купить еще один сервер , бюджет $1000-$1200 Что можете посоветовать ?
Спасибо

Честно, в голову приходит только б/у сервер у нага, да и то не факт, что подберете, т.к. они там морально старые.
Из тех, что новые, могу посоветовать посмотреть на никсе, но там тоже дешевле 50000 рублей наврядли что будет, хотя как знать.

2root, может я чего не понял. Он же ISP. Я так понял, что у него стоит роутер в локалке для тех же виланов и т.п. BGP же для аплинков. Или я опять что-то не понял.

[amasis]

Речь велась о первом сервере который стоит в локалке - это с него я снимал показатели . За ним стоит сервер с bgp для аплинков. Загрузка 1 и 2 примерно одинаковая .

[root]

бюджет $1000-$1200 Что можете посоветовать ?

маленькая сумма, чтобы можно было что то посоветовать, на сервер нужен бюджет от 45К рублей.
нужен сервер не хуже по конфигурации чем есть сейчас

одного сервера тебе может не хватить, т.к. после установки второго сервера под юзеров и увеличения полосы у тебя может начать проседать сервер BGP+NAT, из-за NAT процесса. Можно конечно решать проблемы по мере их поступления, но по факту и опыту получается, что лучше заранее приготовиться, а не потом метаться и торопиться, чтобы задобрить разозленных юзеров.
так что хорошо бы, чтобы у тебя было как минимум 2 сервера: один под юзеров, второй только под NAT.
а совсем хорошо было бы:

BGP на железке (Juniper, Cisco)
2 NAT сервера
2 NAS сервера (под юзеров)
cisco catalyst 3560G/3750G (ака L3 свич)

такой узел точно выдержит нагрузку 800+мбит/с