<div dir="ltr">Oh, daq configuration from snort.conf:<div><div>config daq: afpacket</div><div>config daq_dir: /usr/lib64/daq</div><div>#config daq_mode: passive</div><div>config daq_mode: inline</div><div>config daq_var: buffer_size_mb=1024</div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Nov 13, 2014 at 4:41 PM, Charlie Heselton <span dir="ltr"><<a href="mailto:charles.heselton@...11827..." target="_blank">charles.heselton@...11827...</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><div class="gmail_quote"><div><div class="h5">On Thu, Nov 13, 2014 at 2:57 PM, Y M <span dir="ltr"><<a href="mailto:snort@...15979..." target="_blank">snort@...15979...</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">


<div><div dir="ltr"><div>Date: Thu, 13 Nov 2014 12:09:45 -0800<br>From: <a href="mailto:charles.heselton@...11827..." target="_blank">charles.heselton@...11827...</a><br>To: <a href="mailto:snort-users@...3471...ge.net" target="_blank">snort-users@lists.sourceforge.net</a><span><br>Subject: Re: [Snort-users] Inline snort negative impact on network<br><br></span><div dir="ltr"><span><span style="font-family:arial,sans-serif;font-size:13px">YM,</span><div style="font-family:arial,sans-serif;font-size:13px"><br></div><div style="font-family:arial,sans-serif;font-size:13px">I'm not sure what "lro, gro, and the rest of the gang" means, or what is involved in dis-/enabling them.<br></div><div style="font-family:arial,sans-serif;font-size:13px"><br></div><div style="font-family:arial,sans-serif;font-size:13px">I have tweaked the RX/TX buffers.  Here are (some of) the tuning changes I've made in /etc/sysctl.conf:</div></span><div style="font-family:arial,sans-serif;font-size:13px"><span><div><font face="arial, sans-serif"># Performance settings</font></div><div><font face="arial, sans-serif">net.core.netdev_max_backlog = 10000</font></div><div><font face="arial, sans-serif">net.core.r mem_default = 16777216</font></div><div><font face="arial, sans-serif">net.core.rmem_max = 33554432</font></div><div><font face="arial, sans-serif">net.ipv4.tcp_mem = 194688 259584 389376</font></div><div><font face="arial, sans-serif">net.ipv4.tcp_rmem = 1048576 4194304 33554432</font></div><div><font face="arial, sans-serif">net.ipv4.tcp_no_metrics_save = 1</font></div><div><font face="arial, sans-serif">net.ipv4.tcp_sack = 0</font></div><div><font face="arial, sans-serif"># IF also in Inline mode:</font></div><div><font face="arial, sans-serif">net.core.wmem_default = 16777216</font></div><div><font face="arial, sans-serif">net.core.wmem_max = 33554432</font></div><div><font face="arial, sans-serif">net.ipv4.tcp_wmem = 1048576 4194304 16777216</font></div><div><font face="arial, sans-serif"># Memory handling ? not that important</font></div><div><font face="arial, sans-serif">vm.overcommit_memory=2</font></div><div><font face="arial, sans-serif">vm.overcommit_ratio = 50</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">These tunings are based on various article I've found while googling.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">I will tak a look at the http_inspect configuration.</font></div><div><font face="arial, sans-serif"><br></font></div><div><font face="arial, sans-serif">Thanks again, for the advice.</font></div><div><font face="arial, sans-serif"><br></font></div></span><div><font face="arial, sans-serif">## Sorry I wasn't clear. These are the NIC offloading options which are not desired when sniffing packets as they "manipulate" how packets are presented to kernel/Snort.  For example, for LRO and GRO: </font><a href="http://manual.snort.org/node7.html" target="_blank">http://manual.snort.org/node7.html</a>. There are other offloading features that may need to be disable as well, such as GSO, TSO. Run ethtool -k <interface> to see what is enabled/disabled and then use ethtool -K to disable them as mentioned in the link.</div><div><br></div><div>What I meant by the RX/TX buffers are the NIC ones, not only the kernel's. Use the ethtool again (with -g and -G) to determine/modify the values of the buffers: <a href="http://linux.die.net/man/8/ethtool" target="_blank">http://linux.die.net/man/8/ethtool</a>. What daq mode are running?</div><span><font color="#888888"><div><br></div><div>YM</div><div><font face="arial, sans-serif"><br></font></div></font></span></div></div></div></div></div></blockquote></div></div><div>This is what's on by default, on my system:</div><div><font face="monospace">ethtool -k enp2s0 | grep "on$"</font></div><div><font face="monospace">rx-checksumming: on</font></div><div><font face="monospace">generic-receive-offload: on</font></div><div><font face="monospace">rx-vlan-offload: on</font></div><div><font face="monospace">tx-vlan-offload: on</font></div><div> </div><div>I'm assuming GRO is generic-receive-offload?  I'll play around with disabling the others.  No VLANs in my setup.</div><div><br></div><div>ethtool -g enp1s0 just gives me an error:</div><div><div><font face="monospace">Ring parameters for enp1s0:</font></div><div><font face="monospace">Cannot get device ring settings: Operation not supported</font></div></div><div><font face="monospace"><br></font></div><div><font face="arial, helvetica, sans-serif">Did I miss something in the kernel config?</font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">I did bump the txqueuelen, with ifconfig, from 1000 to 10000 (based on one article I found).  Another article I read said that all interfaces involved needed to be in promisc mode.  That is now also set for the 2 bridge interfaces, and the connected interface on the linux firewall.  I can't do anything with the dumb-switch being used on the other end.</font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">Hopefully I will get a chance to do some more testing tonight, with all of these tweaks in place.</font></div><div><font face="arial, helvetica, sans-serif"><br></font></div><div><font face="arial, helvetica, sans-serif">Thanks.</font></div><span class="HOEnZb"><font color="#888888"><div><font face="arial, helvetica, sans-serif">-Charlie</font></div></font></span><div><div class="h5"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><div dir="ltr"><div><div dir="ltr"><div style="font-family:arial,sans-serif;font-size:13px"><span><font color="#888888"><div><font face="arial, sans-serif"></font></div></font></span></div></div><div><div><div><br><div>On Thu, Nov 13, 2014 at 10:07 AM, Y M <span dir="ltr"><<a href="mailto:snort@...15979..." target="_blank">snort@...15979...</a>></span> wrote:<br><blockquote style="border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">


<div><div dir="ltr">Date: Thu, 13 Nov 2014 09:46:24 -0800<br>Subject: Re: [Snort-users] Inline snort negative impact on network<br>From: <a href="mailto:charles.heselton@...11827..." target="_blank">charles.heselton@...979...11827...</a><br>To: <a href="mailto:snort@...15979..." target="_blank">snort@...15979...</a><br>CC: <a href="mailto:snort-users@...2652...e.net" target="_blank">snort-users@lists.sourceforge.net</a><br><br><div dir="ltr"><br><div><span><br><div>On Wed, Nov 12, 2014 at 10:59 PM, Y M <span dir="ltr"><<a href="mailto:snort@...15979..." target="_blank">snort@...15979...</a>></span> wrote:<br><blockquote style="border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">


<div><div dir="ltr">I would say tuning; NIC (gro, lro, etc), kernel (networking stack), and Snort itself (number of rules/processors, etc). Since you are already on Snort 2.9.7.0, why not using daq 2.0.4? And there is the "unknown/unexpected" hardware behavior. If all the tuning does not improve things, see if you can test with different NICs if possible.<div><br></div><div>YM<br></div></div></div></blockquote><div><br></div><div><br></div>I've done some sysctl tuning, but it hasn't seemed to make much of a difference.  ifconfig shows that there are 5 (out of 600K+) dropped RX packets on only 1 of the 2 bridged interfaces.  All of the other error-indicating counters are 0.  Again, system resources remain low when the system is inline.  So I don't know that performance is really an issue. </div><div><br></div><div>Using daq 2.0.2 because that's what's avilable in Gentoo's software repository.  If/when 2.0.4 becomes available, I'll upgrade and see if it makes a difference.</div><div><br></div><div>I suspect that snort is dropping random packets, but have no way to confirm.</div><div><br></div></span><div><span>Thanks for the response YM, Still hoping for some useful advice from the community.<br><div><br></div><div><br></div></span><div># I see. Have you also disabled lro, gro, and the rest of the gang? They have been the most part of the issue when setting up Snort inline. And while you are at the NIC level, you may also want to adjust RX/TX buffers.</div><div><br></div><div>Another thing that I would tune in specific is the http_inspect preprocessor, and then move to the remaining configurations, like disabling unwanted preprocessors and rules..Hope this can helps.</div><span><font color="#888888"><div><br></div><div>YM</div></font></span><span><div><br></div><div><br></div><blockquote style="border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex"><div><div dir="ltr"><div><br><div><hr>Date: Wed, 12 Nov 2014 20:31:31 -0800<br>From: <a href="mailto:charles.heselton@...11827..." target="_blank">charles.heselton@...13704......</a><br>To: <a href="mailto:snort-users@lists.sourceforge.net" target="_blank">snort-users@lists.sourceforge.net</a><br>Subject: [Snort-users] Inline snort negative impact on network<div><div><br><br><div dir="ltr">I'm attempting to install/configure a standalone, inline snort box.  When I have the sensor inline, with snort running, the traffic seems to be flowing properly; snort is alerting, as expected.  <div><br></div><div>However, browsing the web, and downloads, becomes significantly impacted.  <a href="http://speedtest.net" target="_blank">speedtest.net</a> fails to load.  wget downloads files at ~6Kbps, when it should be closer to 6Mbps.</div><div><br></div><div>The question is why?</div><div><br></div><div>Hardware:  Intel Celeron 4 core, 8GB RAM, 64GB SSD, dual Gigabit (Realtek) NICs onboard, USB3.0->Gigabit dongle NIC (for admin).</div><div><br></div><div>Software:  Gentoo x86_64 linux; kernel 3.16.5; snort 2.7.0; daq 2.0.2.</div><div><br></div><div>When snort is running, and traffic is passing, both gkrellm and top show almost 0 CPU activity.  This is on a relatively low traffic, home network, so I wouldn't expect the system to be loaded.  The admin interface shows more activity than the 2 bridged interfaces.</div><div><br></div><div>What gives?  Any advice appreciated.</div><div><br></div><div>Thanks,</div><div>Charlie<br><div><br></div><div><br></div></div></div>
<br></div></div>------------------------------------------------------------------------------
Comprehensive Server Monitoring with Site24x7.
Monitor 10 servers for $9/Month.
Get alerted through email, SMS, voice calls or mobile push notifications.
Take corrective actions from your mobile device.
<a href="http://pubads.g.doubleclick.net/gampad/clk?id=154624111&iu=/4140/ostg.clktrk" target="_blank">http://pubads.g.doubleclick.net/gampad/clk?id=154624111&iu=/4140/ostg.clktrk</a><br>_______________________________________________
Snort-users mailing list
<a href="mailto:Snort-users@lists.sourceforge.net" target="_blank">Snort-users@lists.sourceforge.net</a>
Go to this URL to change user options or unsubscribe:
<a href="https://lists.sourceforge.net/lists/listinfo/snort-usersSnort-users" target="_blank">https://lists.sourceforge.net/lists/listinfo/snort-users
Snort-users</a> list archive:
<a href="http://sourceforge.net/mailarchive/forum.php?forum_name=snort-users" target="_blank">http://sourceforge.net/mailarchive/forum.php?forum_name=snort-users</a>

Please visit <a href="http://blog.snort.org" target="_blank">http://blog.snort.org</a> to stay current on all the latest Snort news!</div></div>                                      </div></div>
</blockquote></span></div><br></div></div>                                    </div></div>
</blockquote></div><br></div>
<br>------------------------------------------------------------------------------
Comprehensive Server Monitoring with Site24x7.
Monitor 10 servers for $9/Month.
Get alerted through email, SMS, voice calls or mobile push notifications.
Take corrective actions from your mobile device.
<a href="http://pubads.g.doubleclick.net/gampad/clk?id=154624111&iu=/4140/ostg.clktrk" target="_blank">http://pubads.g.doubleclick.net/gampad/clk?id=154624111&iu=/4140/ostg.clktrk</a><br>_______________________________________________
Snort-users mailing list
<a href="mailto:Snort-users@lists.sourceforge.net" target="_blank">Snort-users@lists.sourceforge.net</a>
Go to this URL to change user options or unsubscribe:
<a href="https://lists.sourceforge.net/lists/listinfo/snort-usersSnort-users" target="_blank">https://lists.sourceforge.net/lists/listinfo/snort-users
Snort-users</a> list archive:
<a href="http://sourceforge.net/mailarchive/forum.php?forum_name=snort-users" target="_blank">http://sourceforge.net/mailarchive/forum.php?forum_name=snort-users</a>

Please visit <a href="http://blog.snort.org" target="_blank">http://blog.snort.org</a> to stay current on all the latest Snort news!</div></div></div>                                          </div></div>
</blockquote></div></div></div><br></div></div>
</blockquote></div><br></div>