<html dir="ltr">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" id="owaParaStyle"></style>
</head>
<body fpstyle="1" ocsi="0">
<div style="direction: ltr;font-family: Tahoma;color: #000000;font-size: 10pt;"><br>
<div style="font-family: Times New Roman; color: #000000; font-size: 16px">
<hr tabindex="-1">
<div id="divRpF639047" style="direction: ltr; "><font face="Tahoma" size="2" color="#000000"><b>From:</b> Cody Brugh [cbrugh@...11827...]<br>
<b>Sent:</b> Tuesday, May 27, 2014 6:30 PM<br>
<b>To:</b> Russ Combs (rucombs)<br>
<b>Cc:</b> snort-users@lists.sourceforge.net<br>
<b>Subject:</b> Re: [Snort-users] Snort spikes to 100% CPU followed by network latency<br>
</font><br>
</div>
<div></div>
<div>
<div dir="ltr">
<div>Russ,<br>
<br>
</div>
I am still having latency/CPU spike issues even after enabling PPM configuration.... In the below logs where does it tell me which rule SIG ID so I can disable the rules that are causing me slowness?</div>
<div dir="ltr"><br>
</div>
<div dir="ltr">* Actually, it doesn't tell you which rule.  Only which rule tree, which isn't terribly helpful.  That's because the rules are compiled into a different form to eliminate redundant checks.</div>
<div dir="ltr"><br>
</div>
<div dir="ltr">It does tell you that the rule trees that are triggering the PPM events are around 55 usec although you have one shown which is higher.  What is your threshold set to?</div>
<div dir="ltr"><br>
</div>
<div dir="ltr">Also, did you analyze the packets logged with the events to see what type of traffic this is?  You may be able to narrow it down and capture a whole session that triggers the problem and go from there.<br>
<br>
<br>
PPM: Rule-Event Pkt[20570] address=0x0x8200f80 re-enabled 05/27-18:26:27.989936 <br>
PPM: Rule-Event Pkt[20570] suspended (<a href="http://72.194.88.31:53484" target="_blank">72.194.88.31:53484</a> ->
<a href="http://10.2.14.21:80" target="_blank">10.2.14.21:80</a>).<br>
PPM: Rule-Event Pkt[20570] address=0x0x8200f80 used=52.7766 usecs suspended 05/27-18:26:27.989936
<br>
PPM: Rule-Event Pkt[30776] address=0x0x3c28fb0 re-enabled 05/27-18:26:36.195293 <br>
PPM: Rule-Event Pkt[36115] suspended (<a href="http://10.2.13.17:80" target="_blank">10.2.13.17:80</a> ->
<a href="http://164.113.217.51:41204" target="_blank">164.113.217.51:41204</a>).<br>
PPM: Rule-Event Pkt[36115] address=0x0x3c28fb0 used=54.8616 usecs suspended 05/27-18:26:40.813898
<br>
PPM: Rule-Event Pkt[47155] address=0x0x8200f80 re-enabled 05/27-18:26:48.038002 <br>
PPM: Rule-Event Pkt[48185] suspended (<a href="http://66.87.133.205:4163" target="_blank">66.87.133.205:4163</a> ->
<a href="http://10.2.2.4:80" target="_blank">10.2.2.4:80</a>).<br>
PPM: Rule-Event Pkt[48185] address=0x0x8200f80 used=53.992 usecs suspended 05/27-18:26:49.081371
<br>
PPM: Rule-Event Pkt[60578] address=0x0x3c28fb0 re-enabled 05/27-18:27:00.867186 <br>
PPM: Rule-Event Pkt[71509] suspended (<a href="http://10.2.13.48:80" target="_blank">10.2.13.48:80</a> ->
<a href="http://96.44.123.180:1046" target="_blank">96.44.123.180:1046</a>).<br>
PPM: Rule-Event Pkt[71509] address=0x0x3c28fb0 used=54.4075 usecs suspended 05/27-18:27:08.522285
<br>
PPM: Rule-Event Pkt[72989] address=0x0x8200f80 re-enabled 05/27-18:27:09.766234 <br>
PPM: Rule-Event Pkt[76364] suspended (<a href="http://10.2.13.1:35718" target="_blank">10.2.13.1:35718</a> ->
<a href="http://66.135.58.62:80" target="_blank">66.135.58.62:80</a>).<br>
PPM: Rule-Event Pkt[76364] address=0x0x8200f80 used=76.2302 usecs suspended 05/27-18:27:15.130825
<br>
PPM: Rule-Event Pkt[77634] suspended (<a href="http://66.8.180.174:64983" target="_blank">66.8.180.174:64983</a> ->
<a href="http://10.2.13.17:80" target="_blank">10.2.13.17:80</a>).<br>
PPM: Rule-Event Pkt[77634] address=0x0x820c0b0 used=53.126 usecs suspended 05/27-18:27:17.180899
<br>
<br>
<br>
</div>
<div class="gmail_extra"><br>
<br>
<div class="gmail_quote">On Fri, May 23, 2014 at 8:09 AM, Russ Combs (rucombs) <span dir="ltr">
<<a href="mailto:rucombs@...589..." target="_blank">rucombs@...16624....</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">
<div>
<div style="direction:ltr; font-family:Tahoma; color:#000000; font-size:10pt"><br>
<div style="font-family:Times New Roman; color:#000000; font-size:16px">
<hr>
<div style="direction:ltr"><font color="#000000" face="Tahoma"><b>From:</b> Cody Brugh [<a href="mailto:cbrugh@...11827..." target="_blank">cbrugh@...11827...</a>]<br>
<b>Sent:</b> Thursday, May 22, 2014 8:13 PM<br>
<b>To:</b> <a href="mailto:snort-users@lists.sourceforge.net" target="_blank">snort-users@lists.sourceforge.net</a><br>
<b>Subject:</b> [Snort-users] Snort spikes to 100% CPU followed by network latency<br>
</font><br>
</div>
<div></div>
<div>
<div dir="ltr">
<div>
<div>
<div>
<div class="">
<div>
<div>
<div>
<div>Hello,<br>
<br>
</div>
We have been running snort in-line for over a year now with no issues in terms of latency or CPU usage.  Recently (over the past month) snort will all of the sudden spike CPU usage up to 100% and network latency becomes real bad, 1000+ms.<br>
<br>
</div>
I am really not sure where to start on figuring out what is causing this.  I am starting snort so it prints the alerts/drops on the console and don't see any specific rule that would be causing this.<br>
<br>
</div>
Any advise on this issue?</div>
<div><br>
</div>
</div>
<div>* Did you change your Snort version or configuration around the time you started seeing the issue?  How frequently does this occur?  And when it happens does it resolve itself or do you restart or what?</div>
<div><br>
</div>
<div>You can turn on PPM (config ppm ...) and enable the PPM rules (gid 134).  That may catch the problem packet which you can log and examine for clues.<br>
<br>
</div>
<div>Without any clues I'd first check for SDF and PCRE.  If you have SDF (preprocessor sensitive_data) configured you can try commenting that out.  If you have any pcre/O rules (PCRE override) you can try commenting those out too.</div>
<div><br>
</div>
Snort OS: CentOS, 64-bit<br>
</div>
<div class=""><br>
  o"  )~   Version 2.9.6.1 GRE (Build 56) <br>
   ''''    By Martin Roesch & The Snort Team: <a href="http://www.snort.org/snort/snort-team" target="_blank">
http://www.snort.org/snort/snort-team</a><br>
           Copyright (C) 2014 Cisco and/or its affiliates. All rights reserved.<br>
           Copyright (C) 1998-2013 Sourcefire, Inc., et al.<br>
           Using libpcap version 1.0.0<br>
           Using PCRE version: 7.8 2008-09-05<br>
           Using ZLIB version: 1.2.3<br>
</div>
</div>
<br>
DAQ version: 2.0.2<br>
<br>
</div>
Thanks!<br>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<br>
</div>
</div>
</div>
</div>
</body>
</html>