<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 11 (filtered medium)">
<style>
<!--
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman";}
a:link, span.MsoHyperlink
        {color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {color:purple;
        text-decoration:underline;}
p.MsoPlainText, li.MsoPlainText, div.MsoPlainText
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";}
@page Section1
        {size:8.5in 11.0in;
        margin:1.0in 77.95pt 1.0in 77.95pt;}
div.Section1
        {page:Section1;}
-->
</style>
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="Section1">
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Hi Mike<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">So I've managed to reproduce the issue in house, and I&#8217;ve come up with a fix as well.&nbsp; It only occurs when configured with a non-existent IP (or unreachable).&nbsp; &nbsp;&nbsp;<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Basically what is happening is that as our process gets going, thread A calls connect() on the Transport thread.&nbsp; This in turn instantiates a new Thread (thread B) (Transport:163)
 and starts it (Transport:167).&nbsp; Of course run() is called on Transport in thread B, and as u can see in the trace below, it tries to connect to the bad IP via creation of a Socket (SmbTransport:245) and hangs here indefinitely b/c the timeout has not yet been
 set to SO_TIMEOUT.&nbsp; <o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205 &quot;Transport1&quot; daemon prio=10 tid=0x00000000562f4400 nid=0x45d6 runnable [0x0000000052e61000..0x0000000052e61b90]<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp;&nbsp; java.lang.Thread.State: RUNNABLE<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.PlainSocketImpl.socketConnect(Native Method)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.PlainSocketImpl.doConnect(PlainSocketImpl.java:333)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; - locked &lt;0x00002aaaf3815dd8&gt; (a java.net.SocksSocketImpl)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:195)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:182)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.Socket.connect(Socket.java:519)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.Socket.connect(Socket.java:469)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.Socket.&lt;init&gt;(Socket.java:366)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.net.Socket.&lt;init&gt;(Socket.java:180)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at jcifs.smb.SmbTransport.negotiate(SmbTransport.java:245)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; - locked &lt;0x00002aaafc77cbe0&gt; (a [B)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at jcifs.smb.SmbTransport.doConnect(SmbTransport.java:305)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at jcifs.util.transport.Transport.run(Transport.java:233)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.lang.Thread.run(Thread.java:619)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Since the configured server IP is unreachable, thread B spins for long enough for thread A to throw a new TransportException( &quot;Connection timeout&quot; ) (Transport:174).&nbsp;
 Our code catches this and then kicks off our own reconnect thread, trying to kick the whole thing off again.&nbsp; However, since the thread B is still trying to connect to the unreachable IP and is not interrupted, all subsequent connect() calls pile up on the
 synchronized mutex in negotiate<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205 &quot;Transport1&quot; daemon prio=10 tid=0x00000000562f2800 nid=0x3ff8 waiting for monitor entry [0x0000000052c5f000..0x0000000052c5fc90]<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp;&nbsp; java.lang.Thread.State: BLOCKED (on object monitor)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at jcifs.smb.SmbTransport.negotiate(SmbTransport.java:239)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; - waiting to lock &lt;0x00002aaafc77cbe0&gt; (a [B)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at jcifs.smb.SmbTransport.doConnect(SmbTransport.java:302)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at jcifs.util.transport.Transport.run(Transport.java:233)<o:p></o:p></span></font></p>
<p class="MsoPlainText" style="margin-left:.5in"><font size="2" face="Courier New"><span style="font-size:10.0pt">Nov 30 09:38:34 VM205&nbsp;&nbsp; at java.lang.Thread.run(Thread.java:619)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Now, as I see it the problem is that the negotiate() call is passing in the connection info to new Socket(), which results in an immediate connect attempt, and THEN setting
 the timeout, which means that it is set to infinity on the initial socket connect attempt.&nbsp;
<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">I&#8217;ve refactored the code in a couple places to resolve the issue.&nbsp; How can I submit the code to be reviewed and included in v16?&nbsp;
<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Cheers<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Adam<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">-----Original Message-----<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">From: Michael B Allen [mailto:ioplex@gmail.com]
<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Sent: Monday, November 29, 2010 6:27 PM<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">To: Adam Morgan<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Cc: jcifs@lists.samba.org<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Subject: Re: [jcifs] pile up of Transport threads in BLOCKED state<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Hi Adam,<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">What is the thread blocked on?<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Get a backtrace.<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Mike<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">On Fri, Nov 26, 2010 at 10:51 AM, Adam Morgan &lt;adam.morgan@q1labs.com&gt; wrote:<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Hi Mike<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; We&#8217;ve run into an issue around a pile up of the Transport threads, to the<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; point of using all available os threads, and causing OOMs across ALL jvms on<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; the box.<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; A customer had a configuration set up successfully for a while, but at some<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; point decided to shut it off (ie shut down samba on the target box, plus<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; potentially some other services), but forgot to turn off our code so it<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; would stop trying to reconnect.&nbsp; As a result, the box made roughly 20k<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; reconnect attempts over the next couple days.&nbsp; Each reconnect attempt met a<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; NoRouteToHostException, and for whatever reason the Transport threads remain<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; in a BLOCKED state, waiting on an object monitor, and are never released.<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; &nbsp;In light of this &#8216;runaway&#8217; reconnect, we&#8217;ve refactored the code to attempt<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; the reconnects on a increasingly-delayed basis (1s, 2s, 4s,&#8230; up to 15min<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; between attempts, resetting to 0s on a successful reconnect) in hopes that<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; we were just not waiting long enough and the issue would be resolved.<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; However, this refactoring did not resolve the issue and we still see the<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; &#8216;Transport&#8217; thread count creep up over time.<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:02:13 evlqradar01 ecs[25797]: java.net.NoRouteToHostException: No<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; route to host<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:02:13 evlqradar01 ecs[25797]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.PlainSocketImpl.socketConnect(Native Method)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:02:13 evlqradar01 ecs[25797]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:02:13 evlqradar01 ecs[25797]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.Socket.&lt;init&gt;(Socket.java:180)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:02:13 evlqradar01 ecs[25797]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; jcifs.smb.SmbTransport.ssn139(SmbTransport.java:178)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]: java.net.NoRouteToHostException: No<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; route to host<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.PlainSocketImpl.socketConnect(Native Method)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.PlainSocketImpl.connectToAddress(PlainSocketImpl.java:195)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.Socket.connect(Socket.java:469)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.net.Socket.&lt;init&gt;(Socket.java:180)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; jcifs.smb.SmbTransport.negotiate(SmbTransport.java:242)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; jcifs.smb.SmbTransport.doConnect(SmbTransport.java:305)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 16 10:03:17 evlqradar01 ecs[31981]:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; at<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; java.lang.Thread.run(Thread.java:619)<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Here&#8217;s a snippet from our logs showing the thread state and blocked-time:<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 17 14:23:07 172.24.251.251 [ecs] [Folder Monitor [SMTP<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; tailer][smb://172.24.1.162/c$/Program Files/Microsoft/Exchange<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Server/TransportRoles/Logs/ProtocolLog/] - Reconnect]<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; com.q1labs.frameworks.core.ThreadExceptionHandler: [INFO]<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; [NOT:0000006000][172.24.251.251/- -] [-/- -]124143,Transport1 in Byte Code,<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; BLOCKED, blocked-count: 1, blocked-time: 1003721 ms, wait-count: 0,<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; wait-time: 0 ms, user cpu: 0 nanos, sys/user cpu time: 0 nanos, Transport1<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; locked on [B@72faf9b5<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Nov 17 14:23:07 172.24.251.251 [ecs] [Folder Monitor [SMTP<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; tailer][smb://172.24.1.162/c$/Program Files/Microsoft/Exchange<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Server/TransportRoles/Logs/ProtocolLog/] - Reconnect]<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; com.q1labs.frameworks.core.ThreadExceptionHandler: [INFO]<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; [NOT:0000006000][172.24.251.251/- -] [-/- -]124142,Transport2 in Byte Code,<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; BLOCKED, blocked-count: 1, blocked-time: 1003753 ms, wait-count: 0,<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; wait-time: 0 ms, user cpu: 0 nanos, sys/user cpu time: 0 nanos, Transport2<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; locked on [B@5e36d88a<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; As you can see, the threads are locked and have been blocked for ~1000s&#8230;<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; well above any of the default timeouts listed in SmbConstants.<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Can you shed any light into this as to whether we have any configuration<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; options or if this is a jcifs bug?<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Thanks<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt;<o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">&gt; Adam<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt"><o:p>&nbsp;</o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">--
<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Michael B Allen<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">Java Active Directory Integration<o:p></o:p></span></font></p>
<p class="MsoPlainText"><font size="2" face="Courier New"><span style="font-size:
10.0pt">http://www.ioplex.com/<o:p></o:p></span></font></p>
</div>
</body>
</html>