jetty链接超时过期

分析家

Jetty误判长连接为超时连接的问题

在上一篇中介绍了jetty的反映器模型，selector线程与业务子线程交互的点有：
1、分发事件给子线程做，启动子线程；
2、子线程发现阻塞或者连接关闭等时间时，注册内部changes，等待selector线程调度；
3、检测超时连接，并且关闭连接。
 
在检测超时连接上面，jetty存在较多的问题，可能会误判。下面是一个典型的问题，问题一步一步定位的过程也是非常艰难和曲折的，但是最终问题找到的时候却发现不过如此。 
具体的问题出在下面这个判断表达式上面，下面这个方法是由主线程派生一个子线程的来调用的，在这个线程里面对所有的连接进行超时检查。

// Idle tick
if (now-_idleTick>__IDLE_TICK)
{
_idleTick=now;
final long idle_now=((_lowResourcesConnections>0 && selector.keys().size()>_lowResourcesConnections))
?(now+_maxIdleTime-_lowResourcesMaxIdleTime)
:now;
dispatch(new Runnable()
{
public void run()
{
for (SelectChannelEndPoint endp:_endPoints.keySet())
{
endp.checkIdleTimestamp(idle_now);
}
}
});
}
 



被调用的方法：

/* ------------------------------------------------------------ */
public void checkIdleTimestamp(long now)
{
if (_idleTimestamp!=0 && _maxIdleTime!=0 && now>(_idleTimestamp+_maxIdleTime))
{
idleExpired();
}
}
 



 
_idleTimestamp是每个连接实例中标志连接上次空闲的开始时间，如果该值为0，则说明连接处于非空闲，当子线程在处理请求时会频繁地将该变量在0值与空闲的时间点之间切换，而该变量本身是寄存器变量，可以保证变量本身在多线程之间的同步。但是上面是一个表达式，假如运行的时序是下面这样的：
1、子线程刚刚将连接置为空闲，那么_idleTimestamp大于0；

2、主线程开始判断该连接是否超时，判断到_idleTimestamp>0满足；
3、当程序继续运行时，子线程又将_idleTimestamp切换为0；
4、主线程开始判断now>(_idleTimestamp+_maxIdleTime)的条件，发现也满足；
5、最终，所有判断条件均为真，进入关闭连接的流程，连接被关闭。
这样就形成一个误判。本来连接上的请求正在处理，却被提前关闭了，最终会导致某一个请求处理失败，并且是莫名其妙的失败，网络抓包能发现是服务端关闭了连接，但是到底是谁关闭了连接都很难知道，最终通过在关闭socket的地方记录堆栈，待到堆栈累计到一定程度时，将其打印到日志中，结合抓包数据就能发现问题所在。
问题明确了，修改方法也简单：

/* ------------------------------------------------------------ */
public void checkIdleTimestamp(long now)
{
long idleTimestamp = _idleTimestamp;
if (idleTimestamp!=0 && _maxIdleTime!=0 && now>(idleTimestamp+_maxIdleTime))
{
idleExpired();
}
}
 



 
这样就避免了在计算表达试的过程中全局变量的值被改变了。问题解决。
这个问题解决之后，紧随其后，又发现了另外一个更加奇怪的现象：
发现在连接启动之后，业务已经在处理中，最终业务处理完成，但是对外回复响应时却发现连接已经被关闭了。这个问题与上面的问题很像，但是不是同一个问题。经过上面的分析定位，对这里已经有一定的积累，很快就找到了连接关闭的根源，还是在检查超时连接上面。
经过反复推敲，发现问题出在下面３个函数的配合上面，当一个连接上面接近200秒（连接最大超时时间）都没有任何请求，而此时一个新的请求已经启动，但是还没有来得及调用cancelIdle来置空闲标志为0，这时请求已经开始处理，就在这个时候，主线程开始检查连接是否超时，结果发现已经超过200秒，连接上面没有处理任何数据，走入关闭连接的流程。
而此时业务线程已经在处理数据，等待数据处理完成，需要回复响应的时候才发现此连接已经断开了。这样客户端无法收到任何讯息。服务端记录该请求失败，但实际上请求已经处理成功。

/* ------------------------------------------------------------ */
public void scheduleIdle()
{
_idleTimestamp=System.currentTimeMillis();
}
/* ------------------------------------------------------------ */
public void cancelIdle()
{
_idleTimestamp=0;
}
/* ------------------------------------------------------------ */
public void checkIdleTimestamp(long now)
{
long idleTimestamp = _idleTimestamp;
if (idleTimestamp!=0 && _maxIdleTime!=0 && now>(idleTimestamp+_maxIdleTime))
{
idleExpired();
}
}
这个问题的修改方法稍微复杂一点：



 

/* ------------------------------------------------------------ */
public void scheduleIdle() throws IOException
{
synchronized (idleClosing)
{
if (idleClosing.get())
{
throw new IOException("the connection was closed right now. this request will be responsed a wrong value.");
}
else
{
_idleTimestamp=System.currentTimeMillis();
}
}
}
/* ------------------------------------------------------------ */
public void cancelIdle()
{
_idleTimestamp=0;
}
/* ------------------------------------------------------------ */
public void checkIdleTimestamp(long now)
{
long idleTimestamp = _idleTimestamp;
if (idleTimestamp!=0 && _maxIdleTime!=0 && now>(idleTimestamp+_maxIdleTime))
{
synchronized (idleClosing )
{
if (_idleTimestamp == 0)
{
Log.warn("the request is doing. it cannot be closed!");
return;
}
else
{
idleClosing.set(true);
}
}
idleExpired();
}
}
 



 

在两个方法之间用一个标志量来作为同步依据，当关连接的事情先发生，那么切换状态的操作就会因为idleclosing标志已经被置而直接抛出异常，不至于子线程继续处理数据。如果是子线程置连接为非空闲在前，则主线程的关连接操作也会不关连接而直接返回。