如何高效实现json tcp server并防止socket flood？

Question

我正在寻找最有效的解决方案，有很多方法可以从套接字读取数据并解码 json。我显然应该使用 json.Encoder 和 json.Decoder，因为它们适用于套接字的流式传输性质，但是我有特定的规则来防止套接字泛滥，如果有单个消息 > 5 Kb，我必须关闭连接。我的消息结构是 JSON RPC。在以下示例中，我可以检查长度并应用策略：connbuf := bufio.NewReader(conn)msg, err := connbuf.ReadBytes('\n')if len(msg) > 5 * 1024 {    conn.Close()}...var req JSONRequesterr = json.Unmarshal(message, &req)...但是如果客户端推送没有分隔符的兆字节数据，这些数据将在应用程序中，在服务器断开客户端之前已经在 msg 变量中。相当脆弱。第二个例子使用解码器，根本没有机会检查大小。dec = json.NewDecoder(conn)for {    var req JSONRequest    if err := dec.Decode(&req); err == io.EOF {        break    } else if err != nil {        log.Println(err.Error())        return err   }   ...}您可以向我建议的最佳方法是什么？谢谢。

Answer 1

对于第一个示例，您可以使用ReadLine：

connbuff := bufio.NewReaderSize(conn, 5*1024)

msg, isPrefix, err := connbuff.ReadLine()

if isPrefix {

  // too long

}

...

如果isPrefix为真，则该行太长。如果您使用 a，bufio.Scanner它实际上已经具有 64kb 的最大令牌大小。

正如 Tim Cooper 和 Dave C 所说，您可以将其io.LimitedReader用于第二种情况，但是 json 解码器有一个问题。它使用缓冲 IO，因此它将读取第一个请求。

为了解决这个问题使用的组合io.MultiReader和io.LimitReader：

// to start with we have nothing buffered (an empty byte slice)

var buffered io.Reader = bytes.NewReader([]byte{})

for {

    // combine whatever was in buffered with conn, but only up to 5kb

    dec := json.NewDecoder(io.LimitReader(io.MultiReader(buffered, conn), 5*1024))

    var req string

    err := dec.Decode(&req)

    if err == io.EOF {

        break

    } else if err != nil {

        log.Fatalln(err)

    }

    // we probably read past the message, so save that to buffered

    buffered = dec.Buffered()

}