使用SQL确定文本字段的字数统计

Question

我最近一直在研究一些数据库搜索功能，希望获得一些信息，例如每个文档的平均单词数（例如数据库中的文本字段）。到目前为止，我发现的唯一内容（没有在DB外部进行选择的语言处理）是：SELECT AVG(LENGTH(content) - LENGTH(REPLACE(content, ' ', '')) + 1)FROM documents这似乎可行*，但您还有其他建议吗？我目前使用的是MySQL 4（希望很快将其迁移至该应用程序的版本5），但也对通用解决方案感兴趣。谢谢！*我可以想象这是确定它的一种相当粗糙的方法，因为它也没有考虑内容等中的HTML。这个特定项目可以，但是还有更好的方法吗？更新：定义“更好”的意思是：更准确，执行效率更高或更“正确”（易于维护，良好实践等）。对于我可用的内容，上面的查询足够快并且对于该项目来说是准确的，但是将来我可能需要类似的内容（所以我问）。

Answer 1

MySQL的文本处理功能不足以满足您的需求。存储功能是一个选项，但可能会很慢。在MySQL中处理数据的最佳选择是添加一个用户定义的函数。无论如何，如果要构建MySQL的较新版本，也可以添加一个native函数。

“正确”的方法是在数据库外部处理数据，因为数据库用于存储而不是处理，并且任何繁重的处理都可能给DBMS带来过多的负担。此外，在MySQL之外计算字数使更改字数定义变得更加容易。更改文档时如何将单词计数存储在数据库中并进行更新？

存储功能示例：

DELIMITER $$

CREATE FUNCTION wordcount(str LONGTEXT)

       RETURNS INT

       DETERMINISTIC

       SQL SECURITY INVOKER

       NO SQL

  BEGIN

    DECLARE wordCnt, idx, maxIdx INT DEFAULT 0;

    DECLARE currChar, prevChar BOOL DEFAULT 0;

    SET maxIdx=char_length(str);

    SET idx = 1;

    WHILE idx <= maxIdx DO

        SET currChar=SUBSTRING(str, idx, 1) RLIKE '[[:alnum:]]';

        IF NOT prevChar AND currChar THEN

            SET wordCnt=wordCnt+1;

        END IF;

        SET prevChar=currChar;

        SET idx=idx+1;

    END WHILE;

    RETURN wordCnt;

  END

$$

DELIMITER ;

Answer 2

尽管速度略有降低，但速度要快得多。我发现它的计数为4％，对于“估计”方案来说还可以。

SELECT

    ROUND (   

        (

            CHAR_LENGTH(content) - CHAR_LENGTH(REPLACE (content, " ", "")) 

        ) 

        / CHAR_LENGTH(" ")        

    ) AS count    

FROM documents