tokenizer

网络分词器；标记器；分词器部分

网络释义

1.	分词器先实现分词器(Tokenizer),代码中用了一个第三方的分词组件做实验. //DotLucene的分词器简单来说，就是实现Tokenizer的Next … www.cnblogs.com\|基于294个网页
2.	标记器 9、标记器(tokenizer)的作用是将包含分隔符（空格、tab键、换行符、回车键、换页符）的字符串分割保存到字符串数组。用 … www.cnblogs.com\|基于161个网页
3.	分词器部分 ...装主要实现 sqlite3_prepare() 分词器部分(Tokenizer) 分词器的实现 tokenize.c 14495 语法分析器部分(Parser) parser.c 1169… wenku.baidu.com\|基于106个网页

4.	分词组件分词组件(Tokenizer)会做以下几件事情(此过程称为Tokenize)：1. 将文档分成一个一个单独的单词。 www.cnblogs.com\|基于25个网页
5.	令牌解析器 DSPAM中文站 ... tokenize ：令牌化 tokenizer ：令牌解析器 token ：标记 ... blog.dspam.org.cn\|基于7个网页
6.	词法分析器增加词法分析器(Tokenizer)。增加计数器(Counter)。 www.qiyeku.com\|基于4个网页

更多释义

收起释义

例句

释义:

全部全部,分词器分词器,标记器标记器,分词器部分分词器部分

类别:全部全部,口语口语,书面语书面语,标题标题,技术技术

来源:全部全部,字典字典,网络网络

难度:全部全部,简单简单,中等中等,难难

更多例句筛选

收起例句筛选

1.

Analyzers can be composed as a tokenizer and a set of filters using the Apache Solr search library .

我们可以通过 ApacheSolr 搜索库将分析器分解为一个标识符和一套过滤器。

2.

To verify this , it calls the tokenizer (Tokenizer. java) to return the next token in the input stream .

为了验证这一点，它调用记号赋予器（Tokenizer.java ）以返回输入流中的下一个记号。

3.

TokenMgrError. java and ParseException ? These classes represent exception conditions in the tokenizer and parser respectively .

javaandParseException——这些类分别表示记号赋予器和分析器中的异常状况。

4.

What the parser fills in depends on the path it takes through the tokenizer.

解析器填入的内容取决于它通过记号赋予器所采用的路径。

5.

If the tokenizer encounters neither token , it returns a lexical error .

如果记号赋予器未遇到这两个记号，则返回词法错误。

6.

In my experiments , the tokenizer is plenty fast , but the parsing bogs down even with quite small test cases .

在我的实验中，记号赋予器还比较快，但解析过程就很慢了，即便用很小的测试案例也很慢。

7.

With the tokenizer, it is easy to decode the processing instructions .

有了 tokenizer ，就很容易译码处理指令。

8.

A good lexer example can help a lot with learning how to write a tokenizer.

一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer ）。

9.

The process that scans an input string and determines what the tokens are is called the tokenizer . In the query

扫描输入字符串以及判断是何标记的过程称作记号赋予器（tokenizer ）。