get_tokenizer(tokenizer, language=‘en’)#

功能：使用分词器对句子进行分词。

参数：

tokenizer：分词器名称。

如果传入None，功能相当于simple_space_split()，不会分割标点符号。

如果传入"basic_english"，则会将字母转为小写并按空格分割，会分割标点符号。

如果传入可调用函数，则会调用并返回相应结果。

如果传入分词库名称，则会返回相应的结果，分词库有spacy、moses、toktok、revotk，subword等。
language：语言名称，默认为en。

示例：

1
import torchtext
2
from torchtext.data.utils import get_tokenizer
3

4
# 传入None
5
tokenizer = get_tokenizer(None)
6
tokens = tokenizer("You can,\t\tnow\n\ninstall TorchText using pip!!!")
7
print(tokens)
8

9
# 传入"basic_english"
10
tokenizer = get_tokenizer("basic_english")
11
tokens = tokenizer("You can,\t\tnow\n\ninstall TorchText using pip!!!")
12
print(tokens)
13

14
# 传入可调用函数
15
def mySplit(text:str):
16
    return text.split(" ")
17

18
tokenizer = get_tokenizer(mySplit)
19
tokens = tokenizer("You can,\t\tnow\n\ninstall TorchText using pip!!!")
20
print(tokens)
21

22
# 传入分词库名称
23
tokenizer = get_tokenizer("moses")
24
tokens = tokenizer("You can,\t\tnow\n\ninstall TorchText using pip!!!")
25
print(tokens)

示例结果：

1
['You', 'can,', 'now', 'install', 'TorchText', 'using', 'pip!!!']
2
['you', 'can', ',', 'now', 'install', 'torchtext', 'using', 'pip', '!', '!', '!']
3
['You', 'can,\t\tnow\n\ninstall', 'TorchText', 'using', 'pip!!!']
4
['You', 'can', ',', 'now', 'install', 'TorchText', 'using', 'pip', '!', '!', '!']

ngarms_iterator(token_list, ngrams)#

功能：生成ngram词袋分词。

参数：

token_list：分词结果列表。
ngrams：词袋大小

示例：

1
import torchtext
2
from torchtext.data.utils import get_tokenizer, ngrams_iterator
3

4
tokenizer = get_tokenizer("basic_english")
5
tokens = tokenizer("You can\t\tnow")
6

7
list(ngrams_iterator(tokens, 3))

示例结果：

1
['you', 'can', 'now', 'you can', 'can now', 'you can now']

原文链接：CSDN