custom_replace(replace_pattern)#

功能：用于按规则对文本进行替换。

参数：

replace_pattern：替换规则列表，可使用正则表达式。

样例：

1
from torchtext.data.functional import custom_replace
2

3
custom_replace_transform = custom_replace([(r'[Se]', '#'), (r'\s+', '_')])
4
list_a = ["Sentencepiece encode  aS  pieces", "exampleS to   try!"]
5
print(list(custom_replace_transform(list_a)))

样例结果：

1
['##nt#nc#pi#c#_#ncod#_a#_pi#c#s', '#xampl##_to_try!']

simple_space_split(iterator)#

功能：按照空白字符切割文本，包括空格、制表符、换行等。

参数：

iterator：迭代器。需要分割的文本。

样例：

1
from torchtext.data.functional import simple_space_split
2

3
list_a = ["Sentencepiece\t\t\tencode as\n pieces", "example to try!"]
4
print(list(simple_space_split(list_a)))

样例结果：

1
[['Sentencepiece', 'encode', 'as', 'pieces'], ['example', 'to', 'try!']]

注意：只是单纯的按空白字符分割，标点符号会跟单词连在一起。

numericalize_tokens_from_iterator(vocab, iterator, removed_tokens=None)#

功能：将文本列表根据字典映射为索引的迭代器。

参数：

vocab：单词与索引的对应字典。
iterator：文本迭代器。需要转换为索引的文本。
removed_tokens：需要忽略的单词列表，默认None。若不为None，则列表中的单词在索引化时会被删除。

样例：

1
from torchtext.data.functional import simple_space_split, numericalize_tokens_from_iterator
2

3
vocab = {
4
    "Sentencepiece":0,
5
    "encode":1,
6
    "as":2,
7
    "pieces":3
8
}
9

10
sentences = [
11
    "Sentencepiece encode as as as",
12
    "pieces pieces encode"
13
]
14

15
ids_iter = numericalize_tokens_from_iterator(
16
    vocab=vocab,
17
    iterator=simple_space_split(sentences),
18
)
19

20
for ids in ids_iter:
21
    print([num for num in ids])
22

23
ids_iter = numericalize_tokens_from_iterator(
24
    vocab=vocab,
25
    iterator=simple_space_split(sentences),
26
    removed_tokens=["encode"]
27
)
28

29
for ids in ids_iter:
30
    print([num for num in ids])

样例结果：

1
[0, 1, 2, 2, 2]
2
[3, 3, 1]
3
[0, 2, 2, 2]
4
[3, 3]

原文链接：CSDN