加载数据

通过parser加载数据

parser内部实现了协程,加入了数据的io时间,目前支撑brat、json、conll格式的数据 示例:

from liyi_cute.shared.loadings import parser
examples = parser(task_name="ner", dirname="../datasets/bio/", error="ignore")

参数说明

task_name: 任务名称(”ner”, “rel”, “evt”, “attr”)dirname: 文件路径(可以是目录,也可以是文件名)fformat: 文件格式:(”ann”,”json”, “conll”) default: “ann”ignore_types: 忽略类型,default=Noneerror: 报错是否忽略(”raise”, “ignore”), default: “raise”lang: 语言, default: enencoding: 文件编码格式 default:”utf-8”,loop: 事件循环对象, default:None