代码拉取完成,页面将自动刷新
同步操作将从 立冬/deep-text 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
Deep Text是一个基于Tensorflow的NLP算法深度学习模型集成库,包含文本分类,序列标注,文本匹配,文本向量化,文本生成,OCR等多种算法实现,目前实现了部分基本深度学习NLP算法。后续会增加更多算法模型的实现,并准备提供Java版的模型预测调用接口。
当前版本 1.3.7 tensorflow 1.8+
.
├── common 基础类&工具类
├── deepcls 分类算法模型
├── deepcrf 序列标注
├── deepemb 句子向量
├── deeplm 语言模型
├── deepmatch 文本匹配模型
└── deepocr OCR
Deep Text项目里将算法模型分为配置生成、数据读取转换(transform)、训练(train)、模型(model)和预测(graph model)几个部分,每个算法模型都如此实现,数据读取部分提供默认实现,支持实现自定义数据格式的读取。
源码安装:
git clone https://gitee.com/wangsihong/deep-text.git
python setup.py install
pip安装:
pip install deep-text
model name :
deeptext_gen_config -m <model name> -o <output file>
命令基本格式如下:
-t --train 训练数据文件 -e --eval 测试数据文件 -c --config 配置文件(不同模型的配置文件不同) -m --model 模型保存文件名 -f 执行数据读取&转换 -w 预训练词向量[model option] 用来区分分类具体要使用的模型,目前只有在文本分类模型中使用。
cnn TextCNN rnn TextRNN cnn_m TextCNN(多标签分类) rnn_m TextRNN(多标签分类)
deepxxxx_learn [model option] -t <trainfile> -e <testfile> -c <configfile> -m <model save path> [-f <do transform> -w <build word2vec>]
模型训练完会保存成模型文件,也可以通过tensorflow的checkpoint保存模型
deepxxxx_save -p <checkpoint path> -c <config path> -m <model file path>
模型预测代码实现在各模块的model.py中,预测类命名方式为GraphXXXXXModel(model_file, config_file) 以下是几个使用python调用模型预测的例子:
TextCNN:
from deepcls import GraphTextCNNModel
from common import config_ops
#load model
config = config_ops.load_config(config_file_path)
model = GraphTextCNNModel(model_path, config)
## predict
ret = model.predict([text], 10)
TextRNN:
from deepcls import GraphTextRNNModel
from common import config_ops
#load model
config = config_ops.load_config(config_file_path)
model = GraphTextRNNModel(model_path, config)
#predict
rets = model.predict([text], 10)
DeepCRF:
from common.config_ops import load_config
from deepcrf.model import GraphDeepCRFModel
#load model
config = load_config(config_path)
model = GraphDeepCRFModel(model_path, config, None)
#predict
rets = model.predict([texts])
DeepOCR:
from common.config_ops import load_config
from deepocr.model import GraphDeepOCRModel
from PIL import Image
import PIL.ImageOps
#load model
config = load_config("config.json")
model = GraphDeepOCRModel(model_path, config)
#predict
image = Image.open("image_file")
rets = model.predict([image])
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。