环境要求
本文在anaconda虚拟环境中故先切换至预先装好的有TensorFlow的环境下再安装。
Python>=3.5
Tensorflow>=1.10
安装
pip install bert-serving-server # 服务端
pip install bert-serving-client # 客户端
下载预训练模型
bert-as-service官方链接:https://github.com/hanxiao/bert-as-service
在Getting Started中第一步Download a Pre-trained BERT model中单机即可以下载
谷歌github官方链接:https://github.com/google-research/bert#pre-trained-models
在Pre-trained models中下载
哈工大中文预处理模型链接:https://github.com/ymcui/Chinese-BERT-wwm
在中文模型下载
linux下解压
- 下载后放置/tmp 路径下使用unzip命令解压
例如下载的是multi_cased_L-12_H-768_A-12.zip
unzip /tmp/multi_cased_L-12_H-768_A-12
启动BERT服务
bert-serving-start -model_dir /tmp/multi_cased_L-12_H-768_A-12/ -num_worker=2
-model_dir是预训练模型的路径,-num_worker是线程数
在客户端获取
- 句向量
from bert_serving.client import BertClient
bc = BertClient()
bc.encode(['First do it', 'then do it right', 'then do it better'])
好像这个跑的太慢了,晚点在更新
参考博客: https://blog.csdn.net/qq_34832393/article/details/90414293