Word2Vec

4.2.4

Word2Vec（词向量）性能测试

测试组网如图1所示。

1. 按照测试组网已完成集群部署。
2. 获取算法对应的测试样例工具kal-test，样例工程目录结构参考README，以下测试过程中均需使用该测试框架。
3. 将算法所用的数据集上传至HDFS指定目录，参考测试数据集。

1. 进入“/home/test/boostkit/kal-test”目录中。

   1	cd /home/test/boostkit/kal-test

2. 查看“/etc/hosts”节点名，如下图，计算节点为agent1、agent2、agent3。

   1	cat /etc/hosts

   

3. 根据2中得到的计算节点名，修改“bin/ml/word2vec_run.sh”中对应的计算节点名称，修改方式如下。
   1. 打开“bin/ml/word2vec_run.sh”文件。

      1	vi bin/ml/word2vec_run.sh

   2. 按“i”进入编辑模式，修改图中红框中对应的计算节点名称为agent1、agent2、agent3，如果计算节点不为3个，根据实际个数对该行增加或者删除。

      

   3. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
4. 创建结果保存路径。

   1	mkdir logs report

5. 运行相应测试用例脚本，如测试cate（函数接口fit）数据集的性能。

   1	sh bin/ml/word2vec_run.sh cate fit no 2>&1 | tee -a logs/word2vec_cate_fit.log

6. 运行结束后可在“/home/test/boostkit/kal-test/report/算法名称_写入文件时间.yml”文件中查看耗时、结果存放路径等数据。其中costTime为算法耗时，metric为指标值。

   cat report/算法名称_写入文件时间.yml

   

1. 脚本执行成功。
2. 生成“report/算法名称_写入文件时间.yml”文件，且文件中打印相关结果信息。

1. 如果更换目录名称或者位置，则需要在脚本中修改相应的位置。
2. 不同集群上Spark提交的最优参数可能会有差异，需要通过搜参找到最优参数，可以在“conf/ml/word2vec/word2vec.yml”中修改模型参数，在“conf/ml/word2vec/word2vec_spark.properties”中修改Spark运行参数。