File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change @@ -6,13 +6,13 @@ TorchEasyRec作为阿里云PAI的推荐算法包,可以无缝对接MaxCompute
66
77** 一个最简单的data config的配置**
88
9- 这个配置里面,读取MaxCompute的表作为输入数据(OdpsDataset),并且输入数据已经编码好(fg_encoded) ,每个worker上以8192的batch_size,并行度为8来读取数据
9+ 这个配置里面,读取MaxCompute的表作为输入数据(OdpsDataset),并且输入数据已经编码好,每个worker上以8192的batch_size,并行度为8来读取数据
1010
1111```
1212data_config {
1313 batch_size: 8192
1414 dataset_type: OdpsDataset
15- fg_encoded: true
15+ fg_mode: FG_NONE
1616 label_fields: "clk"
1717 num_workers: 8
1818}
@@ -249,7 +249,7 @@ sample_weight_fields: 'col_name'
249249
250250# ## fg_encoded_multival_sep
251251
252- - fg_encoded=true时 ,数据的多值分割符,默认为chr(3)
252+ - fg_mode=FG_NONE 数据已经被FG编码好 时 ,数据的多值分割符,默认为chr(3)
253253
254254# ## input_fields
255255
Original file line number Diff line number Diff line change @@ -18,7 +18,7 @@ TorchEasyRec多种类型的特征,包括IdFeature、RawFeature、ComboFeature
1818
1919- ** separator** : FG在输入为string类型时的多值分隔符,默认为` \x1d ` 。更建议用数组(ARRAY)类型来表示多值,训练和推理性能更好
2020
21- - ** fg_encoded_default_value** : FG编码后的数据的默认值,当fg_encoded=true并且不是用pai -fg编码数据时,可以设置该参数填充空值
21+ - ** fg_encoded_default_value** : FG编码后的数据的默认值,当fg_mode=FG_NONE并且不是用pai -fg编码数据时,可以设置该参数填充空值
2222
2323- ** trainable** : Embedding Variable是否可训练,默认为true
2424
@@ -34,7 +34,7 @@ TorchEasyRec多种类型的特征,包括IdFeature、RawFeature、ComboFeature
3434feature_configs {
3535 id_feature {
3636 feature_name: "uid"
37- # fg_encoded=true的情况下 ,expression可以不写
37+ # fg_mode=FG_NONE 数据已经被FG编号好的情况下 ,expression可以不写
3838 expression: "user:uid"
3939 embedding_dim: 32
4040 hash_bucket_size: 100000
Original file line number Diff line number Diff line change @@ -147,8 +147,8 @@ data_config {
147147 batch_size: 8192
148148 # 输入数据类型,还可以支持 CsvDataset | OdpsDataset 等
149149 dataset_type: ParquetDataset
150- # 数据是否已经进行FG编码,如果为false,将会进行训练时FG
151- fg_encoded: false
150+ # 数据在训练时是否运行FG,fg_mode=FG_DAG时将会进行训练时FG
151+ fg_mode: FG_DAG
152152 # Label的名称
153153 label_fields: "clk"
154154 # 每个proc上的读数据并行度
You can’t perform that action at this time.
0 commit comments