Browse Source

Add GLM-Large-Generation model

duzx16 2 năm trước cách đây
mục cha
commit
43b27f8711
1 tập tin đã thay đổi với 13 bổ sung0 xóa
  1. 13 0
      configs/model_glm_large_generation.sh

+ 13 - 0
configs/model_glm_large_generation.sh

@@ -0,0 +1,13 @@
+MODEL_TYPE="glm-large-generation"
+CHECKPOINT_PATH="/zhangpai21/checkpoints/glm-large-en-generation"
+MP_SIZE=1
+MODEL_ARGS="--model-parallel-size ${MP_SIZE} \
+            --vocab 30592 \
+            --num-layers 24 \
+            --hidden-size 1024 \
+            --num-attention-heads 16 \
+            --max-sequence-length 513 \
+            --tokenizer-type glm_BertWordPieceTokenizer \
+            --tokenizer-model-type bert-large-uncased \
+            --task-mask \
+            --load ${CHECKPOINT_PATH}"