소스 검색

Add GLM-Large-Generation model

duzx16 2 년 전
부모
커밋
43b27f8711
1개의 변경된 파일13개의 추가작업 그리고 0개의 파일을 삭제
  1. 13 0
      configs/model_glm_large_generation.sh

+ 13 - 0
configs/model_glm_large_generation.sh

@@ -0,0 +1,13 @@
+MODEL_TYPE="glm-large-generation"
+CHECKPOINT_PATH="/zhangpai21/checkpoints/glm-large-en-generation"
+MP_SIZE=1
+MODEL_ARGS="--model-parallel-size ${MP_SIZE} \
+            --vocab 30592 \
+            --num-layers 24 \
+            --hidden-size 1024 \
+            --num-attention-heads 16 \
+            --max-sequence-length 513 \
+            --tokenizer-type glm_BertWordPieceTokenizer \
+            --tokenizer-model-type bert-large-uncased \
+            --task-mask \
+            --load ${CHECKPOINT_PATH}"