 Ning
|
b20ffea609
Unity.cpp dec sync (#257)
|
hai 1 ano |
|
Ning
|
42365dfb74
Cherrypick allocr related changes from public (#247)
|
hai 1 ano |
 Guillaume Wenzek
|
a768cdf55f
Unity inc (#159)
|
hai 1 ano |
|
Guillaume Wenzek
|
353a001d64
fix merge
|
hai 1 ano |
|
Guillaume Wenzek
|
f2ef995b95
format/isort
|
hai 1 ano |
|
Guillaume Wenzek
|
c25c280302
dtype("bool")
|
hai 1 ano |
|
Guillaume Wenzek
|
2f71737adc
skip tests that can't run locally
|
hai 1 ano |
|
Guillaume Wenzek
|
d5b035f230
fix PositionalEmbedding with cache
|
hai 1 ano |
|
Guillaume Wenzek
|
a771adc782
nicer ctypes_utils
|
hai 1 ano |
|
Guillaume Wenzek
|
f6d810543d
fix incremental decoding !
|
hai 1 ano |
|
Guillaume Wenzek
|
522b97234e
WIP: simple failing test case
|
hai 1 ano |
|
Guillaume Wenzek
|
cc23e2b1c7
prepare tests for flash_attn
|
hai 1 ano |
|
Guillaume Wenzek
|
eb7810b81f
force little-endian
|
hai 1 ano |
|
Guillaume Wenzek
|
6fbb465f2b
generate_sequence return full results
|
hai 1 ano |
|
Guillaume Wenzek
|
86993cbd00
fix StandardTransformerEncoder
|
hai 1 ano |
|
Guillaume Wenzek
|
28ed039370
fix MultiheadAttention_forward
|
hai 1 ano |
|
Guillaume Wenzek
|
b7b31a3978
rm python 3.11 idiom
|
hai 1 ano |
|
Guillaume Wenzek
|
81cdf80eb9
WIP: MultiheadAttention_forward
|
hai 1 ano |
|
Guillaume Wenzek
|
f2b5007277
start testing with batch size > 1
|
hai 1 ano |
|
Guillaume Wenzek
|
f7d2c90ceb
_almost_contiguous
|
hai 1 ano |
|
Guillaume Wenzek
|
88b0690a72
split tests files
|
hai 1 ano |
|
Guillaume Wenzek
|
bfbafd9603
fix generation with beam_size=1
|
hai 1 ano |
|
Guillaume Wenzek
|
45f986055a
add naive tweaking of lprobs
|
hai 1 ano |
|
Guillaume Wenzek
|
2238cea072
SinusoidalPositionEncoder + WIP: TransformerEmbeddingFrontend
|
hai 1 ano |
|
Guillaume Wenzek
|
f1f33dbec1
has_layer + transformer decoder
|
hai 1 ano |
|
Guillaume Wenzek
|
3f1d6992f3
fix to_numpy for transposed tensors
|
hai 1 ano |
|
Guillaume Wenzek
|
a80a3b49f3
remove un-needed code
|
hai 1 ano |
|
Guillaume Wenzek
|
fa85f05545
test flash_attn
|
hai 1 ano |
|
Guillaume Wenzek
|
06d4ed1475
ggml.ne != np.shape
|
hai 1 ano |
|
Guillaume Wenzek
|
c2e6384e29
nb
|
hai 1 ano |
