You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
stworzenie modelu albo dataclassy (możnaby się ew. pokusić o implementacje jakiejś arytmetyki miedzy tymi wektorami) SparseVector z polami:
non_zero_dims - list[int] pozycje na którcyh wektor jest różny od 0
non_zero_vals - list[float] - wartości na tych pozycjach
dim - wymiar wektora
zdefiniowanie interfejsu SparseEmbedding - podobnego do istniejącego Embedding tą różnicą że zamiast list[list[float]] zwracamy list[SparseVector]
przykladowa prosta implementacja takiego interfejsu - proponowałbym na początek jakiś BagOfTokens - zapuszczamy po prostu tokenizacje i id-kami są id-ki tokenow, wartosciami liczba ich wystąpień w tekscie, a wymiarem liczba tokenów w słowniku
Feature description
Goal of this task is to add support to calculate sparse vectors from text in ragbits.
Motivation
Sparse vectors will be important part in hybrid search approaches.
Additional context
No response
The text was updated successfully, but these errors were encountered: