BERT (Bidirectional Encoder Representations from Transformers, śl. tum.: reprezentacyje ôd dwukerunkowych enkoderōw ze transformerōw) - gŏdkowy model ôpublikowany we 2018 ôd Google. Je to neuronowy nec, zbajstlowany je na architekturze deep learning transformer a używany do kōmputerowych zadań ze zorty NLP (natural language processing) takich jak klasyfikacyjŏ, analiza abo maszinowe tumaczyniy tekstu, jak tyż genAI.

Coby zmiarkować semantyka słowa, BERT używŏ lewy jak i prawy kontekst

Moc potrenowanych modelōw je publikowanych na platformie Hugging Face. We 2024 na bazie polskigo modelu powstoł BERT dlŏ ślōnskij gŏdki[1], trenowany i testowany na inhalcie ślōnskij Wikipedyje. Ślōnski BERT ôstoł użyty do badaniŏ ôptymalizowaniŏ modelu manij uzdrzōdłowiōnyj gŏdki bez użycie tychniki vocabulary matching, tj. przidaniy tokenom tuplikowalnym do inkszyj gŏdki jednakich ôsadzyń w necu.[2]

Przipisy