Závěrečná práce: Mgr. Marek Kadlčík, učo 485294: How Pretrained Language Models Represent Numbers
Rigorózní práce
How Pretrained Language Models Represent Numbers
Anotace
Tato práce zkoumá, jak předtrénované velké jazykové modely (LLM) reprezentují čísla, a reviduje současné dohady o jejich přesnosti. Zatímco dosavadní výzkum naznačuje, že LLM spoléhají na zašuměné a nepřesné lineární aproximace kvantity, my ukazujeme, že modely ve skutečnosti vytvářejí vysoce přesné a systematické reprezentace čísel. Identifikujeme jasnou sinusovou strukturu, kterou tradiční interpretační …více
Abstract
This thesis investigates how pretrained Large Language Models (LLMs) represent numbers, revisiting current assumptions about their precision. While existing research suggests that LLMs rely on noisy, imprecise linear approximations of quantity, we demonstrate that models actually develop highly accurate, systematic representations. We identify a distinct sinusoidal structure that traditional interpretability …více
7. 2. 2026 07:10, doc. RNDr. Petr Sojka, Ph.D., učo 2378
angličtina
Oponenti
CIIRC, ČVUT v Praze
Práce na příbuzné téma
Seznam prací, které mají shodná klíčová slova.
-
Komunikace s umělou inteligencí: hledání hranic porozumění
Bc. Veronika Urbášková -
Etické aspekty využívání data miningových metod v HR
Mgr. Nikola Fröhlichová, učo 427743 -
Využití neuronových sítí pro klasifikaci obrazů mozku v neurovědním výzkumu
RNDr. Roman Vyškovský, Ph.D. -
Utilization of Machine Learning in Biomedical Image Synthesis
RNDr. David Wiesner, Ph.D., učo 255597 -
Exchange rates predictions using machine learning methods
Ing. Yaroslav Korobka -
Forecasting of successful verbal memory encoding in humans from intracranial EEG
Mgr. Patrik Begáň -
Propagace konceptů v moderních neuronových sítích
Bc. Jiří Hofírek -
Multilayer feedforward neural networks based on multi-valued neurons
Mgr. Miroslav Hlaváček
Složky
Soubory
-
Přidání souboru
Soubor nebo složku lze nahrát pomocí tlačítka Přidat. -
Další operace se soubory
Podrobnosti lze zjistit označením příslušného řádku. -
Pohled pro experty
Pro častou práci je možné zvolit režim Více možností. -
Vyhledávání souborů
Vyhledávaný výraz můžete zadat přímo do adresního řádku. -
Rychlý přístup k souborům
Pomocí funkce Nedávné je možné se rychle vrátit k právě prohlíženým souborům. Oblíbené soubory je také možné označit Hvězdičkou.