Fabryka.
API

FABRYKA AI / NOTATKI BADAWCZE

Zachowaj dowody.
Buduj na tej pracy.

Raporty badawcze, powtarzalne eksperymenty i notatki techniczne z naszych publicznych repozytoriów.

OTWARTE BADANIA / W RÓŻNYCH REPOZYTORIACH

Więcej pytań.
Więcej dowodów.

Dziewięć wybranych notatek z sześciu publicznych repozytoriów: małe modele, polskie tokenizery, ewaluacja i przygotowanie danych. Przeglądaj zmierzone wyniki, wstępne pilotaże i metody techniczne wraz z ich źródłami.

ATLAS BADAŃ / ŚLEDŹ POWIĄZANIA

Co na czym się opiera?

Od danych i reprezentacji do pomiaru i decyzji. Wybierz notatkę, aby zobaczyć powiązanie, jego cel i dowody źródłowe.

Udokumentowane wykorzystaniePowiązanie koncepcyjneStrzałki pokazują powiązania, a nie oś czasu.

Powiązania między badaniami: dane, pomiar i decyzjeSześć notatek badawczych do wyboru. Ciągłe strzałki pokazują udokumentowane wykorzystanie: narzędzi Probierza w Fabryka Track oraz polskiej próby diagnostycznej zgody gramatycznej w planowaniu kosztów benchmarków. Przerywane strzałki łączą pytania badawcze i nie oznaczają, że jedna implementacja wywodzi się z drugiej. Wszystkie powiązania opisano poniżej.DANE I REPREZENTACJADEFINICJE I PRÓBYWYNIKI I DECYZJERóżne liczby tokenów → wspólna jednostkaSprawdź nakładanie zbiorów przed interpretacją wynikówNarzędzia oceny + zadania składnioweZmierzony czas + zaobserwowana różnicaOd wyniku do użytecznej decyzjiPo co mierzyć ponownie?01 / REPREZENTACJAPolski BPEImplementacja i pretokenizacjaZbiór testowy: 371 słów ↗02 / JAKOŚĆ DANYCHCzyszczenie danychLuki w przetwarzaniu i testyPropozycje do sprawdzenia ↗03 / POMIARProbierzCo ma mierzyć benchmark?Metoda i działające narzędzia ↗04 / PILOTAŻZgoda w polszczyźnieKoliber × Pollock2000 par · wyniki wstępne ↗05 / ZAPISANE WYNIKIPanel Fabryka TrackKompresja i polska składnia5 modeli · panel historyczny ↗06 / KOLEJNA DECYZJAKoszt benchmarkuUżyteczny sygnał na przebiegPomiar pilotażu + szacunki kosztu ↗

Przewiń diagram w bok albo wybierz notatkę poniżej.

01 / REPREZENTACJA

Polski BPE

Własną implementację BPE na poziomie bajtów porównano z wariantami Hugging Face przy tej samej wielkości słownika: 6756 tokenów. Pytanie dotyczy wpływu implementacji i pretokenizacji na kompresję.

Na małym wydzielonym zbiorze testowym uzyskano 833–844 tokeny. Wynik nie dowodzi poprawy jakości modelu w dalszych zadaniach.

Przeczytaj tę notatkę badawczą ↗

Co ją łączy z innymi — i dlaczego

  • Powiązanie koncepcyjne
    Polski BPE → Probierz

    Różne liczby tokenów → wspólna jednostka

    Eksperyment BPE pokazuje, że liczba tokenów zależy od tokenizacji. To powód, by przy porównywaniu modeli wyjść poza wielkości liczone na token. W zapisanym panelu stosuje się bity na bajt. Jest to powiązanie metodologiczne, a nie dowód, że Probierz korzystał z tego tokenizera.

    Polski BPE: źródło ↗ · Panel Fabryka Track: źródło ↗

02 / JAKOŚĆ DANYCH

Czyszczenie danych

Audyt porównuje istniejący proces przetwarzania danych z opublikowanymi metodami czyszczenia korpusów. Wskazuje potencjalne kontrole jakości, deduplikacji i filtrowania.

To analiza luk na potrzeby przyszłych eksperymentów, a nie pomiar wpływu poszczególnych etapów czyszczenia w badaniu ablacyjnym.

Przeczytaj tę notatkę badawczą ↗

Co ją łączy z innymi — i dlaczego

  • Powiązanie koncepcyjne
    Czyszczenie danych → Zgoda w polszczyźnie

    Sprawdź nakładanie zbiorów przed interpretacją wyników

    Badania nad czyszczeniem danych obejmują kontrole nakładania się danych ewaluacyjnych z innymi zbiorami. Pilotaż Ladder wyraźnie pozostawia sprawdzenie nakładania się z danymi treningowymi do wykonania. Obie notatki dotyczą tego samego problemu trafności pomiaru; nie dowodzą wspólnej implementacji.

    Czyszczenie danych: źródło ↗ · Zgoda w polszczyźnie: źródło ↗

03 / POMIAR

Probierz

Probierz określa wymiary pomiaru, pochodzenie danych i kontrole nakładania się zbiorów oraz program falsyfikowalnej ewaluacji. Dostarcza też narzędzia oceny wykorzystane w panelu modeli, którego wyniki zapisano.

Panel dostarcza dowodów dla konkretnych metryk. Nie waliduje całego programu pomiaru wielowymiarowego.

Przeczytaj tę notatkę badawczą ↗

Co ją łączy z innymi — i dlaczego

  • Powiązanie koncepcyjne
    Polski BPE → Probierz

    Różne liczby tokenów → wspólna jednostka

    Eksperyment BPE pokazuje, że liczba tokenów zależy od tokenizacji. To powód, by przy porównywaniu modeli wyjść poza wielkości liczone na token. W zapisanym panelu stosuje się bity na bajt. Jest to powiązanie metodologiczne, a nie dowód, że Probierz korzystał z tego tokenizera.

    Polski BPE: źródło ↗ · Panel Fabryka Track: źródło ↗

  • Udokumentowane wykorzystanie
    Probierz → Panel Fabryka Track

    Narzędzia oceny + zadania składniowe

    Manifest wyników Track wskazuje narzędzia Probierza: scorer_hf.py, bpb_scorer.py i run_forced_choice.py oraz zadania ewaluacji składni d3, wraz z hashami. Te narzędzia i zadania realizują część programu pomiarowego w postaci panelu modeli z zapisanymi wynikami.

    Panel Fabryka Track: źródło ↗

04 / PILOTAŻ

Zgoda w polszczyźnie

Pilotaż zgody gramatycznej na tych samych parach zdań rejestruje ciągłe miary prawdopodobieństwa i czas wykonania dla modeli Koliber i Pollock. Pomiary wykorzystano w notatce o planowaniu kosztów.

Ocena przez rodzimych użytkowników polszczyzny i kontrole nakładania się zbiorów pozostają do wykonania. Nie zmierzono BPB na korpusie ani zmienności między treningami z różnymi ziarnami losowymi. Modele trenowano dla różnych języków.

Przeczytaj tę notatkę badawczą ↗

Co ją łączy z innymi — i dlaczego

  • Powiązanie koncepcyjne
    Czyszczenie danych → Zgoda w polszczyźnie

    Sprawdź nakładanie zbiorów przed interpretacją wyników

    Badania nad czyszczeniem danych obejmują kontrole nakładania się danych ewaluacyjnych z innymi zbiorami. Pilotaż Ladder wyraźnie pozostawia sprawdzenie nakładania się z danymi treningowymi do wykonania. Obie notatki dotyczą tego samego problemu trafności pomiaru; nie dowodzą wspólnej implementacji.

    Czyszczenie danych: źródło ↗ · Zgoda w polszczyźnie: źródło ↗

  • Udokumentowane wykorzystanie
    Zgoda w polszczyźnie → Koszt benchmarku

    Zmierzony czas + zaobserwowana różnica

    Notatka o kosztach wprost wykorzystuje pilotaż na 2000 par: 111,3 sekundy dla Kolibra, 100,4 sekundy dla Pollocka i zaobserwowaną różnicę prawdopodobieństwa o wielkości 0,3169. Na tych pomiarach opiera szacunki nakładu obliczeń; nie może wyznaczyć DF skalibrowanego względem zmienności między treningami z różnymi ziarnami losowymi.

    Koszt benchmarku: źródło ↗ · Zgoda w polszczyźnie: źródło ↗

05 / ZAPISANE WYNIKI

Panel Fabryka Track

Archiwum wyników przechowuje miary kompresji dla poszczególnych dokumentów, artefakty bootstrapu dla sparowanych obserwacji oraz panel składniowy. Manifest podaje nazwy i hashe narzędzi oceny oraz zadań składniowych z Probierza.

Pomiar BPB obejmuje 300 dokumentów; raportowany rdzeń testu składni zawiera 148 par. Ten panel i pilotaż Ladder korzystają z różnych zadań i metryk.

Przeczytaj tę notatkę badawczą ↗

Co ją łączy z innymi — i dlaczego

  • Udokumentowane wykorzystanie
    Probierz → Panel Fabryka Track

    Narzędzia oceny + zadania składniowe

    Manifest wyników Track wskazuje narzędzia Probierza: scorer_hf.py, bpb_scorer.py i run_forced_choice.py oraz zadania ewaluacji składni d3, wraz z hashami. Te narzędzia i zadania realizują część programu pomiarowego w postaci panelu modeli z zapisanymi wynikami.

    Panel Fabryka Track: źródło ↗

  • Powiązanie koncepcyjne
    Panel Fabryka Track → Koszt benchmarku

    Od wyniku do użytecznej decyzji

    Historyczny panel podaje wyniki i ich niepewność. Ladder stawia dodatkowe pytanie: czy metryka rozróżnia wskazane modele na tyle wiarygodnie, by uzasadnić swój koszt? To powiązanie pytań badawczych; notatka o kosztach nie deklaruje wykorzystania panelu Track.

    Panel Fabryka Track: źródło ↗ · Koszt benchmarku: źródło ↗

06 / KOLEJNA DECYZJA

Koszt benchmarku

Notatka o planowaniu ponownie wykorzystuje zmierzone czasy i zaobserwowaną różnicę z polskiego pilotażu. Następnie szacuje nakład obliczeń dla innych benchmarków, aby zaplanować kolejną ewaluację na sparowanych wynikach.

Czasy angielskiego zestawu testów są oszacowaniami zastępczymi. Rozróżnialność modeli nie jest skalibrowana względem zmienności różnic wyników między treningami z różnymi ziarnami losowymi, więc notatka nie rozstrzyga, który benchmark należy przyjąć.

Przeczytaj tę notatkę badawczą ↗

Co ją łączy z innymi — i dlaczego

  • Udokumentowane wykorzystanie
    Zgoda w polszczyźnie → Koszt benchmarku

    Zmierzony czas + zaobserwowana różnica

    Notatka o kosztach wprost wykorzystuje pilotaż na 2000 par: 111,3 sekundy dla Kolibra, 100,4 sekundy dla Pollocka i zaobserwowaną różnicę prawdopodobieństwa o wielkości 0,3169. Na tych pomiarach opiera szacunki nakładu obliczeń; nie może wyznaczyć DF skalibrowanego względem zmienności między treningami z różnymi ziarnami losowymi.

    Koszt benchmarku: źródło ↗ · Zgoda w polszczyźnie: źródło ↗

  • Powiązanie koncepcyjne
    Panel Fabryka Track → Koszt benchmarku

    Od wyniku do użytecznej decyzji

    Historyczny panel podaje wyniki i ich niepewność. Ladder stawia dodatkowe pytanie: czy metryka rozróżnia wskazane modele na tyle wiarygodnie, by uzasadnić swój koszt? To powiązanie pytań badawczych; notatka o kosztach nie deklaruje wykorzystania panelu Track.

    Panel Fabryka Track: źródło ↗ · Koszt benchmarku: źródło ↗

W sprawdzonych notatkach udokumentowano dwa przypadki wykorzystania. Trzy przerywane powiązania to redakcyjna interpretacja wspólnych pytań badawczych. Nie oznaczają wspólnego kodu, zbioru danych ani zależności chronologicznej. Źródła są przypięte do rewizji użytych w tym katalogu.

Ilustrowana notatka badawcza · ladder

Polska próba diagnostyczna z jasno wskazanymi ograniczeniami

Koliber i Pollock oceniają te same 2000 par badających zgodność gramatyczną w polszczyźnie. Przydatna diagnostyka nie staje się automatycznie kompletnym benchmarkiem.

Wstępna diagnostyka · niepełny zakres ewaluacji

Przeczytaj ilustrowany artykuł po angielsku →Notatka źródłowa ↗

Notatka o planowaniu ewaluacji · ladder

Koszt benchmarku a zdolność rozróżniania modeli

Oddziela zmierzony czas polskiej próby diagnostycznej od szacowanego kosztu angielskiego zestawu testów i wyjaśnia, dlaczego pojedynczy wynik nie wystarcza do skalibrowania rozróżnialności modeli względem zmienności różnic wyników modeli między przebiegami treningu z różnymi ziarnami losowymi.

Zmierzona próba · jawne przybliżenia kosztu

Notatka źródłowa ↗

To wybrane notatki i artefakty badawcze, a nie dziewięć recenzowanych publikacji. Pomiary zachowują własne zbiory danych i protokoły; wyników z różnych badań nie łączymy.