Pollock Mini LM · 125M
Wydanie niewielkiego modelu językowego. Karta modelu, wagi i informacje o użyciu są dostępne w publicznym repozytorium.
FABRYKA AI / PUBLIKACJE I WYNIKI BADAŃ
Artefakty stojące
za badaniami.
Publiczne modele, zbiory danych, infrastruktura ewaluacyjna i dokumentacja techniczna. Wersje, licencje i informacje o użyciu znajdziesz w oryginalnych repozytoriach.
01 / MODELE I DANE
Sprawdź. Użyj ponownie.
Buduj na tej pracy.
Te linki prowadzą do publicznych artefaktów badawczych SlayerLab. Dokumentacja repozytorium określa zakres i ograniczenia każdego artefaktu.
Repozytorium modelu ↗, Pollock Mini LM · 125M
Polish DynaWord
Publiczny polskojęzyczny zbiór danych wspierający naszą pracę nad trenowaniem modeli językowych i składem danych.
GoLLeM v4 · 250M PL
Repozytorium polskiego modelu językowego z opublikowanymi wagami i dokumentacją modelu.
02 / BENCHMARKI I DOKUMENTACJA TECHNICZNA
Spraw, by porównanie
dało się sprawdzić.
Zasoby ewaluacyjne i praktyczna dokumentacja wspierają proces badawczy. Są wymienione według typu artefaktu, osobno od artykułów i raportów technicznych.
CodeSOTA
Porównania modeli i dowody z benchmarków. Poszczególne wpisy wskazują swoje źródła i kontekst ewaluacji.
Prawdopodobieństwa tokenów i destylacja
Dokumentacja API i przykłady zbierania prawdopodobieństw tokenów oraz eksplorowania destylacji.
Notatki badawcze i metodologia
Datowane opisy eksperymentów i metodologia ewaluacji, zachowane w Fabryka AI.
FABRYKA AI NOTES / RAPORTY I PROPOZYCJE
Badania na piśmie.
Raporty techniczne i propozycje udostępniane przez SlayerLab, Fabrykę AI i współpracowników. Każda pozycja zachowuje autorów, wersję i status wyników z repozytorium źródłowego.
Propozycja badawcza · Sprawdzone przez autora
A data queue with quarantine: proposal for online data selection in GoLLeM-v6
Brak wyników
Przeczytaj ilustrowany artykuł →, A data queue with quarantine: proposal for online data selection in GoLLeM-v6Przeczytaj PDF ↗, A data queue with quarantine: proposal for online data selection in GoLLeM-v6Metadane i autorstwo ↗, A data queue with quarantine: proposal for online data selection in GoLLeM-v6
Raport techniczny · Szkic
GoLLeM-v5: Small Language Models for the Glint Tiny-ML Leaderboard. Measurement, Method and Negative Results
Wyniki wstępne
Przeczytaj ilustrowany artykuł →, GoLLeM-v5: Small Language Models for the Glint Tiny-ML Leaderboard. Measurement, Method and Negative ResultsPrzeczytaj PDF ↗, GoLLeM-v5: Small Language Models for the Glint Tiny-ML Leaderboard. Measurement, Method and Negative ResultsMetadane i autorstwo ↗, GoLLeM-v5: Small Language Models for the Glint Tiny-ML Leaderboard. Measurement, Method and Negative Results
„Sprawdzone przez autora” to status przeglądu w repozytorium; nie oznacza recenzji w czasopiśmie. Szkice i propozycje to prace w toku. Licencję każdej pozycji podają jej metadane; nieustalona licencja nie daje prawa do ponownego wykorzystania.
Przeglądaj Fabryka AI Notes na GitHubie ↗OTWARTE BADANIA / W RÓŻNYCH REPOZYTORIACH
Więcej pytań.
Więcej dowodów.
Dziewięć wybranych notatek z sześciu publicznych repozytoriów: małe modele, polskie tokenizery, ewaluacja i przygotowanie danych. Przeglądaj zmierzone wyniki, wstępne pilotaże i metody techniczne wraz z ich źródłami.
ATLAS BADAŃ / ŚLEDŹ POWIĄZANIA
Co na czym się opiera?
Od danych i reprezentacji do pomiaru i decyzji. Wybierz notatkę, aby zobaczyć powiązanie, jego cel i dowody źródłowe.
Udokumentowane wykorzystaniePowiązanie koncepcyjneStrzałki pokazują powiązania, a nie oś czasu.
Przewiń diagram w bok albo wybierz notatkę poniżej.
01 / REPREZENTACJA
Polski BPE
Własną implementację BPE na poziomie bajtów porównano z wariantami Hugging Face przy tej samej wielkości słownika: 6756 tokenów. Pytanie dotyczy wpływu implementacji i pretokenizacji na kompresję.
Na małym wydzielonym zbiorze testowym uzyskano 833–844 tokeny. Wynik nie dowodzi poprawy jakości modelu w dalszych zadaniach.
Co ją łączy z innymi — i dlaczego
- Powiązanie koncepcyjne
Polski BPE → Probierz
Różne liczby tokenów → wspólna jednostka
Eksperyment BPE pokazuje, że liczba tokenów zależy od tokenizacji. To powód, by przy porównywaniu modeli wyjść poza wielkości liczone na token. W zapisanym panelu stosuje się bity na bajt. Jest to powiązanie metodologiczne, a nie dowód, że Probierz korzystał z tego tokenizera.
02 / JAKOŚĆ DANYCH
Czyszczenie danych
Audyt porównuje istniejący proces przetwarzania danych z opublikowanymi metodami czyszczenia korpusów. Wskazuje potencjalne kontrole jakości, deduplikacji i filtrowania.
To analiza luk na potrzeby przyszłych eksperymentów, a nie pomiar wpływu poszczególnych etapów czyszczenia w badaniu ablacyjnym.
Co ją łączy z innymi — i dlaczego
- Powiązanie koncepcyjne
Czyszczenie danych → Zgoda w polszczyźnie
Sprawdź nakładanie zbiorów przed interpretacją wyników
Badania nad czyszczeniem danych obejmują kontrole nakładania się danych ewaluacyjnych z innymi zbiorami. Pilotaż Ladder wyraźnie pozostawia sprawdzenie nakładania się z danymi treningowymi do wykonania. Obie notatki dotyczą tego samego problemu trafności pomiaru; nie dowodzą wspólnej implementacji.
Czyszczenie danych: źródło ↗ · Zgoda w polszczyźnie: źródło ↗
03 / POMIAR
Probierz
Probierz określa wymiary pomiaru, pochodzenie danych i kontrole nakładania się zbiorów oraz program falsyfikowalnej ewaluacji. Dostarcza też narzędzia oceny wykorzystane w panelu modeli, którego wyniki zapisano.
Panel dostarcza dowodów dla konkretnych metryk. Nie waliduje całego programu pomiaru wielowymiarowego.
Co ją łączy z innymi — i dlaczego
- Powiązanie koncepcyjne
Polski BPE → Probierz
Różne liczby tokenów → wspólna jednostka
Eksperyment BPE pokazuje, że liczba tokenów zależy od tokenizacji. To powód, by przy porównywaniu modeli wyjść poza wielkości liczone na token. W zapisanym panelu stosuje się bity na bajt. Jest to powiązanie metodologiczne, a nie dowód, że Probierz korzystał z tego tokenizera.
- Udokumentowane wykorzystanie
Probierz → Panel Fabryka Track
Narzędzia oceny + zadania składniowe
Manifest wyników Track wskazuje narzędzia Probierza: scorer_hf.py, bpb_scorer.py i run_forced_choice.py oraz zadania ewaluacji składni d3, wraz z hashami. Te narzędzia i zadania realizują część programu pomiarowego w postaci panelu modeli z zapisanymi wynikami.
04 / PILOTAŻ
Zgoda w polszczyźnie
Pilotaż zgody gramatycznej na tych samych parach zdań rejestruje ciągłe miary prawdopodobieństwa i czas wykonania dla modeli Koliber i Pollock. Pomiary wykorzystano w notatce o planowaniu kosztów.
Ocena przez rodzimych użytkowników polszczyzny i kontrole nakładania się zbiorów pozostają do wykonania. Nie zmierzono BPB na korpusie ani zmienności między treningami z różnymi ziarnami losowymi. Modele trenowano dla różnych języków.
Co ją łączy z innymi — i dlaczego
- Powiązanie koncepcyjne
Czyszczenie danych → Zgoda w polszczyźnie
Sprawdź nakładanie zbiorów przed interpretacją wyników
Badania nad czyszczeniem danych obejmują kontrole nakładania się danych ewaluacyjnych z innymi zbiorami. Pilotaż Ladder wyraźnie pozostawia sprawdzenie nakładania się z danymi treningowymi do wykonania. Obie notatki dotyczą tego samego problemu trafności pomiaru; nie dowodzą wspólnej implementacji.
Czyszczenie danych: źródło ↗ · Zgoda w polszczyźnie: źródło ↗
- Udokumentowane wykorzystanie
Zgoda w polszczyźnie → Koszt benchmarku
Zmierzony czas + zaobserwowana różnica
Notatka o kosztach wprost wykorzystuje pilotaż na 2000 par: 111,3 sekundy dla Kolibra, 100,4 sekundy dla Pollocka i zaobserwowaną różnicę prawdopodobieństwa o wielkości 0,3169. Na tych pomiarach opiera szacunki nakładu obliczeń; nie może wyznaczyć DF skalibrowanego względem zmienności między treningami z różnymi ziarnami losowymi.
05 / ZAPISANE WYNIKI
Panel Fabryka Track
Archiwum wyników przechowuje miary kompresji dla poszczególnych dokumentów, artefakty bootstrapu dla sparowanych obserwacji oraz panel składniowy. Manifest podaje nazwy i hashe narzędzi oceny oraz zadań składniowych z Probierza.
Pomiar BPB obejmuje 300 dokumentów; raportowany rdzeń testu składni zawiera 148 par. Ten panel i pilotaż Ladder korzystają z różnych zadań i metryk.
Co ją łączy z innymi — i dlaczego
- Udokumentowane wykorzystanie
Probierz → Panel Fabryka Track
Narzędzia oceny + zadania składniowe
Manifest wyników Track wskazuje narzędzia Probierza: scorer_hf.py, bpb_scorer.py i run_forced_choice.py oraz zadania ewaluacji składni d3, wraz z hashami. Te narzędzia i zadania realizują część programu pomiarowego w postaci panelu modeli z zapisanymi wynikami.
- Powiązanie koncepcyjne
Panel Fabryka Track → Koszt benchmarku
Od wyniku do użytecznej decyzji
Historyczny panel podaje wyniki i ich niepewność. Ladder stawia dodatkowe pytanie: czy metryka rozróżnia wskazane modele na tyle wiarygodnie, by uzasadnić swój koszt? To powiązanie pytań badawczych; notatka o kosztach nie deklaruje wykorzystania panelu Track.
06 / KOLEJNA DECYZJA
Koszt benchmarku
Notatka o planowaniu ponownie wykorzystuje zmierzone czasy i zaobserwowaną różnicę z polskiego pilotażu. Następnie szacuje nakład obliczeń dla innych benchmarków, aby zaplanować kolejną ewaluację na sparowanych wynikach.
Czasy angielskiego zestawu testów są oszacowaniami zastępczymi. Rozróżnialność modeli nie jest skalibrowana względem zmienności różnic wyników między treningami z różnymi ziarnami losowymi, więc notatka nie rozstrzyga, który benchmark należy przyjąć.
Co ją łączy z innymi — i dlaczego
- Udokumentowane wykorzystanie
Zgoda w polszczyźnie → Koszt benchmarku
Zmierzony czas + zaobserwowana różnica
Notatka o kosztach wprost wykorzystuje pilotaż na 2000 par: 111,3 sekundy dla Kolibra, 100,4 sekundy dla Pollocka i zaobserwowaną różnicę prawdopodobieństwa o wielkości 0,3169. Na tych pomiarach opiera szacunki nakładu obliczeń; nie może wyznaczyć DF skalibrowanego względem zmienności między treningami z różnymi ziarnami losowymi.
- Powiązanie koncepcyjne
Panel Fabryka Track → Koszt benchmarku
Od wyniku do użytecznej decyzji
Historyczny panel podaje wyniki i ich niepewność. Ladder stawia dodatkowe pytanie: czy metryka rozróżnia wskazane modele na tyle wiarygodnie, by uzasadnić swój koszt? To powiązanie pytań badawczych; notatka o kosztach nie deklaruje wykorzystania panelu Track.
W sprawdzonych notatkach udokumentowano dwa przypadki wykorzystania. Trzy przerywane powiązania to redakcyjna interpretacja wspólnych pytań badawczych. Nie oznaczają wspólnego kodu, zbioru danych ani zależności chronologicznej. Źródła są przypięte do rewizji użytych w tym katalogu.
Ilustrowana notatka badawcza · micro-models
Małe modele i uzupełniające się błędy
Ukończony pilotaż · ograniczona próba
Przeczytaj ilustrowany artykuł po angielsku →, Małe modele i uzupełniające się błędyNotatka źródłowa ↗, Małe modele i uzupełniające się błędy
Ilustrowana notatka badawcza · tokenizer
Mniejszy słownik dopasowany do polszczyzny
Badanie warsztatowe · zmierzone metryki tokenizera
Przeczytaj ilustrowany artykuł po angielsku →, Mniejszy słownik dopasowany do polszczyznyNotatka źródłowa ↗, Mniejszy słownik dopasowany do polszczyzny
Ilustrowana notatka badawcza · ladder
Polska próba diagnostyczna z jasno wskazanymi ograniczeniami
Wstępna diagnostyka · niepełny zakres ewaluacji
Przeczytaj ilustrowany artykuł po angielsku →, Polska próba diagnostyczna z jasno wskazanymi ograniczeniamiNotatka źródłowa ↗, Polska próba diagnostyczna z jasno wskazanymi ograniczeniami
Raport z eksperymentu · micro-models
Muzyczni eksperci: ensemble, zszywanie modeli i podobieństwo reprezentacji
Raportowane wyniki · dla konkretnego korpusu
Notatka źródłowa ↗, Muzyczni eksperci: ensemble, zszywanie modeli i podobieństwo reprezentacji
Badanie warsztatowe · tokenizer
Polskie BPE: implementacja i pretokenizacja
Mały wydzielony zbiór testowy · 371 słów
Notatka źródłowa ↗, Polskie BPE: implementacja i pretokenizacja
Metodologia benchmarku · Probierz
Probierz: wymiary ewaluacji i falsyfikowalny pomiar
Program eksperymentalny
Notatka źródłowa ↗, Probierz: wymiary ewaluacji i falsyfikowalny pomiar
Techniczna notatka badawcza · slayer-dsbench
Czyszczenie zbiorów danych: luki w procesie i proponowane eksperymenty
Analiza luk · bez wyników badań ablacyjnych
Notatka źródłowa ↗, Czyszczenie zbiorów danych: luki w procesie i proponowane eksperymenty
Artefakt benchmarku · fabryka-track
Kompresja i składnia polszczyzny: zapis wyników panelu modeli
Historyczny panel · wspólny protokół
Notatka źródłowa ↗, Kompresja i składnia polszczyzny: zapis wyników panelu modeli
Notatka o planowaniu ewaluacji · ladder
Koszt benchmarku a zdolność rozróżniania modeli
Zmierzona próba · jawne przybliżenia kosztu
Notatka źródłowa ↗, Koszt benchmarku a zdolność rozróżniania modeli
To wybrane notatki i artefakty badawcze, a nie dziewięć recenzowanych publikacji. Pomiary zachowują własne zbiory danych i protokoły; wyników z różnych badań nie łączymy.