Fabryka AI / Program badań 2026
Trzy powiązane programy — od uczenia przy ograniczonej mocy obliczeniowej po pomiar systemów, które wdrażamy. Obecne artefakty i planowane badania oznaczamy osobno.
01 — FAB-SLM-001 / MAŁE MODELE JĘZYKOWE
PYTANIE BADAWCZE
Jak skład danych, tokenizacja i nadzór modelu-nauczyciela wpływają na jakość modelu przy stałym budżecie parametrów i obliczeń treningowych?
PLAN BADANIA
Dopasowane przebiegi treningowe na stałych podziałach ewaluacyjnych; zmieniamy jeden czynnik naraz; zapisujemy tokenizer, rewizje danych, tokeny, ziarna losowe i moc obliczeniową.
ZAKRES I MOC OBLICZENIOWA
Najpierw modele poniżej 150M. Badania 1B i 10B to kierunki z planu rozwoju, zależne od dostępnej mocy obliczeniowej i gotowości danych.
| R0 kontr. | R1 | R2 | R3 | R4 | |
|---|---|---|---|---|---|
| Tokenizer | PL-32k | ||||
| Mieszanka danych | +PL | ||||
| Nauczyciel | KD | ||||
| Ziarno | ×3 |
02 — FAB-SYS-001 / WYDAJNA INFERENCJA
PYTANIE BADAWCZE
Jak przepustowość pamięci, implementacje mechanizmu uwagi, kwantyzacja i strategie dekodowania wpływają na opóźnienie, przepustowość, zużycie pamięci i jakość odpowiedzi?
PLAN BADANIA
Ten sam model i to samo obciążenie na udokumentowanym sprzęcie i oprogramowaniu. Mierzymy prefill, TTFT, szybkość dekodowania i rozkłady opóźnień przy określonej współbieżności. Jakość oceniamy oddzielnie od szybkości.
ZAKRES
Kwantyzacja, dekodowanie spekulatywne, w tym DFlash, routing, powszechnie dostępne GPU. Każdy wynik podaje długość kontekstu, rozmiar partii i obciążenie.
| FP16 | INT8 | INT4 | +spec | |
|---|---|---|---|---|
| RTX 3090 | planowana komórka | planowana komórka | planowana komórka | planowana komórka |
| RTX 4090 | planowana komórka | planowana komórka | planowana komórka | priorytet DFlash |
| RTX 5090 | planowana komórka | planowana komórka | planowana komórka | priorytet DFlash |
| L4 | planowana komórka | planowana komórka | planowana komórka | planowana komórka |
03 — FAB-DATA-001 / EWALUACJA I DANE DLA POLSKIEJ AI
PYTANIE BADAWCZE
Jak skład zbioru danych i projekt ewaluacji wpływają na nasze szacunki możliwości modeli po polsku, także w zadaniach na dokumentach i OCR?
PLAN BADANIA
Dokumentujemy pochodzenie, licencje, podziały i punktację. Sprawdzamy kontaminację i jakość odpowiedzi wzorcowych. Stosujemy metryki dopasowane do zadania i porównywalne protokoły; oddzielamy nasze pomiary od wyników zgłaszanych przez innych.
Szerokość pasków oznacza kolejność etapów, a nie zmierzone ilości.
FABRYKA AI NOTES / RAPORTY I PROPOZYCJE
Raporty techniczne i propozycje udostępniane przez SlayerLab, Fabrykę AI i współpracowników. Każda pozycja zachowuje autorów, wersję i status wyników z repozytorium źródłowego.
Propozycja badawcza · Sprawdzone przez autora
Brak wyników
Przeczytaj ilustrowany artykuł →, A data queue with quarantine: proposal for online data selection in GoLLeM-v6Przeczytaj PDF ↗, A data queue with quarantine: proposal for online data selection in GoLLeM-v6Metadane i autorstwo ↗, A data queue with quarantine: proposal for online data selection in GoLLeM-v6
Raport techniczny · Szkic
Wyniki wstępne
Przeczytaj ilustrowany artykuł →, GoLLeM-v5: Small Language Models for the Glint Tiny-ML Leaderboard. Measurement, Method and Negative ResultsPrzeczytaj PDF ↗, GoLLeM-v5: Small Language Models for the Glint Tiny-ML Leaderboard. Measurement, Method and Negative ResultsMetadane i autorstwo ↗, GoLLeM-v5: Small Language Models for the Glint Tiny-ML Leaderboard. Measurement, Method and Negative Results
„Sprawdzone przez autora” to status przeglądu w repozytorium; nie oznacza recenzji w czasopiśmie. Szkice i propozycje to prace w toku. Licencję każdej pozycji podają jej metadane; nieustalona licencja nie daje prawa do ponownego wykorzystania.
Przeglądaj Fabryka AI Notes na GitHubie ↗OTWARTE BADANIA / W RÓŻNYCH REPOZYTORIACH
Dziewięć wybranych notatek z sześciu publicznych repozytoriów: małe modele, polskie tokenizery, ewaluacja i przygotowanie danych. Przeglądaj zmierzone wyniki, wstępne pilotaże i metody techniczne wraz z ich źródłami.
ATLAS BADAŃ / ŚLEDŹ POWIĄZANIA
Od danych i reprezentacji do pomiaru i decyzji. Wybierz notatkę, aby zobaczyć powiązanie, jego cel i dowody źródłowe.
Udokumentowane wykorzystaniePowiązanie koncepcyjneStrzałki pokazują powiązania, a nie oś czasu.
Przewiń diagram w bok albo wybierz notatkę poniżej.
01 / REPREZENTACJA
Własną implementację BPE na poziomie bajtów porównano z wariantami Hugging Face przy tej samej wielkości słownika: 6756 tokenów. Pytanie dotyczy wpływu implementacji i pretokenizacji na kompresję.
Na małym wydzielonym zbiorze testowym uzyskano 833–844 tokeny. Wynik nie dowodzi poprawy jakości modelu w dalszych zadaniach.
Różne liczby tokenów → wspólna jednostka
Eksperyment BPE pokazuje, że liczba tokenów zależy od tokenizacji. To powód, by przy porównywaniu modeli wyjść poza wielkości liczone na token. W zapisanym panelu stosuje się bity na bajt. Jest to powiązanie metodologiczne, a nie dowód, że Probierz korzystał z tego tokenizera.
02 / JAKOŚĆ DANYCH
Audyt porównuje istniejący proces przetwarzania danych z opublikowanymi metodami czyszczenia korpusów. Wskazuje potencjalne kontrole jakości, deduplikacji i filtrowania.
To analiza luk na potrzeby przyszłych eksperymentów, a nie pomiar wpływu poszczególnych etapów czyszczenia w badaniu ablacyjnym.
Sprawdź nakładanie zbiorów przed interpretacją wyników
Badania nad czyszczeniem danych obejmują kontrole nakładania się danych ewaluacyjnych z innymi zbiorami. Pilotaż Ladder wyraźnie pozostawia sprawdzenie nakładania się z danymi treningowymi do wykonania. Obie notatki dotyczą tego samego problemu trafności pomiaru; nie dowodzą wspólnej implementacji.
Czyszczenie danych: źródło ↗ · Zgoda w polszczyźnie: źródło ↗
03 / POMIAR
Probierz określa wymiary pomiaru, pochodzenie danych i kontrole nakładania się zbiorów oraz program falsyfikowalnej ewaluacji. Dostarcza też narzędzia oceny wykorzystane w panelu modeli, którego wyniki zapisano.
Panel dostarcza dowodów dla konkretnych metryk. Nie waliduje całego programu pomiaru wielowymiarowego.
Różne liczby tokenów → wspólna jednostka
Eksperyment BPE pokazuje, że liczba tokenów zależy od tokenizacji. To powód, by przy porównywaniu modeli wyjść poza wielkości liczone na token. W zapisanym panelu stosuje się bity na bajt. Jest to powiązanie metodologiczne, a nie dowód, że Probierz korzystał z tego tokenizera.
Narzędzia oceny + zadania składniowe
Manifest wyników Track wskazuje narzędzia Probierza: scorer_hf.py, bpb_scorer.py i run_forced_choice.py oraz zadania ewaluacji składni d3, wraz z hashami. Te narzędzia i zadania realizują część programu pomiarowego w postaci panelu modeli z zapisanymi wynikami.
04 / PILOTAŻ
Pilotaż zgody gramatycznej na tych samych parach zdań rejestruje ciągłe miary prawdopodobieństwa i czas wykonania dla modeli Koliber i Pollock. Pomiary wykorzystano w notatce o planowaniu kosztów.
Ocena przez rodzimych użytkowników polszczyzny i kontrole nakładania się zbiorów pozostają do wykonania. Nie zmierzono BPB na korpusie ani zmienności między treningami z różnymi ziarnami losowymi. Modele trenowano dla różnych języków.
Sprawdź nakładanie zbiorów przed interpretacją wyników
Badania nad czyszczeniem danych obejmują kontrole nakładania się danych ewaluacyjnych z innymi zbiorami. Pilotaż Ladder wyraźnie pozostawia sprawdzenie nakładania się z danymi treningowymi do wykonania. Obie notatki dotyczą tego samego problemu trafności pomiaru; nie dowodzą wspólnej implementacji.
Czyszczenie danych: źródło ↗ · Zgoda w polszczyźnie: źródło ↗
Zmierzony czas + zaobserwowana różnica
Notatka o kosztach wprost wykorzystuje pilotaż na 2000 par: 111,3 sekundy dla Kolibra, 100,4 sekundy dla Pollocka i zaobserwowaną różnicę prawdopodobieństwa o wielkości 0,3169. Na tych pomiarach opiera szacunki nakładu obliczeń; nie może wyznaczyć DF skalibrowanego względem zmienności między treningami z różnymi ziarnami losowymi.
05 / ZAPISANE WYNIKI
Archiwum wyników przechowuje miary kompresji dla poszczególnych dokumentów, artefakty bootstrapu dla sparowanych obserwacji oraz panel składniowy. Manifest podaje nazwy i hashe narzędzi oceny oraz zadań składniowych z Probierza.
Pomiar BPB obejmuje 300 dokumentów; raportowany rdzeń testu składni zawiera 148 par. Ten panel i pilotaż Ladder korzystają z różnych zadań i metryk.
Narzędzia oceny + zadania składniowe
Manifest wyników Track wskazuje narzędzia Probierza: scorer_hf.py, bpb_scorer.py i run_forced_choice.py oraz zadania ewaluacji składni d3, wraz z hashami. Te narzędzia i zadania realizują część programu pomiarowego w postaci panelu modeli z zapisanymi wynikami.
Od wyniku do użytecznej decyzji
Historyczny panel podaje wyniki i ich niepewność. Ladder stawia dodatkowe pytanie: czy metryka rozróżnia wskazane modele na tyle wiarygodnie, by uzasadnić swój koszt? To powiązanie pytań badawczych; notatka o kosztach nie deklaruje wykorzystania panelu Track.
06 / KOLEJNA DECYZJA
Notatka o planowaniu ponownie wykorzystuje zmierzone czasy i zaobserwowaną różnicę z polskiego pilotażu. Następnie szacuje nakład obliczeń dla innych benchmarków, aby zaplanować kolejną ewaluację na sparowanych wynikach.
Czasy angielskiego zestawu testów są oszacowaniami zastępczymi. Rozróżnialność modeli nie jest skalibrowana względem zmienności różnic wyników między treningami z różnymi ziarnami losowymi, więc notatka nie rozstrzyga, który benchmark należy przyjąć.
Zmierzony czas + zaobserwowana różnica
Notatka o kosztach wprost wykorzystuje pilotaż na 2000 par: 111,3 sekundy dla Kolibra, 100,4 sekundy dla Pollocka i zaobserwowaną różnicę prawdopodobieństwa o wielkości 0,3169. Na tych pomiarach opiera szacunki nakładu obliczeń; nie może wyznaczyć DF skalibrowanego względem zmienności między treningami z różnymi ziarnami losowymi.
Od wyniku do użytecznej decyzji
Historyczny panel podaje wyniki i ich niepewność. Ladder stawia dodatkowe pytanie: czy metryka rozróżnia wskazane modele na tyle wiarygodnie, by uzasadnić swój koszt? To powiązanie pytań badawczych; notatka o kosztach nie deklaruje wykorzystania panelu Track.
W sprawdzonych notatkach udokumentowano dwa przypadki wykorzystania. Trzy przerywane powiązania to redakcyjna interpretacja wspólnych pytań badawczych. Nie oznaczają wspólnego kodu, zbioru danych ani zależności chronologicznej. Źródła są przypięte do rewizji użytych w tym katalogu.
Ilustrowana notatka badawcza · micro-models
Ukończony pilotaż · ograniczona próba
Przeczytaj ilustrowany artykuł po angielsku →, Małe modele i uzupełniające się błędyNotatka źródłowa ↗, Małe modele i uzupełniające się błędy
Ilustrowana notatka badawcza · tokenizer
Badanie warsztatowe · zmierzone metryki tokenizera
Przeczytaj ilustrowany artykuł po angielsku →, Mniejszy słownik dopasowany do polszczyznyNotatka źródłowa ↗, Mniejszy słownik dopasowany do polszczyzny
Ilustrowana notatka badawcza · ladder
Wstępna diagnostyka · niepełny zakres ewaluacji
Przeczytaj ilustrowany artykuł po angielsku →, Polska próba diagnostyczna z jasno wskazanymi ograniczeniamiNotatka źródłowa ↗, Polska próba diagnostyczna z jasno wskazanymi ograniczeniami
Raport z eksperymentu · micro-models
Raportowane wyniki · dla konkretnego korpusu
Notatka źródłowa ↗, Muzyczni eksperci: ensemble, zszywanie modeli i podobieństwo reprezentacji
Badanie warsztatowe · tokenizer
Mały wydzielony zbiór testowy · 371 słów
Notatka źródłowa ↗, Polskie BPE: implementacja i pretokenizacja
Metodologia benchmarku · Probierz
Program eksperymentalny
Notatka źródłowa ↗, Probierz: wymiary ewaluacji i falsyfikowalny pomiar
Techniczna notatka badawcza · slayer-dsbench
Analiza luk · bez wyników badań ablacyjnych
Notatka źródłowa ↗, Czyszczenie zbiorów danych: luki w procesie i proponowane eksperymenty
Artefakt benchmarku · fabryka-track
Historyczny panel · wspólny protokół
Notatka źródłowa ↗, Kompresja i składnia polszczyzny: zapis wyników panelu modeli
Notatka o planowaniu ewaluacji · ladder
Zmierzona próba · jawne przybliżenia kosztu
Notatka źródłowa ↗, Koszt benchmarku a zdolność rozróżniania modeli
To wybrane notatki i artefakty badawcze, a nie dziewięć recenzowanych publikacji. Pomiary zachowują własne zbiory danych i protokoły; wyników z różnych badań nie łączymy.
STANDARD PUBLIKACJI
Każdy raport prowadzi od pytania do ograniczeń, podaje autorów, daty, finansowanie i moc obliczeniową oraz linkuje każdy artefakt potrzebny do sprawdzenia lub odtworzenia wyników. Wyniki pojawiają się tu dopiero wtedy, gdy istnieje odpowiadający im artefakt.
| ARTEFAKT | PROGRAM | TYP | STATUS |
|---|---|---|---|
| Pollock Mini LM 125M | SLM-001 | Model | Publiczny |
| Polish DynaWord | DATA-001 | Zbiór danych | Publiczny |
| CodeSOTA | DATA-001 | Benchmark | Publiczny |
| Narzędzia do prawdopodobieństw tokenów | SYS-001 | Narzędzie | Działa |
| Platforma inferencji | SYS-001 | Usługa | Działa |
| Badanie skalowania mieszanek danych | SLM-001 | Raport techniczny | Planowany |
| Porównanie inferencji na powszechnie dostępnych GPU | SYS-001 | Raport techniczny | Planowany |