AI Engineering Productivity Benchmark™
Każdy inżynier, którego wdrażamy, przechodzi benchmark, a kod, który dostarcza, jest oceniany: output, poprawki i jakość prosto z kodu, w porównaniu z ponad 120 000 inżynierów na świecie. Widzisz, za co płacisz, a nie tylko godziny. Na podstawie badań prowadzonych na Uniwersytecie Stanforda.
używa AI w pracyGoogle DORA, 2025
Doświadczeni programiści z AIBadanie METR, 2025
Po AI, w organizacji z 355 inżynieramiBadania Stanforda, 2025
typowy zysk nettopo odjęciu dodatkowych poprawek · Badania Stanforda, n = 2562
- inżynierów w danych benchmarku
- 120 000+
- firm z 10 branż
- 600+
- zgodności z panelem 10 doświadczonych recenzentów
- r > 0,85
- wdrażanych przez nas inżynierów przechodzi benchmark
- 100%
Dlaczego zwykłe wskaźniki wprowadzają w błąd
Tradycyjne miary różnią się ponad trzykrotnie dla tej samej pracy i nagradzają niewłaściwe zachowania.
- Linie kodu
- Więcej linii to nie więcej pracy, a liczenie ich nagradza rozwlekły kod.
- Commity i pull requesty
- Nagradzają dzielenie pracy na drobne kawałki, a nie dostarczanie więcej.
- Story points
- Subiektywne, łatwe do zawyżenia i nieporównywalne między zespołami.
- Ankiety samooceny
- Słabo przewidują rzeczywiste wyniki (r = 0,17). Ludzie mylą się w ocenie własnej produktywności średnio o około 30 percentyli.
- Metryki DORA
- Mierzą szybkość dostarczania i dojrzałość DevOps, a nie to, co zostało dostarczone.
Ta sama praca, cztery miary
Cztery równoważne zadania. Liczniki aktywności różnią się ponad trzykrotnie; jednostki outputu oceniają je tak samo.
| Inżynier 1 | Inżynier 2 | Inżynier 3 | Inżynier 4 | |
|---|---|---|---|---|
| Linie kodu | 2029 | 583 | 1511 | 802 |
| Commity | 21 | 12 | 6 | 26 |
| Story points | 5 | 13 | 3 | 6 |
| Jednostki outputu | 10 | 10 | 10 | 10 |
Przykładowy raport, do eksploracji
Siedem widoków z anonimowego raportu. Najedź lub dotknij wykresów, przełączaj serie i przesuwaj suwaki.
Struktura talentów według kwartyli
Dolne 25%Środkowe 50%Górne 25%
- +13,6%Pull requestyWięcej PR-ów, nie więcej outputu
- +1%Efektywny outputBez istotnej zmiany
- 2,6×PoprawkiWiększość dodatkowego kodu
- −9%Jakość koduZmienność wzrosła 3,6 raza
Output
Koszt
Przykład: anonimowe zestawienie prawdziwych projektów i opublikowanych badań. Wartości odczytane z wykresów raportu i zaokrąglone.
Adopcja, dojrzałość, koszt i efekt AI
Każdy inżynier vitX pracuje z agentami AI, a niezależne badania pokazują, że zyski z AI są małe i nierówne. Benchmark pokazuje, czy agenci dodają realny output, czy tylko więcej aktywności.
- 90%specjalistów IT używa AI w pracyGoogle DORA, 2025
- −19%doświadczeni programiści pracowali z AI wolniej, choć byli przekonani, że o 20% szybciejRandomizowane badanie METR, 2025
- 15–20%typowy zysk netto z narzędzi AI do kodowania po odjęciu dodatkowych poprawekBadania Stanforda, n = 2562
Jak widzimy AI w kodzie
Bez ankiet. Użycie AI odczytujemy z samej historii Gita i zestawiamy z outputem, poprawkami i jakością.
Ślady AI w każdym commicie
Każdy commit jest sprawdzany pod kątem udziału AI. Wybierz sygnał, by zobaczyć, które commity wychwytuje.
- claude/add-retry-testsAdd retry tests for payment webhooksGałąź agenta
- feature/search-filtersFaceted search on the product listPodłączone narzędzie
- fix/login-timeoutIncrease the session timeout for SSO usersBrak śladów
- codex/refactor-pricingSplit the pricing service into two modulesGałąź agenta
- hotfix/null-currencyGuard against a missing currency codeBrak śladów
6 z 8 commitów ma ślady AI
„Wspierane przez AI” oznacza dowód udziału AI, a nie twierdzenie, że kod napisało AI.
Adopcja w zespołach, kwartał po kwartale
Odsetek inżynierów ze śladami użycia AI. Wdrożenie rzadko rozkłada się równo.
| Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | |
|---|---|---|---|---|---|---|
| Team A | 5 | 15 | 35 | 60 | 75 | 85 |
| Team B | 0 | 5 | 10 | 20 | 40 | 55 |
| Team C | 10 | 30 | 45 | 55 | 70 | 90 |
0%90%
Dojrzałość AI: jak dobrze, nie jak dużo
Każde repozytorium trafia na czterostopniową drabinę. Ważenie outputem pokazuje, czy najdojrzalsza praktyka dotyczy najważniejszej pracy.
- L1Doraźne użycie AI45%20%
- L2Promptowanie z kontekstem30%25%
- L3Rozwój wspierany agentami20%40%
- L4Orkiestracja agentów5%15%
Przed i po, wobec 12-miesięcznej bazy
Indeks, przed AI = 100.
- Efektywny outputwyżej znaczy lepiej118
- Output na inżynierawyżej znaczy lepiej112
- Odsetek poprawekwyżej znaczy gorzej135
- Rotacja koduwyżej znaczy gorzej120
Przed AI = 100
Koszt AI na jednostkę outputu
Z rozliczeń samych narzędzi. Mniej znaczy lepiej.
- Tool AUS$4,2
- Tool BUS$7,8
- Tool CUS$11,5
USD za jednostkę outputu
Przykładowe dane z wersji benchmarku dla dostawców. Od pierwszego dnia działa na samym Gicie. Podłączenie narzędzi takich jak GitHub Copilot, Cursor, Claude Code, OpenAI Codex, Windsurf czy GitLab Duo dodaje dane o użyciu i kosztach.
Jak to działa
- 01
Tylko odczyt Twoich repozytoriów
Podłączenie do repozytoriów, w których pracują inżynierowie vitX: GitHub, GitLab, Bitbucket albo Azure DevOps. Nic nie zmienia się w sposobie pracy Twojego zespołu.
- 02
Ocena każdego commita
Model skalibrowany na panelu 10 doświadczonych recenzentów ocenia output, złożoność i utrzymywalność w ponad 15 językach.
- 03
Porównanie z innymi
Każdy inżynier na tle osób o tym samym poziomie, w Twojej branży (10 sektorów) i firmach Twojej wielkości (4 przedziały).
- 04
Wyniki, a potem działanie
Widzisz wyniki. Jeśli inżynier nie spełnia benchmarku, wymieniamy go w ramach Fit-or-Swap Guarantee™.
Twoje dane pozostają Twoje
- Kod źródłowy nie jest przechowywany: jest analizowany w pamięci i od razu usuwany.
- Infrastruktura z certyfikatami ISO 27001 i SOC 2 Type 2.
- Wybierasz widok firmy, zespołu albo osoby i możesz wyłączyć widoki indywidualne.
- Nic nie jest udostępniane nikomu bez Twojej pisemnej zgody.
W pakiecie z każdym inżynierem vitX
- Pomiar od pierwszych tygodni w Twoim zespole
- Output, poprawki i jakość kodu w jednym raporcie
- Porównanie z ponad 120 000 inżynierów na świecie
- Fit-or-Swap Guarantee™, jeśli inżynier nie spełnia benchmarku