Redaktørens note: Gjest bidragsyter Eric Ries er en konsulent og forfatter av The Lean Oppstart , som han skal lansere på Forstyrre SF tirsdag. Følg ham @ ericries .
Jeg ble nylig spurt om å tilbringe litt tid med en tidlig oppstart som har et revolusjonerende nytt produkt. Jeg spurte dem om de trodde de gjorde deres produkt bedre. Som med alle andre oppstart jeg har spurt, sa de ja.
Da jeg spurte dem: "Hvordan vet du det?" Deres svar var også ganske standard: De forklarte at de var å legge til nye funksjoner, bedre kvalitet, og generelt gjennomføre mot produktet veikartet. Funksjonene er en kombinasjon av forespørsler fra sine tidlige kunder og visjon-inspirerte gjetninger fra gründerne. Hver måned brutto tall-det totale antall kunder, total omsetning og total bruk-move opp og til høyre. Så sa de, de må være på rett spor.
Så spurte jeg dem dette spørsmålet: Hva ville skje med selskapet dersom hele produktutvikling teamet tok en måned av og dro på ferie? Selgerne ville holde registrere deg nye kunder. Nettstedet vil fortsette å få ny trafikk fra jungeltelegrafen. Kunne de være sikker på at de wouldn't-som en business-være å gjøre like mye "fremskritt" som de hevder å være å gjøre nå?
I ett scenario, de har jobbet overtid, sette i gal timer, og i den andre, ville de være på ferie. Hvis begge scenarier føre til samme resultat, hvordan kan produktet utvikling team hevder å være i fremgang? Til å gjøre effektivt arbeid?
De fleste produkt lagene vet ikke om de gjør sitt produkt bedre eller verre, det er grunnen til at kundene føler et stikk av frykt hver gang de har til å oppdatere eller oppgradere. Til tross for dette, kan de samme selskapene være å ha ekstremt rask vekst, fordi selv om produktet blir verre, er andre ting går rett: nettverk effekter sparker, er selskapet blir hyllet i pressen, eller de surfer på en generell bølge av veksten i deres bransje.
I en av startups jeg stiftet, hadde vi en lengre periode hvor vi var veldig fokusert på konverteringsfrekvensen av nye kunder til betalende kunder (det var en freemium forretningsmodell). Vår forfengelighet beregninger var ute godt opp og til høyre. Grafene selv hadde form av den klassiske hockey stick. Men kohort analyser avslørte at noe var galt.
Vi delt våre kunder i kohortene, ser på nye kunder som sluttet hver dag som en egen gruppe. Da kunne vi spørre: "Hvordan gjorde i dag kunder i forhold til gårsdagens?" Og, til stor frustrasjon vår, omregningskurser var nesten nøyaktig det samme. Det var lett å bli konspiratorisk. Det føltes som hver gruppe hadde satt opp en konferansesamtale med den forrige gruppen. "Hvor mange av dere kjøpte produktet? Ett av hundre? OK, bra, vil vi gjøre det også. "
Den frustrerende delen var dette mønsteret holdt konstant i månedsvis, selv om vi gjorde produktet "bedre" nesten hver dag. Det faktum at kundeatferd ikke var skiftende avdekket at vi tok feil. Vi var ikke noe som gjør produktet bedre, vi gjør det verre.
Den motgift til dette problemet er å slutte å bruke forfengelighet beregninger og begynne å måle fremgang mer nøye.
De fleste av oss tenker på A / B-testing (også kalt split-tes
Ingen kommentarer:
Legg inn en kommentar