Я працаваў на цестах для CouchDB плынь даволі працяглага часу і не вельмі блогу пра гэта яшчэ.

Па-першае, што гэта няправільны спосаб рабіць тэставанні прадукцыйнасці?

Вы можаце засяродзіцца на выпрабаванні аднаго пісьменніка / чытача працы. Ніхто не павінен клапаціцца пра прадукцыйнасць аднаго пісьменніка, таму што нават дрэнны прадукцыйнасць аднаго пісьменніка, як правіла, "досыць добры", калі вы мяне толькі адзін кліент. Тое, што мы сапраўды павінны клапаціцца пра прадукцыйнасць з'яўляецца адначасовае, колькі адначасовых кліентаў мы можам аказаць падтрымку да часу водгуку занадта павольным для досвед, які мы жадаем.

Наступная рэч, і гэта трохі спрэчны, не ў чартах гістарычна з цягам часу. Калі хтосьці кажа, што ім прыйдзецца "перабазавацца" вынікі, вы зрабілі гэта няправільна.

Сапраўды, нават не паказваюць нумары кахае "х піша / чытае ў секунду ў сярэднім". Гэта нікчэмная колькасць. З аднаго боку, гэта цалкам залежыць ад умоў машыну ніхто не мае доступ. Аперацыйныя сістэмы не жадалі нічога не рабіць. Сказаць, што стан любой машыны сёння, які яна будзе праз тыдзень дурное аптымістычна.

І самае галоўнае, працэс выдалення якой-небудзь часткі навакольнага асяроддзя, якія могуць выклікаць адрозненні азначае, што вы ўхіленне ўсіх рэальных умовах, якія могуць паўплываць прадукцыйнасці вы мяркую, што гэта тэставанне.

Так што ж вы робіце, а?

Па-першае, ахопліваць і экалагічныя ўтрапёнасць. Выкажам здагадку, што ўмовы, наяўныя цяпер ніколі не будзе зноў даступны. Выпрабаванняў, а таксама дыяграмы, розніца паміж мэтавай праверкі і базавага ўзроўня. Вазьміце апошні рэліз, ці ствол, і ў тым жа акне, амаль той жа самы час запусціць тэст супраць яго і дыяграмы, розніца ў стаўленні выпрабавання мішэні (філіяла, здзейсніць, патч, што заўгодна).

Незалежна ад экалагічнай адрознення паўплывае і выпрабавальных прабегаў так што вы можаце не турбавацца пра іх, і замест выдалення рэальны свет са свету тэстаў вы атрымаеце для тэставання ў рэальным свеце.

Я пабудаваў адначасовых тэстар прадукцыйнасці CouchDB і графік сервер для графікаў вынікаў тэстаў.

http://github.com/mikeal/relaximation

Прылада апісаны ў README ва ўцэнкі так што вы можаце чытаць усё гэта на GitHub. Гэта дыяграмы сярэдні час водгуку, паміж дзвюма канапамі, за тыя ж выпрабаванні, асераднёная некалькі паўтаральных працуе.

Па змаўчанні прылада POST вынікі http://mikeal.couchone.com/graphs і друку Вам спасылку на графа, як гэта http://mikeal.couchone.com/graphs/_design/app/_show/compareWriteReadTest / c34d5d47f99e11be1f591832d00037e5

Графік сервер усё яшчэ адсутнічае некаторая інфармацыя ад выпрабаванняў, але я буду мацаванні, што ўсё хутка.

Акрамя таго, код цест прадукцыйнасці ўсё напісана ў вузел, але выкарыстоўвае TCP для мінімізацыі апрацоўкі даводзіцца на HTTP, каб мы маглі падтрымліваць насамрэч велізарная колькасць адначасовых кліентаў. У маім тэстаў вузлоў выкарыстоўвае каля 1 / 10 працэсара, што CouchDB выкарыстоўвае для апрацоўкі дадзеных