Алексей Шипилёв / Aleksey Shipilёv, @shipilev, aleksey@shipilev.net

Due to a popular demand, there is also an English translation below. The Russian version came first, and so it stays first. If you can’t read it, scroll down.

Russian Version

Порядочное количество диалогов о производительности и её измерении звучит так. Приходит ко мне какой-нибудь Василий и спрашивает:

Вася: Как померить напряжение в розетке?
Я: Возьми вольтметр и измерь.
Вася: Но я не умею в вольтметр, смотри, у меня есть лампочка.
Я: Лампочкой напряжение не узнать, возьми вольтметр.
Вася: Ну как же! Я включаю лампочку в сеть и она горит!
Я: И что это о напряжении говорит? Возьми вольтметр.
Вася: (пауза) Окей, я возьму _несколько_ лампочек.
Я: И толку, если все на 230 В? Возьми вольтметр.
Вася: Ну конечно, есть толк. Смотри, я по одной включил пять лампочек, и две из них не горят. Поскольку у нас несколько экспериментов, усредняем, получаем напряжение в сети 230*(3/5) = 138 В.
Я: Но так усреднять нельзя, возьми инструмент, предназначенный для измерения напряжения, вольтметр.
Вася: Зачем? Ну скажи, зачем? Если я уже получил приемлемое для меня значение в 138 В.
Я: Да потому что измерение методологически неправильное, и ты в этом убедишься, если воспользуешься вольтметром.
Вася: Чем тебя не устраивает методология? Лампочка включается в розетку? Включается. Горит? Горит. Значит, ей можно измерять напряжение.
Я: Ну в каком-то смысле да, можно измерить либо 0 В, либо "сколько-то" В. Ты не можешь сказать сколько конкретно это "сколько-то".
Вася: Да ну! Слушай, задолбал, я повторил этот эксперимент *ещё* с десятью лампочками, и там тоже три не зажглись. Получилось 230*(7/10) = 161 В. Какое у нас нестабильное напряжение в сети. Пойду звонить энергетикам (убегает) (прибегает обратно) Сказали ещё раз проверить, они ещё одну фазу подключили и сейчас должно быть норм. Они мне ещё ведро компрессии домой в подарок пришлют. (гремит лампочками, измеряет). Во, четыре лампочки из десяти не загораются, 138 В, ура.
Я: Послушай, твой эксперимент не измеряет напряжение в сети. Он измеряет количество неисправных лампочек.
Вася: Ну неправда. Мне продавцы говорили, что лампочки -- просто блеск.
Я: Как тогда объяснить, что у тебя уже 40% лампочек не включается?
Вася: Мне что, подробно объяснять? Говорю же, напряжение в сети 138 В, вот половина почти и не загорается.
Я: Ну даже если напряжение *действительно* 138 В, то они хотя бы в четверть накала должны гореть, так же?
Вася: Почему это?
Я: Ну потому что ток всё равно через них течёт, спираль всё равно разогревается, и каким бы маленьким не было U, там всё равно выделяется U^2/R мощности.
Вася: (подозрительно) Хм, действительно. Давай тогда предположим, что сопротивление не постоянное, а с падением напряжения оно экспоненциально падает!
Я: Но это же противоречит школьному ещё закону, что сопротивление зависит от материала, длины и сечения проводника? От напряжения сопротивление почти нигде не зависит.
Вася: (зависает) Ну этому должно быть какое-то объяснение! Сейчас придумаем.
Я: Но...
Вася: СТОЯТЬ. Сейчас придумаем. (листает учебник физики) А, ну вот! Температурный коэффициент сопротивления. Температура растёт, сопротивление меняется.
Я: (приходя в себя) Погоди, тебя куда-то несёт, выныриваем.
Вася: НЕ-НЕ-НЕ, знаю я вас, экспертов. Я вот нашёл тебе доказательство, а ты сразу "несёт", "выныриваем".
Я: Слушай, у металлов температурный коэффициент сопротивления положительный, конечно, но он ещё и линейный. Там нет резких обрывов, которые бы объяснили не горящие лампочки.
Вася: Ок, читаем дальше: а у полупроводников он отрицательный. Поскольку мы в эксперименте наблюдаем лавинообразное уменьшение сопротивления при подаче напряжения, делаем вывод, что нить лампы накаливания -- из полупроводника. Что ещё раз объясняет, почему половина лампочек не горит.
Я: Но это не только не логично, но и противоречит имеющимся данным о лампочках. Даже в Википедии написано, что нити накаливания делают из тугоплавких металлов.
Вася: Википедия -- не авторитетный источник, мы это ещё раз показали в своём эксперименте.
Я: То есть, если дополнительные факты противоречат твоей теории, то это доказывает несостоятельность фактов?
Вася: Конечно. Нефальсифицируемые факты не являются фактами, по Попкорнову.
Я: (обильно фалломорфируя) ШТОА.
Вася: Короче, признайся, что ты не можешь сказать, как измерить напряжение в розетке?
Я: Знаю. Вольтметром, или каким-нибудь другим способом, который может напряжение сконвертировать во что-нибудь осязаемое.
Вася: (победно) И вот, мой эксперимент с лампочками как раз такой способ! Он дал мне результат, этим результатом я доволен.
Вася: (уходя, говорит в телефон) Короче, Шурик, мы тут с Лёхой померили напряжение, оно всего 140 вольт. Надо усиливать. Помнишь, у нас две розетки рядом были? Бери провод на 5 квадратов, соединяй их последовательно, как батарейки в фонарике. А, автомат сразу закороти, чтобы в два раза больше мощности забрать можно было.
Я: Щ_Щ. Ээээ...

English Version

Way too many discussions about performance and benchmarking go this way. Somebody, e.g. Voldemort comes to me, and then asks:

Voldie: How would you measure a wallsocket voltage?
Me: Take a voltmeter, and measure it.
Voldie: Look, I can't into voltmeters. Here, I have a light bulb.
Me: Light bulb can't tell you the voltage. Use a voltmeter.
Voldie: Yeah, right. Look, I plug the light bulb into a wall socket and it lights up!
Me: So what? What does it tell you about the voltage? Take a voltmeter.
Voldie: (pause) Okay, I will take a _few_ light bulbs.
Me: What would be the point of that, if they all are rated at 230 V? Take a voltmeter.
Voldie: Of course, there is a point. Here, I plugged five light bulbs one by one, and two of them have not lit up. Since these are multiple trials, we can average the voltage over the sample set, and get the voltage of 230*(3/5) V = 138 V.
Me: But you can't average like that! Use an instrument that measures the voltage directly, a voltmeter.
Voldie: Why? Just tell me why? My experiment already gives me a plausible number.
Me: Well, your measurement is methodologically flawed. You will figure that out if you'll use a voltmeter.
Voldie: What's the problem with my methodology? Light bulb goes to the wall socket? Yes, it does. Does it light up? Yes, it does. Therefore, we can use it to measure a voltage.
Me: In some sense you are correct: you can measure either zero volts, or "some" volts. You can't tell how many volts exactly you have measured.
Voldie: You are shitting me. Look, here is another experiment, this time with ten light bulbs, now we have three light bulbs not lit up. Therefore, the voltage is 250*(7/10) = 161 V. Hm, we apparently have a very unstable power here. Let me talk to the facilities guys (runs away). (strolls back) Okay, they told me to try again: the flux capacitor was overloaded. (quickly reshuffles the light bulb). Look, four out of ten light bulbs are not ligthing up. 138 V again, hooray!
Me: Hey, your experiment does not measure the voltage. It measures the number of broken light bulbs.
Voldie: That's just not true. The seller was telling me the light bulbs are as good as new!
Me: How would you explain 40% of light bulbs are not lighting up then?
Voldie: Do I have to explain everything in detail? I've been telling you: the voltage is 138 V, and hence half of the light bulbs are not lighting up.
Me: Even if we *assume* the voltage is 138 V, shouldn't the bulbs shine with at least quarter of the output power?
Voldie: Why is it so?
Me: Well, because the current is still flowing through them. The spiral gets heated up, and no matter what U you have, there is still U^2/R power dissipated as light and heat.
Voldie: (suspiciously) Right. That means the bulb electrical resistance is not constant, but instead it falls out rapidly with voltage decrease.
Me: But this contradicts the basic law that resistance is mostly defined by the wire material, the length of the wire, and its cross-section.
Voldie: (lags) There should be a scientific explanation to all of this. We'll figure this out now.
Me: But wait...
Voldie: NO, YOU WAIT. We will figure this out. (opens a Physics 101 book). Ha, look here. Temperature coefficient of electrical resistance! Temperature goes up, resistance changes.
Me: (takes a deep breath) Wait, it misses the point here.
Voldie: OH, STOP IT. That's what you experts always say. I present the proof to you, and you get all "it misses the point".
Me: Indeed, the temperature coefficient of resistance is positive for metals. But it is linear! There are no abrupt changes that could explain the light bulbs not lighting up on half the voltage.
Voldie: Okay, reading some more: semiconductors have the negative one! Since our experiment shows the abrupt fall in electrical resistance with more voltage, we can easily conclude the light bulb spiral is made of semiconductors. It also explains why only a half of light bulbs light up.
Me: Not only it's illogical, it is also contradicted by the facts about the light bulbs. Even Wikipedia says the light bulb spirals are made of refractory metals.
Voldie: Wikipedia is not an authoritative source. Our experimental results is another evidence of that.
Me: So if the facts contradict your theory, it proves the facts wrong?
Voldie: Of course. The unfalsifiable facts are not, in fact, facts. Poppler said that.
Me: (stunned) WHAT.
Voldie: Bottom line. Just say you don't know how to measure a wall socket voltage.
Me: But I know. You use either a voltmeter, or any other method that converts voltage to something measurable in itself.
Voldie: (victoriously) Exactly! This is what my experiment about! It gives me the result I could work with.
Voldie: (walks away, talking over a cell phone) Hey, Nagini! Aleksey and me measured the voltage, it's 140 V. It's way too low, we need to boost it up. Remember those two adjacent wall sockets? Take a cable and plug them up sequentially, like the batteries. Oh, shortcut the fuse before doing that, two sockets would need double power.
Me: O_o. Errrr....