?

Log in

No account? Create an account
work

"Как лгать при помощи статистики"

stats.jpg


Книга «Как лгать при помощи статистики» (вот здесь оригинал на Amazon) - аж конца 50-х годов, но и в США она была переиздана в 2010. Это классика, которую должен прочитать каждый и сейчас. Во всяком случае, каждый, кто не хочет быть обманутым цифрами и графиками. Тот кусочек цвета фуксии над книжкой – куча моих закладок. Я к ней много раз буду возвращаться.

Почему не всегда нужно верить исследованиям? Результаты могут быть искажены по массе причин. Отвечая в опросах, люди могут просто-напросто говорить неправду.

«…в следующий раз, когда вы прочитаете, что средний американец (в наши дни вы узнаете об этом субъекте много всякой всячины, причем по большей части все это слегка неправдоподобно) чистит зубы 1,02 раза в день… задайте себе вопрос: каким образом кому-то удалось собрать такие сведения? Неужели женщина, начитавшаяся бесчисленных рекламных объявлений, где утверждается, что люди, не чистящие зубов, оскорбляют общественные устои, сознается совершенно незнакомому человеку, что делает это нерегулярно? Такого рода статистика может представлять интерес только для тех, кто хочет определить, что говорят люди о чистке зубов, но она мало что скажет о том, как часто щетка соприкасается с зубами респондентов».

***

«Чтобы данные выборочного исследования имели значительную ценность, они должны основываться на репрезентативной выборке*, то есть на выборке, из которой устранены все возможные источники предвзятости».

«Один психиатр заявил, что практически любой человек – неврастеник. Оставим в стороне тот факт, что подобное обращение с термином «неврастеник» лишает его всякого смысла, и посмотрим на выборку, послужившую основой для такого вывода. Иными словами, спросим себя: каких именно людей наблюдал данный психиатр? Оказывается, он пришел к такому поучительному выводу, изучая своих пациентов, а они более чем неподходящие кандидатуры на роль выборки из всего населения. Если бы человек был вполне нормален, у психиатра не было никаких шансов увидеть его у себя на приеме».

***

Кстати, именно поэтому нельзя делать выводов из привычек и поведения своего окружения. «Все сидят Вконтакте», «в Facebook более образованная и обеспеченная аудитория», «никто не покупает dvd, все давно скачивают фильмы из Интернета», «шляпки давно никто не носит», «все покупают в интернете» - без корректно проведенных исследований и опросов это бессмысленная информация. Вы (я, остальные) судим по тем, с кем мы пересекаемся. Но общаемся мы с людьми более-менее нашего круга и схожих интересов. Их мнение не может распространяться на все население страны.

***

«[все социологические опросы в целом грешат предвзятостью] Это крен в сторону людей более состоятельных, более образованных, более информированных и осторожных, с более пристойным внешним видом, общепринятым поведением и с более устоявшимися привычками, чем у того среднестатистического гражданина, представлять которого их выбрали.

Не так уж трудно понять, отчего такое происходит. Давайте представим, что вам поручили встать на углу улицы и задать ряд вопросов какому-то одному человеку. Вам попадаются на глаза двое прохожих, и оба вроде бы подходят под ту категорию, представителя которой вам предписано опросить, а именно – горожанина в возрасте старше сорока лет. Один прохожий одет чисто и аккуратно, другой же – во что-то непотребное, да к тому же угрюм и неприветлив на вид. Вы, чтобы выполнить свое задание, естественно, обратитесь к тому из двоих, кто выглядит приличнее, и точно так же поступают ваши коллеги-интервьюеры по всей стране».

«…как мы уже убедились, это вовсе не означает, что социологические опросы фальсифицируются – иными словами, что кто-то намеренно искажает их результаты, чтобы создать ложное впечатление. Свойственная выборке тенденция к систематическому смещению в сторону более состоятельных респондентов может исказить результаты любого опроса».

***

«Допустим, вы не можете доказать, что ваше замечательное лекарство излечивает от простуды, но никто не может вам помешать напечатать (крупным шрифтом) результаты настоящего лабораторного исследования: полкапли лекарства, помещенные в пробирку, через 11 секунд уничтожают 31 108 бактерий. И если уж взялись делать это, убедитесь, что упоминаемая вами лаборатория имеет надежную репутацию или внушительное название. Отчет воспроизведите полностью. Сделайте фото человека в белом халате и поместите рядом с отчетом.

Но не следует упоминать в своей истории несколько каверзных нюансов. Не вам же – или все-таки вам? – уточнять, что антисептические капли, так прекрасно показавшие себя в пробирке, возможно, не будут действовать столь же эффективно в горле у больного, особенно когда он разбавит их так, как того требует инструкция, чтобы не обжечь себе ткани носоглотки. Не наводите тень на плетень уточнением, бактерии какого рода пали жертвой вашего средства. Кто ж его знает, какие бактерии вызывают простуду – особенно если возбудитель простуды – вовсе не бактерии?

…но люди обычно не размышляют так уж серьезно над подобным вопросом, особенно когда у них хлюпает в носу».

***

В книге множество других смешных и абсурдных – зачастую реальных – примеров, как создают ложное впечатление, используя правильные статистические методы. Даже графики и картинки – при всей правильности – можно представить так, чтобы создать желаемое впечатление. Сейчас инфографика выходит на пик популярности, и понимание принципов манипуляции позволит не обманываться красивыми картинками.
_______

* Выборка - группа испытуемых (объектов, событий, образцов), которую выбрали с помощью определённой процедуры для участия в исследовании. Репрезентативная выборка - та, которая верно отражает общее число, то есть, в ней есть представители разных подгрупп из генеральной совокупности.

Comments

Интересно, надо будет почитать)
Всячески рекомендую, там куча полезной информации.
Вот я как раз читала вчера бесплатную "книжку" по интернет-маркетингу, развенчивающую стереотипы в юзабилити. Наткнулась там на прекрасное и вспомнила о вас. А в связи с этим вашим постом это особенно актуально:

Итак, развенчание "мифа", что посетитель должен попадать на любую страницу сайта не более, чем за три клика:

" В публичном пространстве явно сформулировано
оно было известным дизайнером Джеффри Зельдманом в его книге
«Реализуйте свой талант в Сети», впервые опубликованной в 2001 году.
Притом что никаких чётких доказательств в пользу рекомендации не
приводилось: «Люди так ведут себя в интернете», — и, в сущности, всё.
Однако уже в 2003 году другой дизайнер, Джошуа Портер, провёл
исследование с участием 44 респондентов, которое развенчало догму и
продемонстрировало, что те не были склонны отказываться от поисков
нужной им информации, не найдя её за три клика.

44 респондента? И они всерьез на этом основании делают выводы? И чем автор лучше этого самого Джеффри, который изначально правиль придумал? Ну да, лучше. По крайне мере, человек задался вопрос об это святом правили трех кликов "с чего это вдруг" и решил проверить. Но толку от это не много. Во мне опять просыпается моя преподша по маркетинговым исследования. Она там внтури меня рвет и мечет.

А за книгу спасибо, обязательно почитаю. Мне как раз интересны такие вещи в последнее время.
Какой прекрасный пример - именно!
А вот еще пример о репрезентативности выборки, тоже впечатлил меня:

"В научно-популярной литературе бытует представление о том, что частота внебрачного отцовства составляет 10-30%[6], а в среде любителей теорий заговора (например, "Мужское Движение") цифры и вовсе колоссальные. Даже 10-30% — очень много, это означает, что как минимум каждый десятый (а то и каждый третий) мужчина воспитывает не своего ребенка. Такие данные ужасают, но к счастью, не соответствуют истине.
Подобные цифры были получены при анализе результатов тестов на отцовство, которые проводились в различных лабораториях по заказам населения, а значит выборка была изначально нерепрезентативная. Такие тесты просят провести мужчины, у которых уже есть повод сомневаться в собственном отцовстве, и приписывать результаты, полученные в такой популяции ко всем остальным парам - ошибочно."

Спасибо за тему, я давно хотела написать пост про маркетинговые исследования и выплакаться и вот наконец-то последняя капля, написала у себя все, что я об этом думаю.
Очень интересно! Меня тоже смущала эта цифра, но я ни разу не проверяла, откуда они ее взяли :)
Да, тяжело проверять каждый факт и каждую цифру, чему-то приходится просто доверять. Например, полагаться на авторитет. Но, пожалуй, с помощью таких книг можно выработать какое-то чутье на подобные вещи.
Это правда. К тому же исследования, опровергающие предыдущие, появляются не сразу. Но меня раздражает, что писатели не проверяют свои источники. Одно дело, когда мы сами для себя что-то думаем, а у писателя все-таки ответственность перед читателем, который ему деньги заплатил. Например, я недавно писала о развенчании бестселлера Позитивность Барбары Фредриксон http://arcobaleno-ru.livejournal.com/248144.html#comments О том, что у нее ошибки в вычислениях, которые подрывают всю теорию, написали в 2013 году. Так не только она сама этого не признала, я читала более поздние книги, которые все равно на нее ссылались. Вернее, она признала ошибки в математике, но сказала, что они не влияют на основы ее теории. Ага-ага, как же. Она как раз и помтроена на отношении положительных замечаний к отрицательным.
Да, меня такое тоже напрягает. Я бы хотела, чтобы негласные стандарты к проверке информации были намного выше. И эта женщина поступает нечестно, защищая свою теорию даже несмотря на признание ошибок. У ней же, в конце-концов, не художественная книга, не сборник индийского эпоса.
Вот именно!
Это бесплатная мини-книжка (по объему тянет на статью) "шесть стереотипов юзабилити" от образовательного центра Нетология. Была по этой ссылке, но ссылка у меня сейчас не работает: http://netology.ru/sorry.html
Возможно, они поменяли ссылку - http://netology.ru/blog/uxbook
Спасибо. Да, это та самая.
Я полистала, у меня сразу же куча вопросов. :) Они ссылаются на Nilsen Normann Group и все ссылки идут ("тепловая карта" и т.д.) на англоязычные сайты. В психологии я в целом готова признать, что наш Эдипов комплекс примерно такой же, как у европейцев. В интернете же я знаю на опыте, что западные все выводы надо проверять - кроме самых общих типа "хорошо написанные и интересные тексты лучше читаются". :) Я ведь этот блог изначально использовала для тестирования западных методов ведения блога. Кое-что работало, да, кое-что совсем нет. И более того, у нас в организации 7 сайтов - английский, французский, китайский, арабский, испанский, португальский и наш. Я постоянно общаюсь с ведущими проектов из других регионов - отклик на одни и те же статьи/фото/ролики очень разный. ОК, большая часть этого о контенте, но и юзабилити отчасти тоже. И достаточно посмотреть на мировой рейтинг соцсетей и российский. У нас да, другое восприятие.
Согласна про разность в восприятии. А еще есть разница какие именно сайты тестируют: интернет-магазин, новостной сайт, развлекательный.

Однажды слышала мнение, что у сервисов Гугл самый лучший интерфейс. Но мужет быть, для Европы и Америки, верю. Меня их устройство постоянно путает, я копаюсь там намного дольше будь то просто почта, контекстная реклама, карты или тем более аналитика. Видимо, стереотипы каким должен быть сайт у меня другие, шаблоны какая должна быть структура у информации другие. Подозреваю, что у многих моих сограждан такая же ситуация.

"Я ведь этот блог изначально использовала для тестирования западных методов ведения блога. Кое-что работало, да, кое-что совсем нет" - а есть где об этом почитать?
Да, у меня есть эккаунт в gmail для официальности, но с него все письма переадресуются на мой старый хотмэйл. Gmail страшно раздражает. :)

У меня был отдельный тэг, который случайно пропал, когда я редактировала тэги :), но вот отдельные посты - http://arcobaleno-ru.livejournal.com/39740.html и http://arcobaleno-ru.livejournal.com/91567.html, у каждого внизу ссылки на продолжение.
О да! я страшно люблю эту тему - как можно подать факты и как цифры.

Многие маркетинговые гуру учат именно этому - манипулировать цифрами в свою пользу.

А я все вспоминаю, когда нужно кого-то подбодрить, историю с графиками. которую мне сестрица в ранней юности рассказала. Директор завода говорит статистику - у нас все плохо, выработка падает, мы производим все меньше, а графики нужны. Если мы сделаем реальный график, сколько изделий изготовлено каждого числа - то он у нас будет стабильно падать. Нельзя ли сделать что-то оптимистичное с этими же цифрами?

Статистик обдумал и сказал - конечно можно! Давайте сделаем график количества изделий, произведенных К этому числу. И сколько бы вы не выпустили за рабочую смену - график будет расти.
Какая прелесть! :)))) А в книге ужас как интересно, как можно подать инфографику - хотя формально ты вроде увеличиваешь рисунок в 2 раза, а воспринимается это в разы. Или когда график начинают не с нуля, а с 80, скажем. Тогда рост на 5% выглядит значительным - почти по твоей истории. В общем, можно очень круто манипулировать восприятием, хотя формально к тебе невозможно придраться. Автор, правда, этому не учит, а наоборот, развенчивает - но понятно, что кто-то же и воспользуется.
А с другой стороны - вот я сейчас думаю, в каких-то же областях это будет правильно? Ну, допустим, надо себя (или кого-то другого) мотивировать к чему-то хорошему - вот, скажем, вес сбросить. Вот такая визуализация более мотивирующая - 1,5 кг жира и мышц. Хотя у меня, в целом, вопросы к ней - не весь жир можно и нужно заменять мышцами, особенно для женщин. Мы не знаем высоту этого куска мяса и т.д.



Надо прямо пост с опросом сделать на следующей неделе, как люди предпочитают, чтобы их мотивировали. Я встречала искреннее мнение разных людей, которые рады, что не знали о предстоящих трудностях, потому что не взялись бы за дело. Я бы и сама не взялась прясть себе шерсть на плед на веретене зимой, если бы предполагала, что у меня на прядение+вязание уйдет почти 3 месяца (жизни! и просмотра детективных сериалов :))). Поэтому им нравятся мотивационные спикеры, которые downplay трудности или почти впрямую обманывают, ну и статистика им нужна, чтобы наполовину полон, то есть, масса воды. (А вот это уже не я :)). А кому-то наоборот надо четко объяснить, какие будут трудности, лучше даже преувеличить, чтобы он был готов и не спасовал. И стакан им нужно рисовать наполовину пустым, ужас-ужас, чтобы не расслаблялись. :)

Я вот этой идеей, вдохновленной графиком, пользовалась очень много! Женщин очень хорошо ею подбодрять.

Типа - смотри, этот бойфренд нехорошо себя повел - но возьмем последних трех - каждый был лучше, чем предыдущий! Ты явно все время улучшаешь свою жизнь, тенденция такая, что следующий будет явно лучше!

Или проекты, курсы и все такое - смотри, ты этот бросила уже на двух третях вместо трети - значит следующий практически до конца доведешь!

И статистика тут по всякому может быть представлена.
В этот раз ты сделала в ДВА раза больше, чем в прошлый!
В этот раз ты сделала 200 процентов того, что в прошлый!
Для заканчивания тебе осталось в два раза меньше (всего половинка) того, что ты уже сделала!
Даже если ты не закончишь, за две попытки ты, считай, сделала целый проект по усилиям! все сто процентов!

Это я так сестрицу подбодряла. Она хочет читать по-испански и огорчается, что двадцать книг начинала - прочтет первые пять-десять страниц и бросает. так, говорит, ничего и не прочла.

А я ей - так ты не считай в книгах! А считай в страницах! если ты у двадцати книг прочла по пять-десять страниц - считай, что ты прочла целую книгу в сто-двести страниц за это время! (на иностранном языке ведь без разницы что читать - все одинаковое упражнение на понимание текста и узнавание новых слов. Можног представитть что эту воображаемую книгу написал вот такой шизофренический писатель - все про разное:)))

Вот!!! Прекрасные примеры!! Причем на мой взгляд абсолютно этичные и "экологичные", прости за выражение. Никому хуже от такого взгляда на мир не стало, а лучше - очевидно!
И опять таки, все эти статистические манипуляции восходят к известному нам Бернейзу, открывшему кучу "институтов", чьей единственной целью было нарисовать красиво выглядящие "подтверждения учёных" в пользу того или иного продукта.

Я пару лет назад писал о законе принятом в штатах в 2000х, позволяющих писать на упаковке продукта даже не результаты реального исследования, а всего лишь scientific claim, не важно, насколько бредовый.
Он там упоминается, да, как отец американского завтрака и манипуляций учеными :), но собственно статистику, как и то, что мы называем сегодня инфографикой, twisted еще и до него. :)
arcobaleno_ru

August 2017

S M T W T F S
  12345
6789101112
13141516171819
20212223242526
2728293031  
Powered by LiveJournal.com