#книги и #фанфики #писательство #статистика #длиннопост

Сначала у меня будет маленький #мемуар
В доисторические времена, когда у нас тока-тока начинали насаждать компьютеризацию — как водится, «сверху» и насильственным путем, — назначили меня по кафедре ответственной за этот процесс.
Тогда я еще по молодости полагала, будто наука должна отыскивать оптимальные методы для решения своих насущных проблем. Оказалось, что все с точностью до наоборот: требовалось отыскать проблемы, которые можно было бы решить предписанными методами.
Походила я на курсы, получила удостоверение «оператор персональных ЭВМ» (отпечатанное на пишмашинке) и под конец застенчиво призналась инструктору, что так и не поняла, с какой стороны мне подобраться к исполнению своей главной задачи.
— А в чем, собственно, она заключается? — осторожно поинтересовался наш местный Саша Привалов.
— Мне нужно найти такую литературоведческую проблему, которую можно было бы решить с помощью ЭВМ, — пожаловалась я.
Инструктор почесал в затылке:
— Ну-у-у… можно, например, с помощью ЭВМ посчитать количество тех или иных слов в тексте. — Он спохватился и добавил: — Если, разумеется, предварительно этот текст туда ввести.

Создание частотных словарей, откровенно говоря, ни с какого боку не вписывалось в научный план нашей кафедры — и вообще скорее было по ведомству лингвистов, чем по нашему. Проблема, тем не менее, продолжала висеть аки меч дамоклов. Надо было отчитаться в успешно проведенной «компьютеризации» — что, собственно, и являлось главной и единственной целью всей этой затеи.
И пригорело у нашего начальства до такой степени, что мне оформили командировку в светоч отечественного образования — МГУ, дабы тамошние компьютерные алхимики вывели нас из этого затруднительного положения и нашли нам какую ни на есть литературоведческую проблему, поддающуюся решению компьютерным способом.
Так что я получила возможность повторить свой вопрос в вычислительном центре МГУ.
Столичный компьютерный маг почесал в затылке и сказал:
— Ну-у-у… можно, например, с помощью ЭВМ посчитать количество тех или иных слов в тексте…

Прошли годы и годы. Пришел и ушел «миллениум»…
Судя по книжке, недавно попавшей мне в руки, идея подсчитать количество слов в тексте и по сей день продолжает скреплять брачный союз литературоведения с информатикой. Ну, теперь хотя бы эти тексты не нужно вводить с клавиатуры…

Бен Блатт. Любимое слово Набокова — лиловый: что может рассказать статистика о наших любимых авторах. М., 2019.
Выписала кое-что.
***
Работают ли «советы известных авторов»?
Например, Чак Паланик («Бойцовский клуб») выступает против наречий, оканчивающихся на -ly: «Пожалуйста, никаких глупых наречий типа сонно, раздраженно, грустно».
Его основной аргумент в том, что литературное произведение должно дать читателю понять, когда герой хочет спать, раздражен или грустит, с помощью подсказок. Наречия на -ly делают за читателя всю работу, сразу раскрывая, о чем он должен думать, вместо того чтобы создавать образ, который постепенно проясняется благодаря контексту.
Тем не менее великие авторы в этом плане сильно различаются между собой. Фолкнер или Хемингуэй используют очень мало наречий. Другие же, к примеру Мелвилл или Остин, — довольно много.
А что с любителями?
Бен Блатт (автор книги) скачал более 5 000 фанфиков объемом минимум 60 тыс. слов с сайта fanfiction.net. Туда вошли все работы, написанные с 2010 по 2014 гг. по 25-ти наиболее популярным фандомам — от «Гарри Поттера» и «Сумерек» до «Призрака Оперы» и Джанет Иванович. Люди, которые пишут такие длинные произведения, нередко действительно в той или иной степени обладают литературными способностями; в среднем же это, конечно, не совсем уровень бестселлеров или призеров литературного мира.
В сравнении со всеми книгами, которые с 2000 года попали в список бестселлеров по версии New York Times, а также с сотней последних победителей главных литературных премий разница заметна: средний автор фанфиков использовал 154 наречия на каждые 10 000 слов, что заметно больше, чем у профессиональных писателей. Анализ 300 с лишним бестселлеров выявил результат, равный 115 наречиям на каждые 10 000 слов. Среди 100 победителей премий этот показатель составил практически столько же: 114 наречий.
Таким образом, хотя совет Паланика, очевидно, могут не принимать во внимание состоявшиеся писатели, статистика показывает, что в хорошо продаваемых книгах наречия встречаются на 25% реже, чем в любительских произведениях.

Книга писателя Элмора Леонарда (детективы и криминальные романы) «10 правил написания произведений» содержит такие советы <на мой взгляд, большей частью сомнительные>:
1. Никогда не открывайте книгу с «погодой».
2. Избегайте прологов.
3. Никогда не используйте другой глагол, кроме «сказал», чтобы создать диалог.
4. Никогда не используйте наречия, чтобы изменить «сказал».
5. Следите за восклицательными знаками!
6. Никогда не используйте слова «вдруг» и «разразился страшный скандал».
7. Используйте региональный диалект, местный говор.
8. Избегайте детальных описаний героев.
9. То же самое касается и мест и вещей.
10. Упускайте те части, которые читатель обычно старается пропустить.

Возьмем правило №5. Леонард утверждает, что следует использовать «не более двух или трех восклицательных знаков на каждые 100 000 слов прозы».
Если он сам держится своего правила, то во всех его работах за всю писательскую карьеру должно быть не больше 102 восклицательных знаков. На деле же он использовал 1651. Это в 16 раз больше того, что он сам рекомендовал!
Проверка показывает, что Леонард не следовал своему совету с абсолютной точностью. Однако в сравнении с другими авторами он действительно использовал восклицательные знаки весьма редко.
Тем не менее из 580 выбранных для проверки книг разных известных писателей только две смогли соответствовать правилу «не больше двух-трех восклицаний на 100 000 слов». Одна из них — «Старик и море» Хемингуэя, с единственным восклицанием: «Сейчас!». Вторая — предпоследний роман самого Э.Леонарда «Джибути» (2010), в котором также всего одно восклицательное предложение.
В целом же авторы распределились так:

Как видим, минимально их используют сам Леонард (49), Хемингуэй (59), Апдайк (88), М.Шейбон (91) и Н.Гейман (96). Наоборот, особенно охотно — Джойс (1105), Т.Вулф (929), С.Льюис (844), Э.Б.Уайт (782) и Толкин (767).
Роулинг, например, использует 670 восклицательных знаков на 100 тысяч слов, причем с одной стороны в этом списке ее «подпирает» Оруэлл (620), а с другой — Диккенс (713).
Можно ли на этом основании делать вывод, что использование «!» как-то отражает качество художественной прозы? Что авторы с одного конца списка в целом значительнее, чем авторы с противоположного?
Очевидно, нет. Тем не менее оказалось, что количество восклицательных знаков действительно кое о чем свидетельствует.
В бестселлерах из списка New York Times этот знак используется в среднем 81 раз на 100 000 слов.
У победителей современных литературных премий — 98 раз на 100 000 слов.
А вот авторы фанфиков в среднем используют 392 восклицательных знака на каждые 100 000 слов — примерно в 4 раза больше, чем группы «профессионалов».
Так что — хотя Элмор Леонард, похоже, слишком категоричен, но неумеренное использование восклицаний действительно может служить сигналом того, что писатель пытается сделать фразу выразительнее только за счет знаков.

Для примера проверим еще правило № 6 — о слове «вдруг».
Так же как в случае с восклицаниями, Леонард часто использовал «вдруг» в своих ранних работах, пока не сократил до минимума.
Из 50 известных писателей ХХ–XXI вв. по использованию этого слова Леонард занимает третью с конца строчку: 9 «вдруг» на 100 тысяч слов. Меньше только у Дж. Остин (8) и… у Чака Паланика (2).
А на противоположном конце шкалы — Скотт Фицджеральд (64 «вдруга» на 100 тысяч слов), Джозеф Конрад (71) и Толкин (78).
Ну и что же из этого следует?
Похоже, что по крайней мере данные авторы могут преспокойно забить на это правило.
<Добавлю, что Б.Блатт рассматривает только англосаксов, но к слову «вдруг» питал особое пристрастие Достоевский, причем он не только часто его использовал — целых 5967 раз, но и имел привычку помещать несколько «вдругов» на одной странице и даже в одном абзаце, за что его сурово заклеймили бы на любых курсах литмастерства. Впрочем, его и так клеймили при жизни — именно за низкую художественность и «бульварный психологизм».
Тут можно, конечно, вспомнить пословицу про Юпитера и быка…>

Один из ключевых советов Э.Б.Уайта (автора «Паутины Шарлотты»), звучит так: «Избегайте использования слов со значением степени — они подобны пиявкам, которые заполоняют чистый пруд прозаического текста и высасывают кровь из других слов».
Это слова вроде: довольно (rather), очень (very), мало (little), порядком (pretty) и т. п.
Статистика показывает, что в книгах, написанных во второй половине XIX века, медианная частота использования этих слов равнялась 260, а в книгах первой половины XIX века — и вовсе 297. И это почти в три раза больше, чем вы можете встретить в любой современной художественной книге, где данный показатель чуть-чуть превышает 100. Между тем в одном из лучших романов Дж. Остин — «Эмма» — их 843!
Очевидно, что, хотя книга может быть отличной даже и при высоком показателе слов со значением степени, использование наречий степени по факту снижалось на протяжении веков. Больше всего это коснулось слова «очень», использование которого составляет около 75% употреблений всех наречий в этом ряду. <Хотя едва ли в этом процессе сыграли какую-то роль советы Уайта — скорее он просто подметил существующую тенденцию.>

Т. наз. «индекс качества Флеша-Кинкейда» позволяет оценить простоту или сложность любого текста, исходя из длины используемых слов и фраз. Формула очень простая — всего пара дробей, умноженных на коэффициенты и затем сложенных вместе.
Так вот, последние 50 с лишним лет мы наблюдаем постепенное снижение уровня сложности бестселлеров. В их списки попадают книги со все более короткими словами и фразами. А при анализе высокохудожественных книг, удостоенных разных наград, мы видим, что их уровень сложности почти не снижается. Периодически позицию бестселлера № 1 занимают книги, удостоенные литературных наград, такие как «Поправки» или «Щегол», но чаще всего эти строчки заняты коммерческими романами. Таким образом, высокохудожественные произведения мало влияют на медиану уровня сложности книг среди бестселлеров, потому что нечасто туда попадают.
Так что если брать за основу данный индекс, то можно заключить, что «массовая литература» становится все более «массовой» (упрощается), в то время как остальной пласт литературы остается не затронут этими изменениями.

Типично британские словечки настолько запомнились американским читателям «Гарри Поттера», что повлияли на их восприятие персонажей.
Рассмотрим три типично британских слова на «п»: парниша (bloke), погляди-ка (blimey) и потрясающий (brilliant). Слово «парниша» используется в 27 раз чаще в британском письменном английском, чем в американском, «погляди-ка» — в 30 раз чаще, а «потрясающий» — в 45 раз.
Б.Блатт скачал все фанфики про Гарри Поттера с сайта fan-fiction.com длиной со стандартный роман (более 60 000 слов). Это 89 миллионов слов из 699 полноценных книг от фанатов. 144 автора указали, что являются гражданами Великобритании, а 555 — американцы.
Всего 10% фанфиков под авторством британцев содержало слово парниша (чуть более 3 раз на каждые 100 000 слов), тогда как среди американских фанфиков оно встречалось почти в 25% работ. Один из фанатов-американцев использовал его с частотой 60 раз на 100 000 слов. Это в 20 раз больше, чем у самой Роулинг. Несмотря на то, что в Штатах слово совсем не употребляется, американские писатели западают на него больше британцев. Точно та же картина со словом погляди-ка и — в меньшей степени — со словом потрясающий.
Для американских читателей британское происхождение Хогвартса — это неотъемлемая часть магического мира, созданного Роулинг. Очевидно, наиболее легкий способ превратиться в британца или хотя бы в «стереотипного» британца — использовать несколько британских словечек.
<В ту же степь — привычка фикрайтеров (уже выходящая за пределы словоупотребления), создавать «канонные характеры»: Дамблдора с единожды помянутыми в оригинале лимонными дольками, чавкающего за столом Рона, Снейпа с поднятой бровью и в развевающейся мантии, Хагрида с его «чтой-та» и «тудысь» и т. п. Клише — самый легкий способ установить связь с каноном — или с тем, что за него принимается.>

Всем известно, что повторы — это плохо.
Но анафора — полноценный и эффективный художественный прием. Разумеется, при условии корректного использования.
Фраза «Вот такие дела» в романах Курта Воннегута использована целых 106 раз. В романе «Бойня номер пять» она составляет 2,5% от общего числа предложений — примерно каждое сороковое предложение — и помогает задать тон всей истории. Второе место (35 раз) у Воннегута занимает фраза «И так далее».
КЛИШЕ, КОТОРЫЕ ИЗВЕСТНЫЕ АВТОРЫ ИСПОЛЬЗУЮТ БОЛЕЕ ЧЕМ В ПОЛОВИНЕ СВОИХ РАБОТ:

Количество клише на 1000 слов:
• Дж. Паттерсон (160, про Алекса Кросса), Т.Вулф (143), К.Воннегут (140)
• От 130 до 120: С.Рушди, Ч.Паланик, З.Смит, С.Кинг, Э.Леонард
• От 120 до 110: Д. Джойс, Т.Пинчон, Э.Л.Джеймс (50 оттенков), Дж. Франзен, С.Коллинз (Голодные игры)
• От 110 до 100: Дж. Оруэлл, Дж. Грин, С.Майер (Сумерки), Дж. Лондон, А.Кристи, М.Твен, Г.Флинн
• От 100 до 90: Дж. Иган, Э.Б.Уайт, Т.Моррисон, М.Шейбон, Т.Драйзер, Дж. Апдпйк, У.Гэддис, Э.Улкер, Д.Браун, Дж. Роулинг, Н.Гейман
• От 90 до 80: Диккенс, Д.Эйгерс
• От 80 до 70: Дж. Конрад, Д.Лоуренс, Э.Форстер, С.Льюис, Скотт Фицджеральд, А.Рэнд, Дж. Толкин, В.Набоков, Э.Хемингуэй, У.Фолкнер, Х.Хоссейни
• От 70 до 60: В.Рот (Дивергент), У.Кэсер, В.Вулф, Э.Уортон
• 45 — Дж. Остин
<Распределение авторов по «индексу талантливости», на мой взгляд, совершенно равномерное. Любопытно, впрочем, что замыкают список пять женщин.>

Существует ли «мужская» и «женская» речь?
В 2003 г. программист Нил Кравитц разработал систему, которая определяла пол автора, используя для анализа всего 51 слово. Как сказано в его статье, Кравитц использовал самые обычные и общеупотребительные слова.
24 слова чаще встречались у писателей-мужчин: некий, выше, являются, вокруг, как, на, ниже, когда-либо, хороший, в, является, это, много, сейчас, сказал, несколько, что-то, тот, эти, этот, к, хорошо, что, кто.
27 слов чаще использовались писателями-женщинами: действительно, являюсь, и, быть, потому что, но, все, имеет, ее, ей, ему, если, типа, больше, не, из, она, следует, с тех пор, так, тоже, был, мы, когда, где, с, твой.
В статье 2003 года информатики смогли предсказать пол автора с точностью до 80%. Однако не удалось достичь такого же результата при использовании метода Кравитца для анализа беллетристики. Принцип частично сработал на бестселлерах (Д.Стил, Дж. Паттерсон и т. п.) — пол автора был верно определен в 66 случаях из 100, но почти не сработал на литературе, которая считается классической (Джойс, Вулф, Лоуренс, Голдинг, Хемингуэй, Оруэлл, Сэлинджер и т. п.) — всего 60 раз. Хотя, разумеется, это все же немного больше, чем при случайном угадывании.
<В общем, чем богаче словарный запас автора и выше уровень его мастерства, тем заметнее признаки «группового» стиля вытесняются индивидуальными.>
Кроме того, существуют слова, которыми авторы чаще описывают женщин, чем мужчин (и наоборот). Например, женщины шепчут, мужчины бормочут. Мужчины орут, женщины кричат. Женщины улыбаются, мужчины усмехаются, посмеиваются или ухмыляются.

В 1963 году два профессора статистики, Д.Уоллес и Ф.Мостеллер, выдвинули доказательства в работе «Выводы по проблеме авторства», которые должны были разрешить почти двухсотлетний спор об авторстве (речь идет о выборе между известными возможными авторами).
Их наиболее важным шагом стало обращение со словами как с группой переменных. Исследователи проанализировали частоту использования сотен слов, что было совсем не просто сделать в 1963 году. В частности, они начали искать группу слов, которые использовались одним автором, но были не в ходу у другого. При этом слова должны быть универсально ходовыми, не связанными с варьирующейся тематикой произведений. В основном это союзы и союзные слова, такие как: этот, тот, но, пока, спустя, в то время как, достаточно, в соответствии, что-либо, когда, тогда, в течение — и т. п.
Мостеллер и Уоллес придумали основанную на уравнениях систему для оценивания важности совокупности факторов. Каждое слово позволяло сделать небольшие вычисления по поводу того, кто из них скорее является автором.
Если взять для примера Халеда Хоссейни, Зэди Смит и Нила Геймана, то написанные ими тексты отличаются, даже если взять только два самых обычных слова — «тот» (the) и «и» (and).
На числе случаев их использования можно построить график:

Инициалами авторов на графике помечены точки пересечения координат обоих слов для каждого из их романов. Видно, что группы инициалов образуют относительно изолированные области.
Если слов взять не два, а больше, то возможности такого теста соответственно расширяются — и подлинного автора можно установить уже среди десятков кандидатов.
Был проведен 28 861 тест на базе 250 основных слов, чтобы проверить состоятельность метода Мостеллера–Уоллеса для анализа художественной литературы. Тест показал, что система не сработала всего 176 раз. Точность результатов составила 99,4%.
<Впечатляюще. Но эта методика применима к очень ограниченному числу ситуаций — только когда есть уверенность, что установлены все возможные кандидатуры.>

Б.Блатт собрал наиболее известные фразы из трех слов, с которых начинаются предложения в знаменитых книгах. Несмотря на ограниченность этого метода, он все же приоткрывает завесу уникальности каждого сочинения.
Когда Рэя Брэдбери попросили назвать свои любимые слова, он назвал два — ветхий и корица. А Майкл Коннелли тогда же заявил, что его любимое слово — кивнул.
В самом деле, среди пятидесяти авторов, от Роулинг до Набокова и от Агаты Кристи до Джейн Остин, никто не использовал слово ветхий так же часто, как Брэдбери. И только Тони Моррисон писала о корице чаще.
С другой стороны, в прозе писателя могут даже незаметно для него присутствовать слова, которых в итоге оказывается слишком много. Брэдбери использовал слово «корица» в 4,5 раза чаще, чем это слово встречается в «Историческом Корпусе Американского Английского». Но слово «мята» Брэдбери использует в 50 раз чаще, чем оно встречается в ИКАА! Корица — его любимое слово, но мята должна стоять рядом, осознавал он это или нет. Назовем это «запасные слова».
Любопытно, что скажут цифры о любимых и запасных словах остальных современных авторов? Для начала, чтобы найти любимые слова авторов (их «корицу»), примем следующие условия:
• Слово должно присутствовать В ПОЛОВИНЕ книг автора.
• Оно должно встречаться минимум 1 РАЗ НА 100 000 СЛОВ при анализе всех книг автора.
• Слово не должно быть очень редким: частота его употребления в ИКАА не должна быть меньше 1 раза на 1 миллион слов.
• Это не должно быть имя собственное.
Правила для поиска запасных слов у каждого автора, которые писатель использует снова и снова, пока это не станет заметно:
• Они должны быть ВО ВСЕХ книгах автора.
• Они должны встречаться не меньше 100 РАЗ НА КАЖДЫЕ 100 000 СЛОВ во всех книгах автора.
• Слово не должно быть очень редким: частота его употребления ИКАА не должна быть меньше 1 раза на 1 миллион слов.
• Это не должно быть имя собственное.
Но не всякая «корица» что-то да означает, и этот метод тоже не идеален. У некоторых авторов любимые слова отражают уникальность стиля книги или особенности сюжета. <Пример с Фанфикса: у Алтеи такое слово — «хищный»; его частотность при описании реакции персонажей обычно на порядок выше, чем показатель по словарю, и это заметно даже без всякого компьютера.>
Топ-3 слов у Джейн Остин — учтивость, увлеченный и неблагоразумие, у Агаты Кристи — следствие, алиби, страшный.
Выбор же авторов типа Дж. Роулинг в большей степени отражает реалии ее «сеттинга», а не как таковые любимые слова. Топ-3 таких слов в «Гарри Поттере» — палочка, волшебник и зелье. В «50 оттенках серого» — шептать, хм-м, подсознательный. В серии Паттерсона про Алекса Кросса — убийцы, убийства и похищение (подходящий выбор для слогана). И едва ли это неожиданно, потому что в данном случае частотность связана не столько с предпочтениями автора, сколько с избранной темой.
Так что многие «любимые» слова ни о чем вам не скажут, но некоторые дадут ясное понимание того, как авторы мыслят и работают. И в заключение — несколько таблиц с этими самыми словами: