Снес яйцо — кудахтай! Или не забудьте рассказать о сделанном
Итак, первый раунд мы выиграли -- можем отодвинуть другие задачи и взяться за дело. Про технические особенности реализации я особо распинаться не буду -- существует множество доступных материалов.
У нас была очевидная цель -- получить быстрый результат, чтобы иметь карт-бланш на дальнейшие изменения. Что ж, мы взяли свободно распространяем минифаер, написанный на php, малость обработали его напильником, изменили способ показа баннеров у нас на сайте, внесли еще пару быстрых изменений. По дороге выяснилось, что как минимум в нашем случае minify падает, если ему разом скормить jQuery, jQuery UI и свои скрипты. Что ж, разнесли на 2 блока. Оценка сайта по Yslow выросла с 53 до 68. Не идеал, но для начала -- достаточно. Что же теперь? Как говорит Саша Орлов, "снес яйцо -- кудахтай". Итак, надо было показать, что внесены правильные изменения, что мы не зря потратили время, да и вообще молодцы.
Проблема в том, что просто сидеть и ждать результатов несколько... некорректно. Т.е. произошедшие после этого изменения можно списать на что угодно. Как известно "после не значит из-за". При этом не забудьте, что изменения могут быть как положительные, так и отрицательные, при этом совершенно не связанные с произведенными работами (скажем, начались праздники, и количество заказов упало).
Итак, следом мы сделали простейший сплит-тест. Т.е. половина пользователей получала оптимизированную страницу, половина -- прежнюю, неизменную версию. Следом мы считали лишь один, но самый важный для нас показатель -- количество заказов.
Как показала статистика за следующие 2 недели, "сжатая" версия давала почти на 2% больше заказов. Т.е., потратив 4 рабочих дня, мы стабильно увеличили количество заказов почти на 2% без привлечения доп. средств. В моём понимании это отличный показатель, за такое надо орден давать, а еще лучше -- премию.
Да, сплит-тесты позволили нам быть уверенными, что именно наши изменения привели к этим результатам. К сожалению, мы собирали только очень однобокую статистику, но это издержки производства -- готового решения мы не нашли (сразу обмолвлюсь -- Google Website Optimizer по рядку причин использовать не хотелось), писать что-то сложное своё не было времени. Так что, если кто-то сможет подсказать хороший инструментарий, буду рад.
Еще об этом: