Оптимизация SQL-нагрузки

Клиент:

Крупная E-commerce платформа

Сократили количество запросов с 16 685 до 24 за 1.5 часа
Оптимизация SQL-нагрузки

Введение

Клиент обратился с задачей: ускорить загрузку одной из ключевых страниц сайта, где наблюдались задержки вплоть до нескольких секунд. После первичного аудита стало очевидно, что источник проблемы — чрезмерная нагрузка на базу данных: при открытии страницы выполнялось более 16 тысяч SQL-запросов.

Такая нагрузка не только снижала производительность, но и создавала риски перебоев при увеличении трафика. Требовалось в сжатые сроки провести оптимизацию, при этом не затронув основную бизнес-логику и не нарушив функционирование других разделов сайта.

Наша команда провела точечную оптимизацию архитектуры загрузки данных и добилась результата: всего 24 запроса вместо 16 685. Работа заняла не более полутора часов.

Описание системы

Проект представляет собой многофункциональную e-commerce платформу, реализованную на фреймворке Laravel 10 с использованием Eloquent ORM. В качестве базы данных используется MySQL. Клиентская часть построена на Blade и частично — на Vue.js.

Страница, вызвавшая затруднение, выводит каталог товаров. Каждый товар включает изображения, характеристики, параметры фильтрации, информацию о бренде, наличии, а также персонализированные данные пользователя (например, избранное). При высокой связанности данных и без использования механизмов оптимизации это приводило к лавинообразному росту SQL-запросов.

Проблема заключалась не в объёме самих данных, а в методе их выборки: отсутствовал eager loading, что провоцировало эффект N+1, при котором для каждой записи выполняются дополнительные запросы на связанные таблицы.

Вызов: чрезмерное количество SQL-запросов на странице

После подключения инструментов профилирования (Laravel Debugbar, SQL-логирование) было зафиксировано 16 685 запросов при загрузке одной страницы. Основные причины:

  • Запросы к связанным сущностям выполнялись в циклах;
  • Не были определены или задействованы связи между моделями;
  • В шаблонах активно использовались обращения к связям без предварительной загрузки.

При этом заказчик поставил ряд ограничений:

  • Исключить вмешательство в бизнес-логику и API;
  • Решение должно быть масштабируемым;
  • Необходимо соблюдение стандартов Laravel и отсутствие «обходных» решений вроде ручной агрегации данных.

Решение: внедрение eager loading и оптимизация моделей

Оптимизация была выполнена по следующим направлениям:

Схема архитектуры: шаблоны, контроллеры, модели и узкие места производительности

Анализ и определение узких мест.

Были проанализированы все модели, задействованные при выводе страницы, и сопутствующая им логика контроллеров и шаблонов.

Корректировка связей в моделях.

В моделях были уточнены отношения (hasMany, belongsTo, hasOne, morphMany и др.). Это позволило однозначно описать связи между таблицами и задать их явную загрузку при выборке.

Оптимизированная загрузка данных: явная загрузка и корректировка связей в базе данных
Оптимизация загрузки данных и сокращение числа SQL-запросов

Внедрение eager loading.

Во всех местах, где ранее использовались отложенные обращения к связанным моделям, были добавлены вызовы with() и load(). Это обеспечило загрузку всех необходимых данных одним SQL-запросом с объединением.

Пример ( codepen ) :

Product::with(['images', 'brand', 'filters', 'favorites'])->get();

Оптимизация шаблонов и логики представления.

Были пересмотрены шаблоны Blade: обращения к связям внутри циклов были исключены, логика рендера упрощена, повторяющиеся запросы устранены.

Оптимизация шаблонов Blade: упрощение логики, тестирование и повышение производительности
Количество SQL-запросов до и после оптимизации системы

Тестирование и замеры.

После внедрения изменений были выполнены нагрузочные тесты и повторный аудит SQL-логов. Результат — всего 24 запроса на полную загрузку страницы.

Результаты

Окно браузера с дашбордом телеметрии — страница Request Details на telemetry.yourdomain.com
Количество SQL-запросов снижено с 16 685 до 24.
Среднее время отклика страницы сократилось более чем в 5 раз.
Нагрузка на базу данных снизилась до стабильного уровня даже при пиковом трафике.
Кодовая база приведена в соответствие с рекомендациями Laravel и стала проще в сопровождении.
Работа заняла менее 2 часов от постановки задачи до деплоймента на продакшн.
Портфолио

Другие проекты

VPUT VPUT Как мы создали сервис аренды жилья в Болгарии и привели его к 1500 бронированиям за сезон.... Stooller Stooller Переезды без звонков: как мы создали сервис, который сам считает цену, собирает заявки и п... Trade Bot Trade Bot +100 сделок в минуту. В 20 раз быстрее трейдера. Полный контроль в Telegram. Wineship Wineship Сайт для винного бренда с умным фильтром, SEO-структурой и легким выбором среди 2000+ вин BeFamily BeFamily +50% к продажам. Дизайн по законам природы. Сайт в 2 раза быстрее. Ansy Ansy Работаем с клиентом 10+ лет. +300% к скорости загрузки. Примерка ковра онлайн. RiseX RiseX Как мы вывели криптобиржу на рынок: автоматическое обновление цен, безопасные P2P сделки и... BolgarskiyDom BolgarskiyDom Как риелторский сайт в Болгарии вышел из-под фильтров, увеличил органический трафик в 5 ра... Neweurofences Neweurofences Как интернет-магазин заборов увеличил видимость в поиске на 25% и улучшил конверсии с помо... Tetri’s Smile Tetri’s Smile Стоматологический бутик, предоставляющий VIP-услуги в Майами: увеличение ROI в 3 раза и ро... SoleaWellness SoleaWellness Салон в Майами. Перенос сайта на WordPress, SEO и маркетинг. Результат: ТОП-5, рост трафик... Solea Beauty Salon Solea Beauty Salon Как салон в Майами увеличил заявки в 3 раза и органический трафик на 250%. От 0 до 180+ за... Интернет-магазин очков Интернет-магазин очков Интернет-магазин оптики. Разработка сайта, SEO-оптимизация, маркетинг и интеграции. С 0 до... Кейс продвижения и разработки Svetlanadental Кейс продвижения и разработки Svetlanadental Svetlanadental – кейс продвижения и разработки сайта стоматологического кабинета в США. Кл... Кейс продвижения и разработки Холистик стоматологии Кейс продвижения и разработки Холистик стоматологии Advanced Dental Wellness Center – стоматология в Майами, Форт Лодердейл. Холистик стоматол... Кейс продвижения и разработки MyMoneyArt Кейс продвижения и разработки MyMoneyArt Перенос сайта MyMoneyArt на WordPress, SEO, UX-улучшения: +500% трафика, заявки ×6. Кейc продвижения и разработки Biomilk.ru Кейc продвижения и разработки Biomilk.ru Biomilk – дистрибьютор продуктов питания в Москве и регионах. +100% органического трафика... Sutton Advanced Cosmetic Dentistry Sutton Advanced Cosmetic Dentistry Продвижение VIP стоматологии на Манхэттене C 13 до 80 запросов в ТОП-10 Google за полгода Кейс продвижения маркетингового агентства Mates China Кейс продвижения маркетингового агентства Mates China Mates China – агентство digital-маркетинга, которое помогает продвигать бизнес в Китае чер... VPUT VPUT Как мы создали сервис аренды жилья в Болгарии и привели его к 1500 бронированиям за сезон.... Stooler Stooler Онлайн-сервис с автоматическим расчетом и +40% заказов сразу после запуска SoleaDentalSpa SoleaDentalSpa Стоматологическая клиника в городе Sunny Isles Beach - увеличили количество заявок в 3 раз...
Webdelo SEO Webdelo SEO Подробно о нашем SEO-подходе: от аналитики и аудита до контента, ссылок и рекламы. Узнайте... Кейс разработки магазина красок Nevapallete.cn Кейс разработки магазина красок Nevapallete.cn Разработали сайт художественных красок Nevapallete.cn для китайского рынка: хостинг в Гонк... WineShip WineShip Каталог вин с 2000+ бутылками, гибкими фильтрами и системой подбора по объёму и году. Удоб... Как мы продвигали салон красоты в Jacksonville, Florida Как мы продвигали салон красоты в Jacksonville, Florida Продвижение салона красоты Annazur во Флориде: увеличение трафика, локальное ранжирование,... Кейс сайта стоматологии Новая орбита Кейс сайта стоматологии Новая орбита SEO-кейс стоматологии: +50-80 целевых звонков/мес, топ по запросам, рост трафика с февраля... Berger 3D Design Berger 3D Design Сайт-визитка с каталогом WordPress для немецкого производителя B2B-системы хранения измери... SoleaBrickellSpa SoleaBrickellSpa Вы хотите, чтобы ваш сайт не просто существовал, а приносил реальных клиентов? Мы знаем, к... KidsJumpTech KidsJumpTech От сайта на грани коллапса до 40 заявок за выходные Alanta Clinic Alanta Clinic Как стоматология с одностраничным сайтом удвоила число пациентов из своего района Оптимизация автоматического подбора объявлений Оптимизация автоматического подбора объявлений Как мы избавили систему от лишней нагрузки и повысили надёжность операций Поиск по русскоязычным синонимам брендов Поиск по русскоязычным синонимам брендов Как мы ускорили выдачу и снизили нагрузку на систему поиска по сайту Webdelo для стоматологических клиник Webdelo для стоматологических клиник Digital-маркетинг для стоматологий: SEO, Google Maps и таргетированная реклама. Более 15 л... Webdelo Недвижимость Webdelo Недвижимость 10 лет в нише, 7 крупных проектов в РФ и Европе. Комплексное SEO: от архитектуры каталога... Оптимизация системы бронирований прыжков с парашютом Оптимизация системы бронирований прыжков с парашютом Как мы перевели 5 площадок из Excel в единую систему Как мы продолжили развитие сложной edtech-платформы без документации Как мы продолжили развитие сложной edtech-платформы без документации Доработка и развитие образовательного портала. Редизайн и переезд интернет-магазина стоматологических материалов Редизайн и переезд интернет-магазина стоматологических материалов Мы обновили интернет-магазин стоматологических материалов, создав быструю платформу с точн... Настроили сервис подбора объявлений – сэкономили 72% времени на изменения Настроили сервис подбора объявлений – сэкономили 72% времени на изменения Оптимизация автоматического подбора объявлений. Webdelo Dev Webdelo Dev Полный цикл разработки: от детального техплана и API-архитектуры до запуска и поддержки. П... Bonadomus Bonadomus BONADOMUS — это цифровая платформа для рынка недвижимости Дубая, разработанная с нуля как... Lackmann GmbH Lackmann GmbH Разработка мультиязычного лендинга для франшизы Lackmann Fleisch- und Feinkostfabrik GmbH... MRFIXUS (США) MRFIXUS (США) Спроектировали mobile-first интерфейс для работы с экстренными вызовами в Индианаполисе. П... Внутренняя ERP для управления командой Внутренняя ERP для управления командой Для компании на тридцать человек внутренняя ERP возвращает HR и бухгалтерии два-четыре пол...
cookies Мы используем Cookie

Мы используем файлы Cookie для улучшения работы сайта, персонализации контента и анализа трафика. Вы можете выбрать, какие категории Cookie разрешить. Подробнее читайте в нашей Политике Cookie. Вы можете изменить свой выбор в любое время.

Необходимые (обязательные)

Обеспечивают работу сайта (навигация, доступ к защищённым разделам). Всегда включены и могут быть изменены только в настройках браузера.

Аналитические

Помогают нам понять, как вы используете сайт, чтобы улучшать сервис. Не собирают личные данные. Для аналитики мы используем ряд инструментов.

Маркетинговые / Рекламные

Используются для показа персонализированной рекламы и измерения эффективности рекламных кампаний.