10 лучших инструментов кэширования с открытым исходным кодом для Linux в 2024 году

Надежные распределенные вычислительные системы и приложения стали краеугольным камнем известных компаний, особенно в области автоматизации и управления критически важными бизнес-процессами и предоставления услуг клиентам.

От вас, как разработчиков и системных администраторов этих систем и приложений, ожидают всевозможных решений в области информационных технологий (ИТ), которые обеспечат создание наиболее эффективных систем.

Это включает в себя такие задачи, как разработка, тестирование и реализация стратегий для обеспечения производительности, надежности, доступности и масштабируемости системы/приложения, чтобы предоставить конечным пользователям удовлетворительный уровень обслуживания.

Кэширование – один из многих, очень простых, но эффективных методов доставки приложений, на которые вы можете положиться. Прежде чем двигаться дальше, давайте вкратце рассмотрим, что такое кэширование, где и/или как оно может применяться, а также его преимущества.

Что такое кэширование или кэширование содержимого?

Кэширование (или кэширование содержимого) – это широко используемая техника хранения копий данных во временном хранилище (также известном как кэш), чтобы к ним можно было легко и быстро получить доступ при извлечении из исходного хранилища.

Данные, хранящиеся в кэше, могут включать файлы или их фрагменты (например, HTML-файлы, скрипты, изображения, документы и т. д.), операции или записи базы данных, вызовы API, записи DNS и т. д. в зависимости от типа и цели кэширования.

Кэш может быть аппаратным или программным. Программный кэш (о котором пойдет речь в этой статье) может быть реализован на разных уровнях стека приложений.

Кэширование может применяться на стороне клиента (или на уровне представления приложения), например, кэширование в браузере или в приложении (или в автономном режиме). Большинство, если не все современные браузеры, поставляются с реализацией HTTP-кэша.

Вы могли слышать популярную фразу “очистите кэш” при обращении к веб-приложению, чтобы увидеть последние данные или контент на сайте или в приложении, вместо того чтобы браузер использовал старую копию контента, хранящуюся локально.

Другим примером кэширования на стороне клиента является кэширование DNS, которое происходит на уровне операционной системы (ОС). Оно представляет собой временное хранение информации о предыдущих поисках DNS в ОС или веб-браузере.

Кэширование также может быть реализовано на сетевом уровне, в локальной или глобальной сети с помощью прокси-серверов. Частым примером такого типа кэширования являются CDN (Content Delivery Networks), которые представляют собой глобально распределенные сети веб-прокси-серверов.

В-третьих, вы также можете реализовать кэширование на исходном или внутреннем сервере (серверах). Существуют различные формы кэширования на уровне сервера, к ним относятся:

• Кэширование веб-сервера (для кэширования изображений, документов, скриптов и т. д.).
• Кэширование или запоминание приложений (используется при чтении файлов с диска, данных из других служб или процессов, запросе данных из API и т. д.).
• Кэширование баз данных (для обеспечения доступа в памяти к часто используемым данным, таким как запрашиваемые строки базы данных, результаты запросов и других операций).

Обратите внимание, что данные кэша могут храниться в любой системе хранения, включая базу данных, файл, системную память и так далее, но они должны быть более быстрыми, чем основной источник. В этом отношении кэширование в памяти является наиболее эффективной и часто используемой формой кэширования.

Зачем использовать кэширование?

Кэширование дает множество преимуществ, включая следующие:

• На уровне базы данных он повышает производительность чтения до микросекунд для кэшированных данных. Для повышения производительности записи можно также использовать кэш обратной записи, когда данные записываются в память, а затем через определенные промежутки времени записываются на диск или в основное хранилище. Однако аспект целостности данных может иметь потенциально катастрофические последствия. Например, при сбое системы непосредственно перед записью данных в основное хранилище.
• На уровне приложений кэш может хранить часто читаемые данные в самом процессе приложения, сокращая время поиска данных с секунд до микросекунд, особенно по сети.
• Если рассматривать общую производительность приложений и серверов, то кэширование помогает снизить нагрузку на сервер, задержки и пропускную способность сети, поскольку кэшированные данные обслуживаются клиентами, что улучшает время отклика и скорость доставки данных клиентам.
• Кэширование также обеспечивает доступность контента, особенно через CDN, и имеет множество других преимуществ.

В этой статье мы рассмотрим некоторые из лучших инструментов с открытым исходным кодом (кэширование приложений/баз данных и кэширующие прокси-серверы) для реализации кэширования на стороне сервера в Linux.

1. Redis

Redis (полное название Remote Dictionary Server) – это бесплатная и открытая система с открытым исходным кодом, быстрая, высокопроизводительная и гибкая распределенная вычислительная система in-memory, которую можно использовать из большинства, если не из всех, языков программирования.

Это хранилище структур данных in-memory, которое работает как механизм кэширования, постоянная база данных in-memory на диске и брокер сообщений. Хотя Redis разработан и протестирован на Linux (рекомендуемая платформа для развертывания) и OS X, он также работает в других POSIX-системах, таких как *BSD, без каких-либо внешних зависимостей.

Redis поддерживает множество структур данных, таких как строки, хэши, списки, множества, отсортированные множества, растровые изображения, потоки и другие. Это позволяет программистам использовать определенную структуру данных для решения конкретной задачи. Поддерживаются автоматические операции над структурой данных, такие как добавление в строку, добавление элементов в список, увеличение значения хэша, вычисление пересечения множеств и другие.

Среди ключевых особенностей Redis – репликация между ведущим и ведомым (по умолчанию асинхронная), высокая доступность и автоматическое преодоление отказов с помощью Redis Sentinel, кластер Redis (можно масштабировать горизонтально, добавляя новые узлы кластера) и разделение данных (распределение данных между несколькими экземплярами Redis). Также в нем есть поддержка транзакций, сценариев Lua, ряд опций персистентности и шифрование клиент-серверного взаимодействия.

Будучи базой данных, хранящейся в памяти, но постоянной на диске, Redis обеспечивает наилучшую производительность при работе с набором данных в памяти. Однако вы можете использовать его и с дисковыми базами данных, такими как MySQL, PostgreSQL и многими другими. Например, вы можете хранить в Redis небольшие данные, требующие много записи, а остальные фрагменты данных оставить в дисковой базе данных.

Redis поддерживает безопасность различными способами: в частности, с помощью функции “защищенный режим”, которая защищает экземпляры Redis от доступа из внешних сетей. Также поддерживается аутентификация клиент-сервер (когда пароль задается на сервере и предоставляется клиенту) и TLS на всех каналах связи, таких как клиентские соединения, каналы репликации, протокол шины Redis Cluster и другие.

Redis имеет очень много вариантов использования, среди которых кэширование баз данных, кэширование всей страницы, управление данными пользовательских сессий, хранение ответов API, система обмена сообщениями Publish/Subscribe, очередь сообщений и многое другое. Они могут применяться в играх, приложениях для социальных сетей, RSS-каналах, аналитике данных в реальном времени, пользовательских рекомендациях и так далее.

2. Memcached

Memcached – это бесплатная, простая, но мощная система кэширования объектов распределенной памяти с открытым исходным кодом. Она представляет собой хранилище ключей-значений в памяти для небольших фрагментов данных, таких как результаты вызовов баз данных, вызовов API или рендеринга страниц. Работает на Unix-подобных операционных системах, включая Linux и OS X, а также на Microsoft Windows.

Являясь инструментом разработчика, он предназначен для повышения скорости работы динамических веб-приложений за счет кэширования содержимого (по умолчанию – кэш с наименьшим количеством последних использованных записей (LRU)), что снижает нагрузку на базу данных на диске – он действует как кратковременная память для приложений. Он предлагает API для самых популярных языков программирования.

Memcached поддерживает строки как единственный тип данных. Имеет клиент-серверную архитектуру, где половина логики происходит на стороне клиента, а другая половина – на стороне сервера. Важно, что клиенты понимают, как выбрать, на какой сервер записывать или с какого сервера читать тот или иной элемент. Кроме того, клиент хорошо знает, что делать в случае, если он не может подключиться к серверу.

Несмотря на то, что это распределенная система кэширования, поддерживающая кластеризацию, серверы Memcached отключены друг от друга (то есть не знают друг о друге). Это означает, что нет поддержки репликации, как в Redis. Они также понимают, как хранить и извлекать элементы и управлять тем, когда вытеснять или повторно использовать память. Вы можете увеличить доступную память, добавив больше серверов.

Поддерживается аутентификация и шифрование через TLS, начиная с Memcached 1.5.13, но эта функция все еще находится в стадии эксперимента.

3. Apache Ignite

Apache Ignite – свободная и открытая система с горизонтально масштабируемым распределенным in-memory хранилищем ключей-значений, кэшем и многомодельной базой данных, предоставляющая мощные API для обработки распределенных данных. Это также сетка данных in-memory, которая может использоваться как в памяти, так и с собственной персистентностью Ignite. Она работает на UNIX-подобных системах, таких как Linux, а также Windows.

В ней реализовано многоуровневое хранение данных, полная поддержка SQL, транзакции ACID (Atomicity, Consistency, Isolation, Durability) (поддерживаются только на уровне API key-value) на нескольких узлах кластера, совместная обработка и машинное обучение. Поддерживается автоматическая интеграция с любыми сторонними базами данных, включая любые РСУБД (такие как MySQL, PostgreSQL, Oracle Database и так далее) или NoSQL-хранилища.

Важно отметить, что хотя Ignite работает как SQL-хранилище данных, это не совсем SQL-база данных. В отличие от традиционных баз данных, он по-другому работает с ограничениями и индексами; он поддерживает первичные и вторичные индексы, но только первичные индексы используются для обеспечения уникальности. Кроме того, в ней нет поддержки ограничений по внешним ключам.

Ignite также поддерживает безопасность, позволяя включать аутентификацию на сервере и предоставлять учетные данные пользователей клиентам. Также поддерживается связь через сокеты SSL для обеспечения безопасного соединения между всеми узлами Ignite.

Ignite имеет множество вариантов использования, включая системы кэширования, ускорение системной нагрузки, обработку данных в реальном времени и аналитику. Он также может использоваться в качестве графоцентрической платформы.

4. Couchbase Server

Couchbase Server – это распределенная база данных NoSQL с открытым исходным кодом, ориентированная на работу с документами и хранящая данные в виде элементов в формате ключ-значение. Она работает на Linux и других операционных системах, таких как Windows и Mac OS X. В ней используется многофункциональный документо-ориентированный язык запросов N1QL, который предоставляет мощные сервисы запросов и индексирования для поддержки субмиллисекундных операций с данными.

Его отличительными особенностями являются быстрое хранилище ключевых значений с управляемым кэшем, специально построенные индексаторы, мощный механизм запросов, масштабируемая архитектура (многомерное масштабирование), интеграция больших данных и SQL, полностековая безопасность и высокая доступность.

Couchbase Server поставляется с встроенной поддержкой кластеров из нескольких экземпляров, где инструмент менеджера кластера координирует все действия узлов и предоставляет клиентам просто интерфейс всего кластера. Важно отметить, что вы можете добавлять, удалять или заменять узлы по мере необходимости, без простоев. Также поддерживается репликация данных между узлами кластера и выборочная репликация данных между центрами обработки данных.

В нем реализована безопасность с помощью TLS с использованием выделенных портов сервера Couchbase, различных механизмов аутентификации (с использованием учетных данных или сертификатов), контроля доступа на основе ролей (для проверки каждого аутентифицированного пользователя на соответствие заданным системой ролям), аудита, журналов и сессий.

К числу возможностей использования относятся унифицированный интерфейс программирования, полнотекстовый поиск, параллельная обработка запросов, управление документами, индексация и многое другое. Он специально разработан для обеспечения управления данными с низкой задержкой для крупномасштабных интерактивных веб-, мобильных и IoT-приложений.

5. Hazelcast IMDG

Hazelcast IMDG (In-Memory Data Grid) – это легкое, быстрое и расширяемое программное обеспечение с открытым исходным кодом, обеспечивающее эластично масштабируемые распределенные вычисления In-Memory. Hazelcast IMDG также работает на Linux, Windows, Mac OS X и любой другой платформе с установленной Java. Он поддерживает широкий спектр гибких и языковых структур данных, таких как Map, Set, List, MultiMap, RingBuffer и HyperLogLog.

Hazelcast является одноранговым и поддерживает простую масштабируемость, настройку кластера (с возможностью сбора статистики, мониторинга по протоколу JMX и управления кластером с помощью полезных утилит), распределенные структуры данных и события, порционирование данных и транзакции. Он также избыточен, поскольку хранит резервную копию каждой записи данных на нескольких участниках. Для масштабирования кластера достаточно запустить еще один экземпляр, данные и резервные копии будут автоматически и равномерно сбалансированы.

Он предоставляет набор полезных API для доступа к процессорам в вашем кластере для максимальной скорости обработки. Он также предлагает распределенные реализации большого количества удобных для разработчиков интерфейсов Java, таких как Map, Queue, ExecutorService, Lock и JCache.

Функции безопасности включают аутентификацию членов кластера и клиентов, а также проверку контроля доступа к клиентским операциям с помощью функций безопасности на базе JAAS. Она также позволяет перехватывать сокетные соединения и удаленные операции, выполняемые клиентами, шифровать связь между членами кластера на уровне сокетов и включать связь между сокетами по протоколу SSL/TLS. Однако, согласно официальной документации, большинство из этих функций безопасности предлагаются в версии Enterprise.

Наиболее популярная область применения – распределенное кэширование и хранение данных в памяти. Но его также можно использовать для кластеризации веб-сессий, замены NoSQL, параллельной обработки, удобного обмена сообщениями и многого другого.

6. Mcrouter

Mcrouter – это бесплатный маршрутизатор с открытым исходным кодом для масштабирования развертываний Memcached, разработанный и поддерживаемый Facebook. Он поддерживает протокол Memcached ASCII, гибкую маршрутизацию, поддержку нескольких кластеров, многоуровневые кэши, пулы соединений, несколько схем хэширования, префиксную маршрутизацию, реплицированные пулы, теневое копирование производственного трафика, онлайн-реконфигурацию и мониторинг состояния/автоматическое восстановление после сбоя.

Кроме того, он поддерживает холодный прогрев кэша, богатую статистику и команды отладки, надежное удаление потоков качества обслуживания, большие значения и широковещательные операции, а также поставляется с поддержкой IPv6 и SSL.

Он используется в Facebook и Instagram в качестве основного компонента инфраструктуры кэширования, обрабатывая почти 5 миллиардов запросов в секунду в пиковые моменты.

7. Varnish Cache

Varnish Cache – это гибкий, современный и многоцелевой ускоритель веб-приложений с открытым исходным кодом, который располагается между веб-клиентами и исходным сервером. Он работает на всех современных платформах Linux, FreeBSD и Solaris (только x86). Это отличный механизм кэширования и ускоритель контента, который можно установить перед веб-сервером, таким как NGINX, Apache и многими другими, чтобы слушать стандартный HTTP-порт для получения и перенаправления клиентских запросов на веб-сервер и доставки ответа веб-сервера клиенту.

Выступая в роли посредника между клиентами и исходными серверами, Varnish Cache предлагает несколько преимуществ, главным из которых является кэширование веб-контента в памяти для снижения нагрузки на веб-сервер и повышения скорости доставки клиентам.

После получения HTTP-запроса от клиента он пересылает его на внутренний веб-сервер. Как только веб-сервер отвечает на запрос, Varnish кэширует содержимое в памяти и доставляет ответ клиенту. Когда клиент запрашивает тот же контент, Varnish обслуживает его из кэша, увеличивая ответ приложения. Если он не может обслужить содержимое из кэша, запрос пересылается на бэкэнд, а ответ кэшируется и доставляется клиенту.

Varnish имеет VCL (Varnish Configuration Language – гибкий язык, специфичный для домена), используемый для настройки обработки запросов, а также модули Varnish Modules (VMODS), которые являются расширениями для Varnish Cache.

С точки зрения безопасности Varnish Cache поддерживает протоколирование, проверку запросов, дросселирование, аутентификацию и авторизацию через VMODS, но в нем отсутствует встроенная поддержка SSL/TLS. Вы можете включить HTTPS для Varnish Cache с помощью SSL/TLS-прокси, например Hitch или NGINX.

Вы также можете использовать Varnish Cache в качестве брандмауэра веб-приложений, защитника от DDoS-атак, защитника от хотлинков, балансировщика нагрузки, точки интеграции, шлюза единого входа, механизма политики аутентификации и авторизации, быстрого исправления нестабильных бэкендов и маршрутизатора HTTP-запросов.

8. Squid Caching Proxy

Еще одним бесплатным и широко используемым решением для прокси и кэширования в Linux является Squid. Это многофункциональный веб-прокси-сервер, который предоставляет услуги прокси и кэширования для популярных сетевых протоколов, включая HTTP, HTTPS и FTP. Он также работает на других платформах UNIX и Windows.

Как и Varnish Cache, он получает запросы от клиентов и передает их указанным внутренним серверам. Когда внутренний сервер отвечает на запрос, он сохраняет копию содержимого в кэше и передает ее клиенту. Будущие запросы на тот же контент будут обслуживаться из кэша, что приведет к более быстрой доставке контента клиенту. Таким образом, он оптимизирует поток данных между клиентом и сервером для повышения производительности и кэширует часто используемый контент, чтобы уменьшить сетевой трафик и сэкономить полосу пропускания.

Squid обладает такими функциями, как распределение нагрузки по взаимосвязанным иерархиям прокси-серверов, получение данных о моделях использования веб-сайтов (например, статистика наиболее посещаемых сайтов), позволяет анализировать, перехватывать, блокировать, заменять или изменять проксируемые сообщения.

Он также поддерживает функции безопасности, такие как богатый контроль доступа, авторизация и аутентификация, поддержка SSL/TLS и ведение журнала активности.

9. NGINX

NGINX (произносится как Engine-X) – это высокопроизводительное, полнофункциональное и очень популярное консолидированное решение для создания веб-инфраструктуры с открытым исходным кодом. Это HTTP-сервер, обратный прокси-сервер, почтовый прокси-сервер и общий TCP/UDP-прокси-сервер.

NGINX предлагает базовые возможности кэширования, при которых кэшированный контент хранится в постоянном кэше на диске. Самое интересное в кэшировании контента в NGINX то, что его можно настроить на доставку устаревшего контента из своего кэша, когда он не может получить свежий контент с исходных серверов.

NGINX предлагает множество функций безопасности для защиты ваших веб-систем, включая завершение SSL, ограничение доступа с помощью базовой аутентификации HTTP, аутентификацию на основе результата подзапроса, аутентификацию JWT, ограничение доступа к проксированным HTTP-ресурсам, ограничение доступа по географическому положению и многое другое.

Обычно он используется в качестве обратного прокси, балансировщика нагрузки, SSL-терминатора/шлюза безопасности, ускорителя приложений/кэша контента и API-шлюза в стеке приложений. Он также используется для потокового мультимедиа.

10. Apache Traffic Server

И, наконец, Apache Traffic Server – быстрый, масштабируемый и расширяемый кэширующий прокси-сервер с открытым исходным кодом и поддержкой HTTP/1.1 и HTTP/2.0. Он предназначен для повышения эффективности и производительности сети за счет кэширования часто используемого контента на границе сети, для предприятий, провайдеров интернет-серверов, магистральных провайдеров и т. д.

Он поддерживает прямое и обратное проксирование HTTP/HTTPS-трафика. Его также можно настроить на работу в одном или обоих режимах одновременно. В нем есть постоянное кэширование, подключаемые API, поддержка ICP (Internet Cache Protocol), ESI (Edge Side Includes), Keep-ALive и многое другое.

С точки зрения безопасности Traffic Server поддерживает контроль доступа клиентов, позволяя настраивать клиентов, которым разрешено использовать прокси-кэш, SSL-завершение соединений между клиентами и самим сервером, а также между самим сервером и сервером происхождения. Он также поддерживает аутентификацию и базовую авторизацию с помощью плагина, ведение журнала (каждый полученный запрос и каждая обнаруженная ошибка) и мониторинг.

Traffic Server можно использовать в качестве кэша веб-прокси, прямого прокси, обратного прокси, прозрачного прокси, балансировщика нагрузки или в иерархии кэшей.

Заключительные замечания

Кэширование – одна из самых полезных и давно известных технологий доставки веб-контента, которая в первую очередь предназначена для увеличения скорости работы веб-сайтов или приложений. Она помогает снизить нагрузку на сервер, задержку и пропускную способность сети, поскольку кэшированные данные передаются клиентам, что улучшает время отклика приложения и скорость доставки клиентам.

В этой статье мы рассмотрели лучшие инструменты кэширования с открытым исходным кодом для использования в системах Linux. Если вы знаете другие инструменты кэширования с открытым исходным кодом, не перечисленные здесь, пожалуйста, поделитесь ими с нами через форму обратной связи ниже. Вы также можете поделиться с нами своими мыслями об этой статье.