Network Working Group S. Bradner, Editor Request for Comments: 1242 Harvard University July 1991
Терминология тестирования производительности устройств объединения сетей
Benchmarking Terminology for Network Interconnection Devices
Статус документа
Этот документ содержит информацию для сообщества Internet. Документ не задает каких-либо стандартов Internet. Допускается свободное распространение документа.
Аннотация
В этом документе определяется и обсуждается множество терминов, применяемых при обсуждении тестов производительности и их результатов. Рассмотренные здесь термины будут использоваться в других документах, определяющих тесты производительности, а предложенные здесь форматы будут служить для подготовки отчетов о тестировании. Документ является результатом работы группы BMWG1 под эгидой IETF2.
1. Введение
Производители зачастую пытаются представить свою продукцию так, чтобы она казалась лучшей на рынке. Для этого обычно «мутят воду» с целью ввести потребителя в заблуждение. В этом и последующих документах предпринимается попытка определить конкретный набор терминов и тестов, которые производители могли бы использовать для измерения параметров производительности устройств и подготовки отчетов о таких испытаниях. Это даст пользователю возможность сравнивать данные от разных производителей.
2. Формат определения
Определяемый термин (например, задержка — Latency).
Определение
Конкретное определение термина.
Обсуждение
Краткое обсуждение термина, его применения и присущих ограничений по использованию в измерениях.
Единицы измерения
Единицы, используемые в отчетах для данного термина, если таковые применимы.
Проблемы
Список проблем или условий, связанный с данным термином.
Дополнительная информация
Список других терминов и вопросов, связанных с данным.
3. Определения терминов
3.1 Back-to-back
Определение
Кадры фиксированного размера, передаваемые один за другим с такой скоростью, что обеспечивается лишь минимальный межкадровый интервал для данной среды в течении короткого или среднего периода времени, начиная с интервала бездействия.
Обсуждение
Рост числа устройств в сети может приводить к пикам кадров back-to-back. Удаленные дисковые серверы, использующие протоколы типа NFS, удаленные дисковые системы резервного копирования типа rdump и удаленные системы хранения на магнитной ленте могут быть настроены таким образом, что по одному запросу может возвращаться блок данных размером более 64 кбайт. В сетях, подобных Ethernet, с относительно малым значением MTU это может приводить к передаче множества фрагментов. Поскольку сборка фрагментов будет осуществляться только по завершении приема всех фрагментов, потеря даже одного фрагмента в результате отказа на том или ином промежуточном сетевом устройстве при обработке непрерывного потока кадров может приводить к зацикливанию процесса передачи большого блока данных.
По мере роста Internet маршрутные обновления становятся больше, требуя для их передачи множества кадров, которые современные маршрутизаторы передают очень быстро. Отсутствие кадра маршрутной информации может приводить к ложной индикации недоступности. Тестирование этого параметра предназначено для определения возможностей системы буферизации устройства.
Единицы измерения
Число N-октетных кадров в пике.
Дополнительная информация
3.2 Мост (Bridge)
Определение
Система, пересылающая кадры данных на основе информации канального уровня (data link layer).
Единицы измерения
нет
Проблемы
Дополнительная информация
3.3 Мост/маршрутизатор (Bridge/router)
3.15 Маршрутизатор (Router)
3.3 Мост/маршрутизатор (Bridge/router)
Определение
Сетевое устройство, которое может работать как мост и/или маршрутизатор в зависимости от протокола конкретного кадра.
Единицы измерения
нет
Проблемы
Дополнительная информация
3.2 Мост (Bridge)
3.15 Маршрутизатор (Router)
3.4 Постоянная нагрузка (Constant Load)
Определение
Передача кадров фиксированного размера с фиксированным интервалом.
Обсуждение
Хотя стационарные состояния редко возникают в сетевых устройствах на практике, измерение производительности при стабильной нагрузке может оказаться полезным для сравнения устройств. Все параметры устройства сохраняются постоянными. При наличии в кадрах контрольной суммы она должна проверяться.
Единицы измерения
нет
Проблемы
Сравнение одностороннего и двухстороннего потоков кадров.
Дополнительная информация
3.5 Размер кадра канального уровня (Data link frame size)
Определение
Число октетов, начиная с первого октета после преамбулы и заканчивая FCS (при наличии) или последним октетом данных, если FCS не используется.
Обсуждение
В отчетах встречается много путаницы с размером кадров, использованных при тестировании или измерениях. Кто-то учитывает контрольную сумму, другие не учитывают. Это определение внесено специально для использования в последующих документах.
Единицы измерения
Октеты
Проблемы
3.6 Частота потери кадров (Frame Loss Rate)
Определение
Процент кадров, полученных для пересылки, которые устройство в установившемся состоянии при постоянной нагрузке не смогло переслать по причине нехватки ресурсов.
Обсуждение
Такие измерения могут служить для отчетов о производительности сетевых устройств в условиях перегрузки. Это позволит оценить возможное поведение устройства при возникновении в сети аномальных условий (например, широковещательного шторма).
Единицы измерения
Процент отбрасываемых N-октетных кадров. Обычно представляется в форме графика зависимости потерь от нагрузки.
Дополнительная информация
3.11 Влияние дополнительных задач (Overhead behavior)
3.13 Фильтрация на основе правил (Policy based filtering)
3.10 Поведение при несоответствии MTU (MTU-mismatch behavior)
3.7 Межкадровый интервал (Inter Frame Gap)
Определение
Интервал времени между окончанием кадра канального уровня (см. параграф 3.5) и началом преамбулы следующего кадра канального уровня.
Обсуждение
В отчетах о тестах встречается много путаницы с межкадровыми интервалами при тестировании. Данное определение применяется в этом и последующих документах для устранения путаницы.
Единицы измерения
Время с точностью, достаточной для того, чтобы различить 2 события.
Проблемы
Скорость на канальном уровне.
3.8 Задержка (Latency)
Определение
Для устройств с промежуточной буферизацией (store and forward)
Временной интервал между прибытием во входной порт последнего бита входящего кадра и передачей из выходного порта первого бита исходящего кадра.
Для устройств без промежуточной буферизации (bit forwarding)
Временной интервал между окончанием приема первого бита кадра во входном порту и началом передачи первого бита кадра в выходном порту.
Обсуждение
Изменение задержки может вызывать проблемы. Некоторые протоколы (например, LAT и IPX) существенно зависят от времени. Очевидно, что новые приложения будут чувствительны к задержкам в сети. Рост задержки в устройствах может приводить к снижению эффективного диаметра сети. При измерении задержки желательно избавиться от воздействия скорости передачи. Измерение задержки должно отражать только реально возникающую в устройстве задержку кадра. Измерения следует проводить для разных размеров кадра при неизменных параметрах конфигурации устройства.
В идеальном случае измерения для всех устройств будут начинаться с первого бита кадра после преамбулы. Теоретически производители могут создавать устройства, которые в обычных условиях будет считаться устройствами с промежуточной буферизацией (например, мостами), но на практике будут начинать передачу до того, как кадр будет принят полностью3. Для обозначения этого типа устройств используется термин cut through. Предполагается, что такое устройство будет каким-то способом заявлять о некорректности кадра, для которого были обнаружены ошибки (например, неверна контрольная сумма) после того, как передача кадра уже началась. В таких случаях устройство следует рассматривать, как store and forward и задержку в нем следует по-прежнему измерять от последнего бита на входе до первого бита на выходе, что будет давать отрицательные значения. Смысл этого состоит в том, чтобы устройство рассматривалось, как целое, без учета внутренней структуры.
Единицы измерения
Время с точностью, достаточной для того, чтобы различить 2 события.
Дополнительная информация
3.9 Несоответствие скоростей канала (Link Speed Mismatch)
3.4 Постоянная нагрузка (Constant Load)
3.1 Back-to-back
3.13 Фильтрация на основе правил (Policy based filtering)
3.16 Поведение одиночного кадра (Single frame behavior)
3.9 Несоответствие скоростей канала (Link Speed Mismatch)
Определение
Рассогласование входной и выходной скоростей.
Обсуждение
Это не относится к скорости передачи кадров, как таковой, и связано с реальной скоростью передачи кадров в пути обмена данными. Например, с одной стороны имеется Ethernet, а с другой последовательная линия 56K. Это называют также «эффектом пожарного шланга» (fire hose effect). Сети, использующие последовательные каналы между скоростными ЛВС, обычно сталкиваются с несоответствием скоростей на каждой стороне последовательного канала.
Единицы измерения
Отношение входной и выходной скоростей.
Дополнительная информация
3.4 Постоянная нагрузка (Constant Load)
3.1 Back-to-back
3.10 Поведение при несоответствии MTU (MTU-mismatch behavior)
Определение
Значение MTU4 в выходной сети меньше MTU во входной сети, что ведет к фрагментации.
Обсуждение
На производительность сетевых устройств фрагментация кадров может оказывать существенное влияние.
Единицы измерения
Описание поведения.
Проблемы
3.11 Влияние дополнительных задач (Overhead behavior)
Определение
Обработка выполняется иначе, нежели для нормальных кадров.
Обсуждение
Кроме пересылки кадров сетевые устройства выполняют множество функций от внутреннего тестирования оборудования до обработки маршрутной информации и откликов на запросы систем сетевого управления. Полезно знать влияние этих функций на производительность устройства. Примером может служить ситуация пересылки или приема кадров маршрутизатором во время обработки крупного обновления маршрутной информации для сложного протокола, такого как OSPF. Такая информация может быть весьма полезной.
Единицы измерения
Любые количественные характеристики, позволяющие определить влияние на работу устройства.
Проблемы
протоколы мостов и маршрутизаторов;
выполнение управляющих функций;
icmp;
обработка опций ip;
фрагментация;
обработка ошибок;
сбор и обработка статистики/протоколирования работы;
arp.
Дополнительная информация
3.13 Фильтрация на основе правил (Policy based filtering)
3.12 Поведение при перегрузке (Overloaded behavior)
Определение
Ситуации, когда потребности превосходят доступные системные ресурсы.
Обсуждение
Перегруженные устройства будут терять кадры. В число теряемых могут попадать кадры с маршрутной или конфигурационной информацией. Перегрузкой считается состояние, в котором возникают потери любых пакетов.
Единицы измерения
Описание поведения устройства во всех состояниях перегрузки по входам или выходам.
Проблемы
Как устройство выходит из состояния перегрузки?
Как на устройство воздействует «подавление отправителя» (source quench)?
Что делает устройство при исчерпании его ресурсов?
Как система управления устройством реагирует на перегрузку?
Дополнительная информация
3.13 Фильтрация на основе правил (Policy based filtering)
Определение
Фильтрация представляет собой процесс отбрасывания принятых кадров на основе административного решения, без которого такие кадры просто следовало бы пересылать.
Обсуждение
Многие сетевые устройства могут быть настроены на отбрасывание кадров в соответствии с заданными администратором критериями. Эти критерии могут включать множество параметров, начиная от адресов отправителя и/или получателя и заканчивая проверкой значений заданных полей самого кадра. Настройка такой фильтрации во многих устройствах оказывает влияние на производительность устройства.
Единицы измерения
нет
Проблемы
гибкость опций фильтрации;
число условий в фильтре.
Дополнительная информация
3.14 Поведение при перезапуске (Restart behavior)
Определение
Перезапуск системы приводит к потере данных.
Обсуждение
С момента включения питания или сброса да завершения процесса загрузки устройство не воспринимает и не пересылает кадров. Продолжительность периода загрузки может служить параметром оценки устройства. Кроме того, некоторые устройства требуют перезапуска при тех или иных изменениях конфигурации. Если период загрузки слишком велик, это может заставить администраторов с осторожностью подходить к изменению таких параметров в работающих сетях.
Единицы измерения
Описание поведения устройства в различных случаях перезапуска.
Проблемы
Типы перезапуска:
по питанию;
перезагрузка программного образа;
сбрасывание портов и буферов;
перезапуск текущей копии программного образа без изменения конфигурации.
При каких условиях требуется перезапуск?
Знает ли устройство о необходимости перезапуска (например, тайм-аут при «зависании»)?
Способно ли устройство зафиксировать слишком частые перезапуски?
Используется ли диагностика устройства при всех или некоторых вариантах перезапуска?
Как можно инициировать перезапуск?
непосредственный доступ;
удаленный доступ по терминальной линии или через сеть.
3.15 Маршрутизатор (Router)
Определение
Система, пересылающая кадры данных на основе информации сетевого уровня.
Обсуждение
Это предполагает наличие работающего алгоритма маршрутизации сетевого уровня и выполнение требуемых протоколом действий (например, уменьшение значения поля TTL в заголовке TCP/IP).
Единицы измерения
нет
Дополнительная информация
3.2 Мост (Bridge)
3.3 Мост/маршрутизатор (Bridge/router)
3.16 Поведение одиночного кадра (Single frame behavior)
Определение
На вход устройства поступает одиночный кадр.
Обсуждение
«Поток данных» из одного кадра может потребовать от устройства большого объема работы. Определение маршрутов, выполнение ARP, проверка полномочий и другие операции, которые обычно кэшируются. Устройство зачастую будет тратить на обработку одиночного кадра значительно больше времени, чем на обработку такого же кадра в потоке. Некоторые устройства могут даже отбрасывать одиночные кадры в процессе организации кэша.
Единицы измерения
Описание поведения устройства.
Дополнительная информация
3.13 Фильтрация на основе правил (Policy based filtering)
3.17 Пропускная способность (Throughput)
Определение
Максимальная скорость, при которой ни один из предложенных пакетов не отбрасывается устройством.
Обсуждение
Пропускная способность предоставляет производителям значение, активно используемое на рынке для продвижения продукции. Поскольку даже потеря одного кадра из потока может вызывать существенные задержки за счет времени ожидания на верхних уровнях, полезно знать реальное значение максимальной скорости данных, которую устройство может поддерживать. Измерения следует выполнять при разных размерах кадров. Для устройств, поддерживающих режим моста и маршрутизатора, следует проводить отдельные измерения для каждого режима. Если в полученных кадрах есть контрольная сумма, она должна обрабатываться в полном объеме.
Единицы измерения
Число N-октетных кадров в секунду.
Скорость на входе в бит/с.
Проблемы
Один путь в сравнении с агрегатным.
Загрузка.
Односторонний и двухсторонний поток данных.
Обработка контрольных сумм для применяющих их протоколов.
Дополнительная информация
3.6 Частота потери кадров (Frame Loss Rate).
3.4 Постоянная нагрузка (Constant Load).
3.1 Back-to-back.
4. Благодарности
Этот документ является результатом работы группы IETF BMWG в составе:
Chet Birger, Coral Networks
Scott Bradner, Harvard University (председатель)
Steve Butterfield, независимый консультант
Frank Chui, TRW
Phill Gross, CNRI
Stev Knowles, FTP Software, Inc.
Mat Lew, TRW
Gary Malkin, FTP Software, Inc.
K.K. Ramakrishnan, Digital Equipment Corp.
Mick Scully, Ungerman Bass
William M. Seifert, Wellfleet Communications Corp.
John Shriver, Proteon, Inc.
Dick Sterry, Microcom
Geof Stone, Network Systems Corp.
Geoff Thompson, SynOptics
Mary Youssef, IBM
Вопросы безопасности
Вопросы безопасности не рассматриваются в этом документе.
Адрес автора
Scott Bradner
Harvard University
William James Hall 1232
33 Kirkland Street
Cambridge, MA 02138
Phone: (617) 495-3864
EMail: SOB@HARVARD.HARVARD.EDU
Можно отправлять комментарии по адресу bmwg@harvisr.harvard.edu.
Перевод на русский язык
Николай Малых
1Benchmarking Methodology Working Group
2Internet Engineering Task Force
3Таких устройств сейчас выпускается достаточно много. Прим. перев.
4Maximum Transmission Unit – максимальный размер передаваемого блока.