Тест что это: понятия — тесты что это такое

Опубликовано 27.10.197529.09.2021 автором alexxlab

Содержание

Про Тестинг — Тестирование программного обеспечения

Тестирование программного обеспечения (Software Testing) — проверка соответствия между реальным и ожидаемым поведением программы, осуществляемая на конечном наборе тестов, выбранном определенным образом. [IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004] В более широком смысле, тестирование — это одна из техник контроля качества, включающая в себя активности по планированию работ (Test Management), проектированию тестов (Test Design), выполнению тестирования (Test Execution) и анализу полученных результатов (Test Analysis).

Верификация (Verification) — это процесс оценки системы или её компонентов с целью определения удовлетворяют ли результаты текущего этапа разработки условиям, сформированным в начале этого этапа [IEEE].

Т.е. выполняются ли наши цели, сроки, задачи по разработке проекта, определенные в начале текущей фазы.

Валидация (Validation) — это определение соответствия разрабатываемого ПО ожиданиям и потребностям пользователя, требованиям к системе [BS7925-1].

План Тестирования (Test Plan) — это документ, описывающий весь объем работ по тестированию, начиная с описания объекта, стратегии, расписания, критериев начала и окончания тестирования, до необходимого в процессе работы оборудования, специальных знаний, а также оценки рисков с вариантами их разрешения.

Тест дизайн (Test Design) — это этап процесса тестирования ПО, на котором проектируются и создаются тестовые случаи (тест кейсы), в соответствии с определёнными ранее критериями качества и целями тестирования.

Тестовый случай (Test Case) — это артефакт, описывающий совокупность шагов, конкретных условий и параметров, необходимых для проверки реализации тестируемой функции или её части.

Баг/Дефект Репорт (Bug Report) — это документ, описывающий ситуацию или последовательность действий приведшую к некорректной работе объекта тестирования, с указанием причин и ожидаемого результата.

Тестовое Покрытие (Test Coverage) — это одна из метрик оценки качества тестирования, представляющая из себя плотность покрытия тестами требований либо исполняемого кода.

Детализация Тест Кейсов (Test Case Specification) — это уровень детализации описания тестовых шагов и требуемого результата, при котором обеспечивается разумное соотношение времени прохождения к тестовому покрытию

Время Прохождения Тест Кейса (Test Case Pass Time) — это время от начала прохождения шагов тест кейса до получения результата теста.

?Как сделать онлайн-тест: пошаговая инструкция

← Предыдущий урок
Это шестой урок из цикла «Марафон: как создать онлайн-курс». Для полного погружения в тему, лучше начните с первого.

В этой статье вы узнаете как быстро создать свой первый электронный тест. Для это вам понадобится бесплатная пробная версия программы iSpring Suite. Вы сможете создать неограниченное количество тестов. Скачать iSpring Suite→

Онлайн-тест — главный инструмент для проверки знаний в дистанционном обучении. Однако при разработке теста часто возникает вопросы:

сколько заданий нужно придумать;
какие типы вопросов выбрать;
какой выставить проходной балл;
нужно ли ветвление;
сколько времени отвести на тестирование и еще вагон «как», «зачем», «почему».

В этой статье основатель студии по разработке электронных курсов New York Александр Виноградов подробно разберет как сделать качественный онлайн-тест в конструкторе iSpring Suite, чтобы провести тщательную «диагностику» знаний сотрудников.

Редактор iSpring Suite позволяет создавать 14 типов тестов, разрабатывать уникальный дизайн для заданий, добавлять озвучку к текстам:

Шаг 1. Определите тип теста

Александр Виноградов,
основатель студии по разработке электронных курсов New York

Работа над тестом очень похожа на разработку электронного курса. Стартовая точка та же — поставить цель.

Чего вы хотите добиться, создав тест? Ответив на вопрос, легче определиться с типом практического задания.

По целям тесты в электронном курсе делятся на два типа:

Обучающие — помогают закрепить изученный материал. Обычно такой тест ставят после каждой главы в курсе в качестве небольшой практики. Условия тепличные: нет ограничения по времени, штрафов за неправильный ответ. На решение задачи дается несколько попыток, после каждой ошибки пояснения — почему ответ не верный.
Аттестационные — помогают «просканировать» знания сотрудника. Обязательные условия: ограничения по времени, одна попытка на ответ, нет пояснений к каждой ошибке. Тест показывает, удалось ли курсу попасть «точно в цель» – чему по факту вы обучили сотрудников.

Шаг 2. Выберите типы вопросов

Обычно при составлении тестов в iSpring Suite используют арсенал из 11 оценочных вопросов:

Верно/Неверно — пользователь должен определить, верно или ложно утверждение в вопросе. Это самый простой вариант задания.

Выбор одного ответа — пользователю нужно выбрать один правильный ответ из предложенных вариантов.

Выбор нескольких ответов — нужно выбрать верные варианты из списка. Задания такого типа сложнее, чем «Одиночный выбор», т.к. количество правильных ответов заранее неизвестно. Ответить методом «тыка» не получится.

Краткий ответ — здесь нет никакого выбора, пользователю нужно ввести правильный ответ в текстовое поле. Чтобы не ошибиться, важно хорошо разбираться в теме.

Последовательность — пользователя просят расположить элементы в верной последовательности. Такой тип вопроса подойдет, если нужно восстановить хронологию событий, расставить числа по возрастанию/убыванию.

Числовой ответ — нужно ввести число в поле для ответа. Здесь нет никаких подсказок, как и в типе вопроса «Ввод строки». Угадать правильный ответ невозможно.

Выбор из списков — тестируемого просят выбрать правильный вариант из выпадающего списка.

Перетаскивание слов — нужно вставить слова из банка слов на место пропусков в тексте. Это тип вопроса, аналогичный «Вложенным ответам».

Заполнить пропуски — нужно заполнить пропуски, встречающиеся в тексте. Это усложненная версия «Вложенных ответов» и «Банка слов». Такой тип вопроса подойдет, если нужно проверить, к примеру, насколько хорошо сотрудник заучил определенное правило.

Соответствие — нужно соединить пары слов, фраз или изображений. Добавьте несколько лишних вариантов соответствия, чтобы усложнить вопрос.

Оптимальное задание содержит от 4 до 10 условий. Соответствия можно провести между: понятиями и определениями, текстом и изображением, списком авторов и цитатами, датами и событиями.

Выбор области — сотрудник должен отметить области на изображении с помощью маркеров. Если отнестись к работе творчески, можно придумать интересное практическое задание. Например, такое:

Чтобы тест был максимально точным и правдивым, он должен соответствовать правилу 30/40/30.

При таком раскладе на интуицию и везение рассчитывать сотрудникам не придется.

Шаг 3. Продумайте текст вопросов

КПД теста во многом зависит от того, насколько грамотно сформулированы задания. Не забывайте, что сотрудник, который держит экзамен — один на один с проверочным материалом. Если он не поймет вопрос, посоветоваться не с кем — придется отвечать наугад. А это уже минус к объективности конечного результата. Потому важно тщательно проработать каждое задание. Вот несколько рекомендаций:

Не усложняйте. Вопрос должен быть простым и четким. Постарайтесь не писать длинных сложноподчиненных предложений с деепричастными оборотами. Максимальное количество слов: 20.

Избегайте повторов и двойного отрицания по типу «не/не». Пример: «Программа Paint не является программой для работы с электронными таблицами. Варианты ответов: Да-Нет». Сложно понять, что от тебя хотят: и в задании, и в ответе есть отрицание.

Выжигайте кислотой неточные факты, цифры и слова по типу «примерно», «сколько-нибудь», «хотя бы». «Чему примерно равно значение постоянной Пи?». Ну, примерно, трём. Глупый вопрос порождает глупые ответы.

Начинайте открытые вопросы со слов: «что», «сколько», «когда», «для чего», «как», «почему».

Избегайте невольных подсказок, когда текст вопроса наводит на правильный ответ.

Шаг 4. Проработайте варианты ответа для каждого задания

На этом этапе к каждому сформулировану вопросу нужно подобрать правдоподобные дистракторы — варианты ответа, призванные сбить с толку и отвлечь внимание. На что обратить внимание:

Используйте простые формулировки без сложных оборотов.

Правильные ответы и дистракторы должны совпадать по содержанию, структуре и общему количеству слов.

Не используйте варианты ответов из рода «ни один из перечисленных» и «все перечисленные», особенно для типа вопросов «Одиночный выбор».

Для вопросов типа «Пропуски» избегайте вариантов, в которых можно допустить ошибку: «Москва» и «москва», «Кэрролл» и «Кэррол». Ведь если сотрудник напишет нужное слово, но не стой буквой, тест это не засчитает. Итоговая оценка окажется необъективной.

Шаг 5. Продумайте параметры тестирования

Настройки тестирования зависят от цели: обучить или устроить жесткий экзамен.

Настройка баллов

При создании теста часто возникает вопрос — какой проходной балл выставить. Универсального рецепта нет. Отталкивайтесь от цели.

К примеру, вы собираете для продавцов обучающий тест по основам тайм-менеджмента. Цель — сотрудники должны закрепить изученный материал, вспомнить, что уже забыли. Проходной балл здесь можно поставить на отметке 70-80.

Если же вы проверяете аттестуете врачей по теме «Анатомия нервной системы», то здесь можно поставить и все 100 баллов для прохождения. Ведь в реальности каждая ошибка медика может стоить человеку жизни.

Подробнее о том, как установить баллы за правильные и штрафы за неправильные ответы, можно прочитать здесь.

В каком типе теста использовать: обучающий и аттестационный.

Случайная выборка вопросов

Оптимальная длина теста — 25-30 вопросов. Но лучше сделать, что называется, «с запасом» — общий банк заданий должен быть в 3-4 раза больше. К примеру, в тест включаем пул из 75 вопросов, а сотрудники в случайном порядке получают лишь 25-30. В итоге у каждого пользователя тест отличается по содержанию — сложно будет списать у товарища.

Как сделать тесте iSpring Suite случайную выборку вопросов из общего банка, смотрите в коротком видеоуроке.

Ограничение по времени

Чтобы сотрудники не списывали, выставите также время на прохождение теста. Я обычно выделяю на задания от 10 минут до получаса — все зависит от сложности теста.

Если сотрудник полный ноль в теме, то ему никакие шпаргалки не помогут правильно ответить на все вопросы и уложиться в срок.

В iSpring Suite вы можете ограничить время на выполнение всего теста или отдельных вопросов:

Количество попыток

Если вы хотите провести максимально точную «диагностику» знаний сотрудников, введите одну попытку на ответ — тогда будет сложно решить задание методом «тыка». Сделать это можно в несколько кликов:

Ветвление

Если вы создаете обучающий тест, важно настроить ветвление. Это поможет сотрудникам восполнить пробелы в знаниях и лучше усвоить изученный материал.

Суть: когда пользователь ошибается, то попадает на слайд с дополнительной информацией по теме вопроса. Если отвечает правильно — переходит к следующему заданию. Как настроить ветвление, смотрите здесь:

Обратная связь

Вспомните тесты в школе или институте. После проверки преподаватель раздавал тетради, где красной пастой были зачеркнуты неверные ответы. Часто хотелось спросить: «А почему здесь неправильно?».

В дистанционном обучении происходит то же самое, однако учителя нет рядом. И все же электронный тест может автоматически дать обратную связь по каждому неверному вопросу, как в этом примере:

За счет такого подхода тестируемому проще понять, что неверно в его ответе и какой вариант правильный. Чтобы настроить обратную связь в iSpring Suite, потребуется пара минут:

Шаг 6. Озвучьте и оформите вопросы

Далеко не всегда сотрудники охотно проходят тест. Как правило, это одна из самых неприятных частей электронного курса. Чтобы подсластить «горькую пилюлю», поработайте над оформлением теста или придумайте интересные интерактивные задания.

Дизайн вопросов

Каждый вопрос теста можно выполнить в уникальном дизайне: настроить шрифт, макет или выбрать цветовую тему для вопроса.

Озвучка вопросов

К каждому вопросу в тесте можно добавить аудиофайл или записать звук прямо в iSpring Suite, а после отредактировать с помощью встроенного редактора:

При должном подходе можно придумать интересные интерактивные задания, которые сильнее разожгут любопытство сотрудников.

Подробное руководство о работе с тестами в iSpring Suite вы можете прочитать здесь.

Когда запускать тесты

После каждого модуля в курсе. Я рекомендую делать так в объемных курсах с большим количеством информации.

Вот курс компании «Ёрд» — «Тактическое управление». Он учит руководителей правильно выстраивать работу с подчиненными.

Курс в 120 файлов поделен на четыре больших урока. В каждом: кейсы, инструкции, советы по работе. После каждого раздела — небольшой тест в 7-10 вопросов. Это помогает сотруднику крепче запомнить важное.

А теперь представьте, что промежуточных тестов нет. Вы листаете слайды один за другим, информационный шум в голове нарастает и, когда он достиг предела, — бац — тест в 100 вопросов по всем темам. Нерадостный сюрприз.

По итогам курса. Итоговый тест должен быть в каждом курсе. Иначе как вы измерите пользу от электронного тренинга.

По итогам программы обучения, то есть комплекса курсов по глобальной теме. Это своеобразный аналог посттренинга. Результаты покажут насколько хорошо сотрудник применяет полученные знания на практике.

В рамках общей аттестации. Тест показывает остаточные знания сотрудников. Для этих целей можно использовать итоговый тест курса или создать новый.

Как и по каким метрика оценивать результаты тестирования, подробнее читайте в статье «12 отчетов в СДО, которые помогут повысить эффективность обучения».

Тесты в цифрах

Более 80% зарубежных компаний при помощи тестов оценивают соискателей и сотрудников.

69% компаний России тесты помогают при найме персонала. Остальные используют их для оценки квалификации действующих сотрудников.

$500 миллионов — объем рынка тестирования в российских и зарубежных компаниях. Рынок складывается в основном из услуг внешних рекуртеров, подбирающих заказчикам сотрудников при помощи тестов, и компаний, эти тесты создающие. Среди них Multi-Health Systems, Captevrix, Hogan Development Survey.

Источники: Harvard Business Review, The Wall Street Journal, SHL Russia & CIS, РБК.

Дополнительные статьи по теме

Если вам понравилась статья, дайте нам знать — нажмите кнопку Поделиться.

А если у вас есть идеи как можно улучшить текст — расскажите нам. Мы будем рады доработать материал!

← Предыдущий урок Следующий урок →

Что такое контрольный тест? — Кросби | Straightpoint

В простейшей форме нагрузочное тестирование включает в себя нагрузку на структуру или часть оборудования. Доказательный тест — это тип нагрузочного теста, который демонстрирует пригодность несущей конструкции. Такие испытания могут потребоваться в рамках тщательного изучения в соответствии с Правилами грузоподъемных операций и подъемного оборудования 1998 (LOLER), которые устанавливают обязанности для людей и компаний, которые владеют, управляют или контролируют подъемное оборудование.

LOLER делает упор на опыте компетентного человека, который принимает обоснованное решение относительно того, что подходит на основе их обучения. Они определяют, требуется ли доказательство или полезно оценить часть подъемного оборудования.

Доказательный тест обычно выражается в процентах от предела рабочей нагрузки (WLL), которое оборудование выдерживает.
Точные требования к пробным испытаниям и размеру каждого теста могут варьироваться в зависимости от стандартов, оборудования или соответствующих отраслей, а также от индивидуальных требований от клиентов или в качестве части собственного контроля производителей.

Европейские стандарты

Производители подъемного оборудования могут проводить пробные испытания регулярно или в качестве периодического испытания в соответствии со своими процедурами QA / QC, но для товаров, продаваемых в ЕС, минимальные требования соответствуют требованиям Директивы по машинам.

Директива по оборудованию 2006 / 42 / EC в разделе 4.1.2.3 посвящена статическим и динамическим испытаниям, которые должны выполняться на всех подъемных механизмах готовый к сдаче в эксплуатацию. Эти тесты помогают удовлетворить требования «пригодности к цели» подъемных механизмов или подъемных приспособлений, описанных в разделе 4.

1.3.
В Директиве также указывается (строка 20), что для определенных типов машин, имеющих более высокий коэффициент риска, требуется более строгая процедура сертификации. Несколько примеров дополнительных стандартов сертификации, которые могут потребовать нагрузочного тестирования, включают:
• BS EN 14439: ссылается на доказательство прочности и устойчивости кранов, в том числе из-за неустойчивости обслуживания, для учета ветровой нагрузки.

• Стандарты EN12079 и DNV2.7-1 устанавливают минимальные критерии проектирования, материала, производства и испытаний контейнеров, используемых в оффшорных приложениях, с конкретным руководством по пробным испытаниям.
• Приморская промышленность. Для почти всех грузоподъемных механизмов и грузоподъемных механизмов требуется проверка пробной нагрузки, чтобы получить сертификацию регистра Lloyds. Другие контрольные органы, такие как Det Norske Veritas (DNV) и Bureau Veritas, имеют аналогичные требования к подъемному механизму.

Стандарты для Северной Америки

Там проводятся испытания на пробную нагрузку для соответствия ряду стандартов, которые в основном определяются следующими органами: • OSHA — Управление по безопасности и гигиене труда
• ASME — Американское общество инженеров-механиков
• ANSI-Американский национальный институт стандартов

Несколько примеров стандартов, которые могут потребовать проведения нагрузочных испытаний на подъемное оборудование и аксессуары, включают:

• ASME B30.

9: на подъемных стропах
• ASME B30.10-1.7: на крючках
• ASME B30.16: на накладных подъемниках (underhung)
• ASME B30.17: на мостовых и козловых кранах и тележках
• ASME B30.20: различные под крюковые подъемные устройства
• ASME B30.20: для ручных подъемников
• ASME B30.26: для различных подъемных аксессуаров: скобы, рым-болты, стяжки, звенья, кольца, шарниры и оборудование для сжатия.
• Раздел OSHA 1926.251 (a) (4) охватывает специальные специальные аксессуары для подъема конструкции, которые должны быть проверены до использования в 125% от WLL.
• ANSI N14.6: специальное приложение для специальных подъемных устройств для транспортных контейнеров для ядерных материалов весом> 4500 кг.

Опять же, в критически важных отраслях промышленности могут потребоваться дополнительные тесты. NASA, например, указывает случаи и частоту испытаний на пробную нагрузку и периодические испытания нагрузки на подъемные устройства и оборудование (LDE) в своем техническом стандарте NASA-STD-8719.

9 при подъеме.

Как проверить доказательства?

Для многочисленных нагрузочных испытаний во всем мире требуется весоизмерительная ячейка для проверки применяемой нагрузки, проверки крана с использованием мешков с водой и натяжения натяжения на испытаниях цилиндров с использованием гидравлической испытательной установки и тензодатчика.
Весоизмерительная ячейка позволяет точно измерять и регистрировать тест. В критически важных отраслях безопасности требование документировать процедуры испытаний и результаты никогда не было таким большим, поскольку пользователи подъемного оборудования требуют более прослеживаемости и аудита.

Испытательное оборудование

Straightpoint выпускает разнообразное оборудование, которое может использоваться для проверки на наличие дефектов. Как указывалось вначале, его Программное обеспечение Proof Test plus (или SW-PTP) записывает данные, собранные весоизмерительной ячейкой Radiolink plus, нагрузочной скобой или тензодатчиком сжатия.

Затем он создает сертификат прохода или отказа, который включает в себя тестовые данные и графики, отображающие данные из нагрузки в зависимости от времени на протяжении всего теста.
Информация может быть распечатана непосредственно в виде отчета в формате PDF, передана в электронном виде или передана в информационный центр в облаке. Важно, чтобы была прослеживаемость сертификации пробных испытаний и что весоизмерительная ячейка, которая провела тест, была точной и откалиброванной. В тех случаях, когда испытание на нагрузку считается полезным, цель Proof Test plus — сделать этот процесс более эффективным.

Подробнее здесь, в нашей технической документации по тестированию

Тест критического пути — QA evolution

Тест критического пути (critical path test) — основной тип тестовых испытаний, во время которого значимые элементы и функции приложения проверяются на предмет правильности работы при стандартном их использовании. Чаще всего на практике, на данном уровне тестирования проверяется основная масса требований к продукту. Пример: выбор шрифта, возможность набора текста, вставки картинок и т.д.

Тест критического пути

Может быть как позитивным, так и негативным:

Позитивный тест критического пути — это проверка работоспособности функций программного продукта, с которыми пользователь сталкивается ежедневно.

Негативный тест критического пути — это проверка всевозможных вариантов нестандартного использования функциональности, используемой пользователем каждый день.

Пример тестирования критического пути
Сервис KUKU.io.

Для того, чтобы пользователь имел доступ к возможностям данного сервиса, он ежедневно совершает следующие действия:
Зайти на сайт KUKU.io
Ввести логин, пароль.
Нажать Войти
Выбрать аккаунты, в которые планируются публикации
Создать пост
Опубликовать пост
Просмотр Статуса поста
Выход из сервиса

Компонент	Подкомпонент	Проверка
Вход на сайт	Ввод логина	проверка правильности введенных значений
	Пароль	проверка правильности введенных значений
	Войти
Аккаунты	Перечень добавленных аккаунтов	выбор аккаунтов для публикации
Пост	Создать	ввод текста, превью, добавление картинок
	Редактировать	добавление/удаление материала для публикации
	Запланировать	выбор времени опубликования поста
	Опубликовать	публикация поста
Статус поста	Просмотр
Статус поста	Удаление	удаление поста из таймлайна и из соц. сети (при соответствующих настройках)
Выход		выход из сервиса

Тест критического пути является одним из самых распространенных видов функционального тестирования в частности для веб-проектов. Частота данного тестирования обусловлена в первую очередь необходимостью периодической проверки всего приложения в сжатые сроки. Плюс ко всему позволяет выявить самые быстро находимые дефекты и исправить приложение в более сжатые сроки.

С помощью данного вида тестирования покрываются все сценарии стандартного использования приложения, исключая негативные сценарии. Данный тип также характеризует тестирование по глубине его проведения.

Это и есть наш критический путь, благодаря которому мы проверяем правильность работы часто используемых функций, а именно: возможность войти на сайт, выбрать аккаунты для публикации, создать и опубликовать пост.

Все виды тестирования программного обеспечения

Cambridge English Placement Test — Центр языкового тестирования СПбГУ

Что такое Cambridge English Placement Test?

Cambridge English Placement Test направлен на кандидатов, которые заинтересованы в определении уровня владения английским языком для продолжения или начала его изучения. Это самый быстрый и удобный способ проверить ваш уровень знаний.

Зачем сдавать Cambridge English Placement Test?

тест позволяет быстро проверить уровень владения английским языком
помогает оперативно подобрать подходящую программу обучения
помогает сориентироваться в уровнях владения английским языком по шкале CEFR
помогает определиться с подходящим по уровню экзаменом
может рассматриваться в качестве подготовки к сдаче уровневых экзаменов, так как используемый формат заданий аналогичен заданиям, используемым в экзаменах Cambridge English

Структура Cambridge English Placement Test

Cambridge English Placement Test — адаптивный тест*, который проводится в компьютерной форме.

Тест состоит из разделов «Чтение» и «Аудирование», вы не ограничены во времени прохождения. Прохождение тестирования в среднем занимает 30-40 минут.

Сразу по окончании теста вы получаете справку с результатом.

*сложность последующих вопросов меняется в зависимости от ответов на предыдущие вопросы.

Стоимость тестирования, даты и порядок регистрации

Стоимость прохождения тестирования — 900 рублей.

Тестирование проводится по будням с 16:00. Для регистрации на тест необходимо прийти с паспортом в Центр языкового тестирования за 30 минут до начала тестирования по адресу: наб. Л. Шмидта, д. 11, ауд. 210 или заполнить онлайн-форму.

Дополнительную информацию о тестировании вы можете получить по электронной почте: Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript. или по телефону: +7 (812) 325 11 24.

Задайте вопрос или оставьте заявку

Техники тест-дизайна и их предназначение

При создании IT-продукта большую роль играет обеспечение качества – Quality Assurance (QA). Для того, чтобы устранить ошибки и «баги», QA-инженеры в числе прочих инструментов применяют техники тест-дизайна.

Тест-дизайн – это разработка, создание тестов. Каждый тест направлен на проверку конкретного предположения. Например: «Что будет, если пользователь по ошибке кликнет здесь не левой, а правой кнопкой мыши».

QA моделирует набор тестовых случаев (тест-кейсов), чтобы проверить, как приложение ведет себя в разных условиях. Задача специалиста – найти баланс и выявить максимальное количество ошибок при необходимом минимуме тестовых сценариев. При этом нужно проверить все наиболее важные кейсы, поскольку время тестирования ограничено.

Типы тестирования

Статическое тестирование, как следует из названия, не требует запускать программу или приложение и позволяет находить самые очевидные ошибки еще на ранних этапах создания продукта. Например, частью статического тестирования является проверка параметров ПО на соответствие требованиям технического задания, вычитка кода.

Динамическое тестирование требует проверять ПО в действии. Этот вид, в свою очередь, также делится на две обширные группы:

Техники белого ящика (они же структурное тестирование) применяют в том случае, если специалист хорошо знает архитектуру продукта, его код, «начинку» – то есть может ориентироваться в самой программе.
Техники черного ящика позволяют проверять работу продукта, не зная внутреннего устройства системы. При этом тестирование проводится на основе требований, указанных в спецификации проекта или в ТЗ.
Техники серого ящика позволяют тестировать продукт, когда специалист частично знает его внутреннее устройство. Для выполнения тестирования «серого ящика» не нужен доступ к исходному коду.

Этапы тестирования

1. Подготовка. На этом этапе QA-инженер читает проектную документацию, выясняет требования к продукту, прорабатывает план, продумывает стратегию, расставляет задачи по приоритетности и анализирует возможные риски.

2. Непосредственно тестирование. Предварительно специалисты анализируют собранную ранее информацию, составляют список тестируемых функций, знакомятся с уже известными багами, если они есть, пишут тест-кейсы.

Еще раз подчеркнем: принципиально важно стремиться к минимально возможному числу тестов, при этом необходимо, чтобы сценарии находили наибольшее число высокоприоритетных дефектов.

3. Анализ результатов и составление отчетов.

При работе над созданием тестов QA-специалист ориентируется не только на документацию, но и на устные сведения от других QA, аналитиков, разработчиков, менеджеров проекта.

Техники тест-дизайна на примерах

Рассмотрим несколько основных методик, однако, будем помнить, что зачастую их используют в комплексе. Одной техники может быть недостаточно, поскольку она не обеспечит максимальный охват тестовых сценариев.

Эквивалентное разбиение

Метод эквивалентного разбиения позволяет минимизировать число тестов, не создавая сценарий для каждого возможного значения, а выбрав только одно значение из целого класса и приняв за аксиому, что для всех значений в данной группе результат будет аналогичным.

Например, мы тестируем функциональность приложения, позволяющего покупать авиа- и железнодорожные билеты онлайн. Стоимость билета будет зависеть от возраста пассажира, так как дети, студенты и пенсионеры относятся ко льготным категориям.

У нас есть четыре возрастных группы: младше 15 лет, от 15 до 25 лет, старше 25 и младше 60 лет и люди старше 60. При этом, в поле для ввода возраста помещается всего два символа, поэтому указать возраст более 99 лет технически невозможно.

QA-специалисту не нужно писать 99 тестов для каждого возраста, хватит пяти: по одному для каждой возрастной группы (скажем, 10, 18, 35 и 75 лет) и один для случая, если возраст человека превышает 99 лет. Да, последний тест на практике невыполним (поскольку в поле возраста невозможно ввести более двух знаков), и все же не следует забывать об этой проверке.

Граничные значения

Техника граничных значений основана на предположении, что большинство ошибок может возникнуть на границах эквивалентных классов. Она тесно связана с вышеописанной техникой эквивалентного разбиения, из-за чего часто используется с ней в паре. Тогда для примера из предыдущего пункта границами будут являться значения 0, 15, 25, 60 и 99. Граничными значениями будут 0, 1, 14, 15, 16, 24, 25, 26, 59, 60, 61, 98, 99, 100.

Часто сложности возникают, если возрастные категории указаны «внахлест», например, 0-12, 12-25 лет и т.д.

Таблица принятия решений

Другое название метода – матрица принятия решений. Эта техника подходит для более сложных систем, например – двухфакторной аутентификации. Предположим, чтобы войти в систему, пользователю нужно ввести сначала логин и пароль, а затем еще подтвердить свою личность присланным в смс кодом.

Какие возможны сценарии:
1. Правильный логин и правильный пароль.
2. Правильный логин, неправильный пароль.
3. Неправильный логин, правильный пароль.
4. Неправильный логин, неправильный пароль.

Первый из этих сценариев сопровождается либо правильным, либо неправильным вводом смс-кода, итого у нас получается 5 тестов. При этом только один из сценариев приведет к положительному результату (пользователь успешно авторизуется), а остальные закончатся неудачей.

Однако, может быть так, что система выдает разные сообщения в зависимости от того, на каком этапе была допущена ошибка, скажем: invalid login, invalid password. Соответственно, групп потребуется больше, а таблица станет обширнее.

Этот метод хорош тем, что он показывает сразу все возможные сценарии в форме, понятной даже неспециалисту.

Пример таблицы принятия решений

Попарное тестирование

Суть этого метода, также известного как pairwise testing, в том, что каждое значение каждого проверяемого параметра должно быть протестировано на взаимодействие с каждым значением всех остальных параметров. После составления такой матрицы мы убираем тесты, которые дублируют друг друга, оставляя максимальное покрытие при минимальном необходимом наборе сценариев.

Попарное тестирование позволяет обнаружить максимум ошибок без избыточных проверок.

Pairwise testing: пример

Для Parwise достаточно, чтобы каждое значение всех параметров хотя бы единожды сочеталось с другими значениями остальных параметров. Таким образом, матрицу можно значительно сократить. Например:

№	Браузер	Операционная система	Язык
1	Opera	Windows	RU
2	Google Chrome	Linux	RU
3	Opera	Linux	EN
4	Google Chrome	Windows	EN

При составлении матрицы принятия решений для двух браузеров, двух ОС и двух языков было бы нужно 8 сценариев. При попарном тестировании достаточно четырех.

Все это можно просчитать и вручную, но не обязательно – гораздо удобнее автоматизировать процесс. Для этого существует программа попарного независимого комбинированного тестирования – Pairwise Independent Combinatorial Testing (PICT). Для проведения тестирования специалист создает текстовый файл с перечислением и их возможных значений, а затем запускает PICT через cmd – командную строку. Скомбинированные тесты отображаются в виде таблицы в самой консоли. Так же результаты по желанию можно выгрузить в файл Excel.

Пример содержимого файла для программы PICT:

Браузер: Chrome, Opera
ОС: Windows, Linux
Язык: RU, ENG

Пример попарного тестирования