Автоматизированная система и способ классификации цитологических образцов, основанный на нейронных сетях
Изобретение относится к области классификации клеток, в частности, к использованию нейронных сетей и/или нейрокомпьютеров для повышения скорости и точности классификации клеток. В способе классификации цитологических образцов и в реализующей данный способ системе нейронная сеть используется для выполнения функций классификации. В систему входят автоматический микроскоп, устройство вывода информации, видеокамера, цифровой преобразователь изображения, первичный статистический классификатор, выполненный в виде аморитмического обрабатывающего устройства для детектирования объектов, вероятно являющихся предзлокачественными или злокачественными клетками, вторичный классификатор, выполненный в виде нейронного компьютера. 2 с. и. 8 з.п. ф-лы, 7 ил.
Данное изобретение, в общем случае, относится, как указано, к области классификации клеток и, в частности, оно относится к использованию нейронных сетей и/или нейрокомпьютеров для повышения скорости и точности классификации клеток.
Цитологической мазок ("Рар" испытание) представляет собой фактически массовое цитологическое обследование, которое требует зрительного освидетельствования на предметном стекле фактически каждой клетки. Такой анализ характеризуется высокой степенью недостатков, связанных с монотонностью и утомительностью ручного метода его исполнения. Как правило, на практике классификация клеток производится поштучно "цитотехниками", занятыми в лабораториях патологии, а при некоторых обстоятельствах и штатными техниками. Принимая во внимание очевидную опасность для жизни в результатах возможного недиагностирования цервикального рака, Американское общество изучения рака обсуждает возможность удвоения частоты взятия цервикальных мазков. Однако это приведет к тому, что, несомненно, перегрузит уже и так чрезмерно отягощенную область цервикальных обследований, основанных на визуальных исследованиях мазков, учитывая то обстоятельство, что все меньше становится людей, желающих иметь дело с утомительной и напряженной ручной классификацией цервикальных мазков. Рекомендация Американского общества по изучению раковых заболеваний об увеличении частоты взятия цервикальных мазков очевидно может привести только к увеличению частоты просчетов, как результат сокращения количества времени, затрачиваемого на исследование вручную каждого предметного стекла с цервикальным мазком. Тщательное ручное исследование предметного стекла с цервикальным мазком должно занимать не менее пятнадцати минут, хотя цитотехник, особенно тот, который завален работой, посвятит этому, наверняка, не более половины указанного требуемого времени. Колледж Американской патологии хорошо знаком с этой проблемой и не преминул бы быстро решить проблему по автоматизации отображения цервикальных мазков. В известных до сих пор технических решениях было предпринято несколько попыток по автоматизации процесса анализа цервикальных мазков, исходя из очевидных коммерческих достоинств таких способов. Однако все эти попытки показали свою несостоятельность, так как основывались исключительно на классических методах теории распознавания образцов (геометрического, синтаксического, шаблонного, статистического) или же на методах распознавания образцов, основанных на искусственном интеллекте (А1), то есть на экспертных системах, действующих по определенным правилам. Однако не существуют четких алгоритмов или полного и ясного набора правил, с помощью которых цитотехник или патолог смог бы применить свой опыт для объединения множества различных особенностей цервикальных мазков для того, чтобы создать на этой основе какую-либо зримую классификацию. Исходя из этого классификация цервикальных мазков является именно той областью, где возможно применение методов распознавания образцов, основанных на нейронных сетях. Примеры ограничений известных технических решений можно найти в ссылочном материале 1987 г. под названием "Автоматизированная рованная классификация отображений на экране цервикальных проб", подготовленном Тьеном и др. более подробно который рассматривается ниже. Ссылочными материалами, представляющими интерес как первоисточники, являются следующие издания: Ремельхарт, Давид Е. и Макклелланд, Джеймс Л. "Параллельно распределенная обработка", М1Т Press, 1986, т.1; Тьен Д. и др. "Автоматизированная классификация цервикальных мазков", труды 1ЕЕЕ /Девятой ежегодной конференции общества техники в медицине и биологии, 1987, с. 1457-1458; Хект-Нильсен, Р. "Нейрокомпьютеризация: проникновение в человеческий мозг", труды 1EEE Spectrum, март 1988 г. с. 36-41; и Липманн, Ричард П, "Введение в обработку данных с применением нейронных сетей", труды 1ЕЕЕ ASSP, апрель 1987, с. 4-22. Таким образом, основной целью данного изобретения является разработка способа автоматизированной классификации цитологических образцов по их категориям, например, по категориям, имеющим диагностическое значение, и реализующая данный способ система. Более конкретно, данное изобретение включает первоначальный классификатор (иногда называемый как первичный классификатор), для предварительной классификации цитологических образцов, и последующий классификатор (иногда называемый как вторичный классификатор), предназначенный для классификации той части цитологических образцов, которые были отобраны первичным классификатором для последующей классификации, причем последующий классификатор содержит нейронный компьютер или нейронную сеть. В одном из возможных вариантов реализации первичного классификатора в его состав может входить выпускаемый промышленностью автоматизированный микроскоп в виде стандартного цитологического микроскопа, снабженного видеокамерой или матрицей прибора с зарядовой связью (ПСЗ). В этом случае каскад, содержащий микроскоп, управляется таким образом, что обеспечивает автоматическое сканирование изображения предметного стекла. С камеры изображение преобразуется в цифровую форму и передается во вторичный классификатор, который имеет форму компьютерной системы. Компьютерная система включает в себя нейронную систему (описание которой приводится ниже и которая также рассматривается в нескольких ссылочных материалах, относящихся к данному изобретению), которая используется для осуществления идентификации изображения клеток, а также для классификации этих изображений по соответствующим группам, задаваемым целями диагностики. В еще одном из возможных вариантов данного изобретения в состав первичного классификатора может входить нейронная сеть. Ниже приводится рассмотрение также и других возможных вариантов реализации данного изобретения. Еще одной из целей данного изобретения является то, что соответствующее данному изобретению устройство производит классификацию группы образцов в пределах периода времени, расходуемого обычно на эту задачу человеком при внимательном изучении изображения на экране (то есть приблизительно 15 минут на один образец). Следующей целью настоящего изобретения является то, чтобы соответствующее ему устройство выполняло классификацию на цитологических образцах, которые содержат отличные от представляющуго интерес для целей диагностики одиночного слоя клеток количества и типы объектов, находящиеся обычно в цервикальных мазках (например, объединенные группы клеток, перекрывающиеся клетки, различные остатки, лейкоциты, бактерии, слизь). Еще одной целью данного изобретения является то, чтобы оно обеспечивало рассмотренную выше классификацию на цервикальных мазках для обнаружения предзлокачественных и злокачественных клеток. Следующей целью настоящего изобретения является то, чтобы оно обеспечивало классификацию на цитологических образцах с меньшей степенью погрешности, обусловленной недостатками по сравнению с обычным способом просмотра человеком изображения цервикальных мазков на экране. Преимущество системы цитологической классификации, соответствующей настоящему изобретению, состоит в том, что такая система обеспечивает более достоверную классификацию цитологических образцов по диагностическим категориям, значимым с точки зрения медицины, то есть с меньшей степенью погрешности, вызванной недочетами. Следующее преимущество системы цитологической классификации, соответствующей настоящему изобретению, заключается в том, что такая система не требует изменения процедуры получения у пациента клеточных образцов. Дальнейшим преимуществом системы цитологической классификации, соответствующей настоящему изобретению, является то, что такая система обеспечивает достоверную классификацию в пределах узких временных рамок, что гарантирует экономическую жизнеспособность предлагаемой системы. Эти и другие цели, преимущества и особенности настоящего изобретения станут более понятными всем, кто обладает обычной квалификацией в данной области, после рассмотрения приводимого ниже детального описания наиболее предпочтительного варианта его реализации. Необходимо отметить, что опубликованные материалы, на которые делаются ссылки, определенным образом включены в описание изобретения путем ссылок в нем на соответствующие источники. Кроме того, стоит обратить внимание на то, что данное изобретение рассматривается в основном применительно к классификации цитологических образцов, представленных в форме цервикального мазка, например, как обычно поступали по отношению к Рар-испытаниям. Тем не менее, необходимо принимать во внимание тот факт, что это только один из возможных примеров реализации основных принципов настоящего изобретения, которое предназначено для применения к классификации многих других цитологических образцов. Фиг. 1 блок-схема устройства автоматической сортировки цитологических образцов, основанного на нейронных сетях, которое соответствует настоящему изобретению; фиг.2 изображение трехслойной нейронной сети такого типа, который используется в наиболее предпочтительном варианте настоящего изобретения; фиг. З блок-схема еще одного возможного варианта устройства автоматической сортировки цитологических образцов, который также соответствует данному изобретению; фиг. 4 блок-схема еще одного возможного варианта устройства автоматической сортировки цитологических образцов, который также соответствует настоящему изобретению; фиг. 5 блок-схема еще одного возможного варианта устройства автоматической сортировки цитологических образцов, который соответствует настоящему изобретению; фиг. 6 блок-схема еще одного возможного варианта устройства автоматической сортировки цитологических образцов, который также соответствует настоящему изобретению, ифиг. 7 блок-схема еще одного возможного варианта устройства автоматической сортировки цитологических образцов, который также соответствует настоящему изобретению. Фиг. 1 иллюстрирует устройство автоматической сортировки цитологических образцов, основанное на нейронных сетях, которое соответствует настоящему изобретению и которое на прилагаемых рисунках обозначено цифрой 10. В состав классификационного устройства 10 входят автоматический микроскоп II, видеокамера или прибор с зарядовой связью (ПЗС) 12, цифровой преобразователь изображения 13 и классификационные каскады 14, 15 и 16. Автоматический микроскоп II обеспечивает перемещение объектива микроскопа относительно цитологического образца, при этом видеокамера или прибор с зарядовой связью (ПЗС) 12 получает изображение или рисунок определенного участка цитологического образца. Полученное изображение передается на классификационный каскад, однако, предварительно оно преобразуется в цифровой вид с помощью цифрового преобразователя 13. В наиболее предпочтительном варианте настоящего изобретения в качестве классификационного каскада 14 используется выпускаемый промышленностью статистический классификатор, который опознает представляющие интерес клеточные ядра по оценке их интегральной оптической плотности (плотности ядерного пятна). Указанная величина представляет собой сумму оценок для элементов изображения объекта, скорректированную с учетом оптических погрешностей. По сравнению с нормальными клетками злокачественные клетки склонны иметь ядра крупнее и с более темной окраской. Объекты, которые минуют классификатор 14, состоят из предзлокачественных и злокачественных клеток, но в их состав также входят и иные объекты, имеющие высокую интегральную оптическую плотность, такие, как объединенные группы клеток, какие-либо остатки, лейкоциты и слизь. Задачей вторичного классификатора 15 является обеспечение отличия предзлокачественных и злокачественных клеток от указанных выше посторонних объектов. Для обеспечения работы вторичного классификатора в его состав вводится нейронная сеть. Детальное описание конструкции и принципа действия нейронных сетей, подходящих для оснащения вторичного классификатора 15, находится в указанном выше ссылочном материале. Краткое описание этой информации приводится ниже. Основываясь на информации о цитологическом образце, полученной первичным классификатором, вторичный классификатор используется для проверки определенных участков цитологического образца, для которых, к примеру, требуется установить, нуждаются ли они в дальнейшем сортировке или классификации. Такое дальнейшее исследование посредством вторичного классификатора может быть осуществлено на основе уже полученных в цифровом виде данных относительно изображения выбранных участков цитологического образца или же путем сбора дополнительной информации при помощи компонентов системы 11-13 или какого-либо другого выпускаемого промышленностью оптического или иного рода оборудования. Такое оборудование будет выдавать необходимые данные для использования и анализа вторичным классификатором 15. Нейронная сеть представляет собой систему с высокой степенью параллельного распределения, обладающей топологией ориентированного графа. Узлы нейронной сети обычно рассматриваются как "обрабатывающие элементы" или "нейроны", тогда как связи нейронной сети, как правило, именуются "взаимными соединениями". На каждый обрабатывающий элемент поступают несколько входных сигналов, а на выходе обрабатывающего элемента формируется выходной сигнал, который является единственным и который разветвляется на несколько копий, распределяемых, в свою очередь, по другим обрабатывающим элементам в качестве входных сигналов. Информация запоминается в виде силы соединения, известной как "вес" данного соединения. В случае асинхронной формы работы каждый обрабатывающий элемент вычисляет сумму результатов веса для каждого входного канала, умноженных на сигнальный уровень (обычно 0 или 1) для этого входного канала. В этом случае, если сумма результатов превышает установленный предел активации, выход обрабатывающего элемента устанавливается на 1, если же нет, то он устанавливается на 0. Обучение обеспечивается за счет корректировки значений весов. Что касается настоящего изобретения, то наиболее предпочтительный вариант его реализации обеспечивается путем использования трехслойной нейронной сети такого типа, который был описан в материалах Липпмана, на который делается ссылка, как "многослойный перцептрон" и который детально обсуждался в главе 8 ссылочного материала Румельхарта. Также могут быть использованы и другие типы систем нейронных сетей. Трехслойная нейронная сеть состоит из входного слоя, выходного слоя и промежуточного скрытого слоя. Промежуточный слой требуется для обеспечения внутреннего представления конфигурации связей в пределах сети. Как показано Мински и Папертом в их книге 1969 года, озаглавленной "Перцептроны" (издательство MIT Press), простые двухслойные ассоциативные сети ограничены в типах проблем, которые с их помощью могут решаться. Двухслойная сеть) обладающая только "входными" и "выходными> обрабатывающими элементами, может только представлять схемы, в которых входные конфигурации приводят к аналогичным выходным конфигурациям. Когда же практическая проблема не соответствует этому типу, требуется трехслойная сеть. Было показано, что трехслойная нейронная сеть с достаточно большим скрытым промежуточным слоем может всегда найти способ представления, который позволит установить необходимое соответствие между любой входной конфигурацией и любой требуемой выходной конфигурацией. На фиг.2 в общем виде показана трехслойная нейронная сеть, которая используется в наиболее предпочтительном варианте реализации данного изобретения. Существуют несколько важных особенностей, присущих нейронным сетям, используемым для реализации классификатора 15, которые отличают их от существующих технических решений. К их числу относятся следующие особенности. 1. Наличие слабой управляющей функции или ее полное отсутствие. Имеются только очень простые устройства, каждое из которых выполняет свой объем вычислений результатов. Задача каждого обрабатывающего элемента, таким образом, ограничена получением от соседних элементов входных данных и на основе этих входных данных вычисление значений выходных данных, которые он посылает на входы соседних элементов. Каждый обрабатывающий элемент периодически производит вычисления параллельно, но не синхронно с действиями любого из соседних элементов. 2. Вся информация заключена во взаимных соединениях. Только очень небольшое запоминание термов может происходить в виде состояний обрабатывающих элементов, причем кратковременное. Вся информация, подлежащая длительному хранению, представляется в виде значений силы взаимных соединений или "весов" между обрабатывающими элементами. Именно принципы, которые устанавливают эти веса и производят их модификацию в процессе обучения, служат отличительными особенностями одной модели нейронной сети от другой. Таким образом, вся информация, без сомнения, представлена в значении соединительных весов, а не в состояниях обрабатывающих элементов. 3. В отличие от вычислительных устройств, действующих по определенным алгоритмам, и экспертных систем цель обучения нейронных сетей состоит не в формулировании алгоритма или наборе определенных принципов. Во время обучения нейронная сеть самоорганизуется, то есть происходит установка всей системы весов таким образом, что реакция на выходе для данного входа будет наилучшим образом соответствовать тому, что называется подходящим выходом для этого входа. Адаптирующийся выбор силы взаимных соединений именно то, что позволяет нейронной сети поступить так, как будто она знает правила. Обычные компьютеры хороши в тех случаях, когда процесс получения информации можно представить в виде определенного алгоритма или охарактеризовать четкой и полной группой правил обработки информации. В иной ситуации при использовании обычных компьютеров приходится сталкиваться с большими трудностями. В то время, как обычные компьютеры могут выполнять вычислительные алгоритмы намного быстрее любого человека, они уступают человеку при решении неалгоритмических задач такого, к примеру, характера, как распознавание образов, классификация по слабо различимым признакам, достижение оптимального решения в том случае, когда сталкиваешься с множественными одновременными затруднениями. В том случае, когда необходимо провести исследование "n" экземпляров различных конфигураций с целью классификации неизвестной входной конфигурации, алгоритмическая система может выполнить эту задачу, решая ее приблизительно "n" раз. В нейронных сетях вое возможные конфигурации одновременно представляются общим набором значений весов взаимных соединений для всей системы. Нейронная сеть, таким образом, автоматически останавливается на ближайшем сочетании к вызывающему сомнения входу за один этап, в отличие от указанных выше "n" этапов. Что касается настоящего изобретения, то наиболее предпочтительный его вариант достигается использованием трехслойной сети с обратными связями, как это рассмотрено в ссылочном материале Румельхарта в связи с описанием нейронной сети для классификационного каскада 10. Обратные связи детально рассмотрены в ссылочном материале Румельхарта. Вкратце, они действуют следующим образом. Во время обучения нейронной сети погрешности (то есть разница между необходимым выходным значением при соответствующем входе и текущим значением выхода для данного входа) поступают назад с выходного слоя по направлению к среднему слою, а затем ко входному слою. Эти погрешности используются на каждом слое алгоритмом обучения для настройки значений весов взаимных соединений с тем, чтобы последующее представление используемой в качестве образца конфигурации привело бы к соответствующим выходным значениям. После обучения сети в предварительном режиме, когда отсутствуют обратные связи, неизвестные входные конфигурации классифицируются нейронной сетью по категориям, к которым они подходят наилучшим образом. Выход нейронной сети классификатора 15 показывает наличие или отсутствие предзлокачественных или злокачественных клеток. Расположение клеток на введенном предметном стекле определяется путем постоянной выдачи автоматическим микроскопом позиционных координат этих клеток в плоскости X-Y. Указанная позиционная информация передается на принтер или видеодисплей 17 вместе с диагностической информацией и данными о пациенте с тем, чтобы патологист мог проверить результаты классификации. В наиболее предпочтительном варианте данного изобретения параллельная структура нейронной сети эмулируется путем конвейерного исполнения последовательных операций, что осуществляется одной из выпускаемых промышленностью акселераторных плат к нейрокомпьютеру. Действие этих нейрокомпьютеров обсуждается в указанном сеточном материале Spectrum. В качестве устройства нейронной сети наиболее предпочтителен процессор "Дельта", который представляет собой коммерчески доступный нейрокомпьютер производства международной корпорации Саинс эппликейшн (SAIC) (см. приведенный выше ссылочный материал Хекта-Нильсена), который продемонстрировал непрерывную операционную скорость 107 взаимных соединений в секунду в режиме без обратной связи (то есть не в режиме обучения). При типовом цервикальном мазке, содержащем 100000 клеток, 1-2% клеток или приблизительно 1500 изображений будут нуждаться в обработке классификатором 15. В качестве примера порядка величин конечно данных рассмотрим обработку классификатором 15 данных, соответствующих сжатому изображению размером 50х50 элементов изображения. В данном случае входной слой нейронной сети отстоит из 2500 обрабатывающих элементов или "нейронов". Средний слой составляет приблизительно 25% от количества нейронов входного слоя или 625 штук. (Количество нейронов выходного слоя равняется количеству представляющих интерес диагностических категорий. Это небольшое число, которое не оказывает заметного влияния на приводимые оценки). Количество межкомпонентных соединений составляет таким образом (2500) (625) или приблизительно 1,5













Формула изобретения
РИСУНКИ
Рисунок 1, Рисунок 2, Рисунок 3, Рисунок 4, Рисунок 5, Рисунок 6, Рисунок 7