Тензор весы: Система дорожного весового контроля СДК.А, поосные весы автомобильные, взвешивание автомобилей

У меня есть тензор, хранящийся в файле (каждая строка файла-это матрица). В Matlab я хотел бы прочитать каждую строку, а затем создать тензор размера количество строк * размер (матрица в каждой…

Я использую предварительно обученную модель keras’, и ошибка возникла при вызове ResNet50 (weights=’imagenet’). У меня есть следующий код на сервере flask: def getVGG16Prediction(img_path): model =…

У меня есть conv-сеть, которая выводит форму тензора w/ (28, 397, 256). Я хочу реструктурировать его, чтобы создать тензор (28*256, 397), сохраняя при этом порядок оси 397, которая является…

При использовании модели keras для прогнозирования я получил ошибку ниже AttributeError: ‘Tensor’ объект не имеет атрибута ‘ndim’ Причина в том, что Весы-это массив numpy, а не тензор. Так как же…

Я пытаюсь смешать тензор TensorFlow и тензор Keras, используя информацию этого блога : Но проблемы возникают на последнем слое, когда выход должен быть тензором Keras, а не тензором TensorFlow. Есть…

Следуя разделу Temporal Encoding на странице 5 https:/ / arxiv.org/pdf/1503.08895.pdf (кстати, отличная статья), у меня есть, скажем, N много встроенных векторов размерности M. Так что мой тензор…

У меня есть тензор с именем words_conv_bigram_pool , который имеет форму (?, 1, 1, 64) , ? — это размер партии. Я пытаюсь сгладить тензор, чтобы он был (?, 64) на Flatten()(words_conv_bigram_pool) ,…

Я пытаюсь преобразовать тензор изображения, которое имеет форму (253,223), в массив numpy того же размера, чтобы я мог построить изображение. Я просмотрел документацию, и они предложили мне…

Я пытаюсь ввести последовательности переменного размера в LSTM. Поэтому я использую генератор и пакет размером 1. У меня есть (sequence_length,) -входной тензор, который встроен и выводит…

Я пытаюсь построить пользовательскую функцию потерь, которая должна использовать неизвестный размер пакета для построения большего количества тензоров. Размер партии-это dynamic форма ? ….

Как я могу использовать предварительно обученную нейронную сеть с изображениями в градациях серого?

Преобразование изображений в градациях серого в RGB согласно принятому в настоящее время ответу — один из подходов к этой проблеме, но не самый эффективный. Вы наверняка можете изменить вес первого сверточного слоя модели и достичь поставленной цели. Модифицированная модель будет работать как из коробки (с уменьшенной точностью), так и настраиваться. Изменение весов первого слоя не делает остальные весы бесполезными, как предлагают другие.

Для этого вам нужно добавить код, в который загружены предварительно обученные веса. В выбранной вами структуре вы должны выяснить, как получить веса первого сверточного слоя в вашей сети и изменить их, прежде чем присваивать свою 1-канальную модель. Требуемая модификация заключается в суммировании весового тензора по размеру входных каналов. То, как тензор весов организован, варьируется от структуры к структуре. По умолчанию PyTorch: [out_channels, in_channels, kernel_height, kernel_width]. В Tensorflow я считаю, что это [kernel_height, kernel_width, in_channels, out_channels].

Используя PyTorch в качестве примера, в модели ResNet50 от Torchvision ( https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py ) форма весов для conv1 имеет вид [64, 3, 7, 7]. Суммирование по размерности 1 дает тензор формы [64, 1, 7, 7]. Внизу я включил фрагмент кода, который будет работать с моделями ResNet в Torchvision, предполагая, что был добавлен аргумент (дюймы), чтобы указать другое количество входных каналов для модели.

Чтобы доказать это, я провел три запуска валидации ImageNet на ResNet50 с предварительно подготовленными весами. Существует небольшое различие в числах для прогонов 2 и 3, но оно минимально и должно быть неактуальным после настройки.

1. Немодифицированный ResNet50 с изображениями RGB: Prec @ 1: 75,6, Prec @ 5: 92,8
2. Немодифицированный ResNet50 с 3-канальными изображениями в градациях серого: Prec @ 1: 64,6, Prec @ 5: 86,4
3. Модифицированный 1-канальный ResNet50 с 1-канальным изображениями в оттенках серого: Prec @ 1: 63,8, Prec @ 5: 86,1

def _load_pretrained(model, url, inchans=3):
    state_dict = model_Zoo.load_url(url)
    if inchans == 1:
        conv1_weight = state_dict['conv1.weight']
        state_dict['conv1.weight'] = conv1_weight.sum(dim=1, keepdim=True)
    Elif inchans != 3:
        assert False, "Invalid number of inchans for pretrained weights"
    model.load_state_dict(state_dict)

def resnet50(pretrained=False, inchans=3):
    """Constructs a ResNet-50 model.
    Args:
        pretrained (bool): If True, returns a model pre-trained on ImageNet
    """
    model = ResNet(Bottleneck, [3, 4, 6, 3], inchans=inchans)
    if pretrained:
        _load_pretrained(model, model_urls['resnet50'], inchans=inchans)
    return model

Тензор НПФ, ООО — каталог производителя в Красноярске

Avocado: многомасштабный метод глубокой тензорной факторизации изучает скрытое представление эпигенома человека | Genome Biology

Avocado использует многомасштабную глубокую тензорную факторизацию

Чтобы получить скрытое представление генома, мы начали с модели тензорной факторизации, используемой PREDICTD. В этой модели тензор трехмерных данных моделируется тремя двумерными матрицами латентных факторов, соответствующих типам клеток, типам анализа и геномным положениям (рис. 1а). PREDICTD объединяет эти скрытые факторы простым способом, извлекая для каждого вмененного значения соответствующие строки из каждой из трех матриц скрытых факторов и линейно комбинируя их с помощью операций обобщенного скалярного произведения.Avocado улучшает этот подход двумя важными способами.

Подход глубинной тензорной факторизации Avocado. a Набор эпигеномных данных можно визуализировать как трехмерный тензор (синий), в котором некоторые эксперименты (белые клетки) еще не проводились. Avocado моделирует тензор по трем ортогональным осям, латентные факторы обучения (серый), которые представляют типы клеток (оранжевым цветом, по 32 фактора каждый), типы анализа (фиолетовым цветом, по 256 факторов в каждом) и геномную ось (красным цветом). , с 25, 40 и 45 коэффициентами для каждого из трех разрешений). b Во время процесса обучения соответствующие срезы из этих трех осей, соответствующие местоположению обучающей выборки в тензоре, объединяются вместе и передаются в нейронную сеть, состоящую из двух скрытых плотных слоев, каждый с 2048 нейронами, для получения окончательного прогноза. (зеленый)

Во-первых, Avocado обобщает PREDICTD так, чтобы связь между данными и скрытыми факторами была нелинейной, путем вставки глубокой нейронной сети (DNN) в архитектуру вместо операции обобщенного скалярного произведения (рис.1б). Отметим, что аналогичные методы «глубокой факторизации» были предложены ранее [10, 11]; тем не менее, Avocado отличается от этих методов важным образом: вместо того, чтобы перемножать три пары латентных факторов и передавать полученные векторы через DNN, Avocado вместо этого объединяет три вектора скрытых факторов для прямого ввода в DNN. Этот более общий подход позволяет Avocado встраивать информацию о типах клеток, типах анализов и положениях генома в скрытые пространства с разными размерностями.

Конкатенация также обеспечивает второе улучшение Avocado по сравнению с PREDICTD, а именно то, что модель принимает многомасштабное представление генома. Avocado использует три набора скрытых факторов для представления генома в разных масштабах: один набор факторов изучается для каждой из 115 241319 геномных координат с разрешением 25 п.н., другой набор изучается с разрешением 250 п.н., а последний набор изучается. при разрешении 5 кбит / с. Эти три шкалы длины представляют собой предварительные знания о том, что важные эпигеномные явления действуют в мелком масштабе (например,g., связывание фактора транскрипции) в масштабе отдельных нуклеосом и в более широком масштабе «доменов». Кроме того, изучая геномные представления в нескольких масштабах, скрытое геномное пространство Avocado может использовать гораздо меньше параметров, чем PREDICTD, требуя только ~ 3,4 миллиарда параметров вместо ~ 11,5 миллиарда для моделирования каждой позиции вдоль генома. В общей сложности Avocado требует только ~ 3,7% из ~ 92,2 миллиарда параметров, используемых в полном ансамбле PREDICTD из восьми моделей тензорной факторизации.

Важным шагом в разработке такой модели, как Avocado, является выбор подходящей топологии модели. Модель авокадо (см. Раздел «Методы») имеет семь структурных гиперпараметров: количество латентных факторов, представляющих типы клеток, типы анализа и три шкалы геномных позиций, а также два параметра (количество слоев и количество узлов в каждом слое). ) для глубокой нейронной сети. Чтобы выбрать эти значения, мы использовали случайный поиск по сетке гиперпараметров, выбрав набор, который лучше всего работает в соответствии с MSE на проверочном наборе с учетом пилотных областей ENCODE, выбранного 1% позиций в геноме человека (дополнительный файл 1).Результаты этого анализа показывают, что среди семи гиперпараметров два, которые контролируют размер глубокой нейронной сети, являются наиболее важными, причем Avocado лучше всего работает с 2 слоями и 2048 нейронами на слой (дополнительный файл 1: рис. S2) . Мы также обнаружили, что использование «выпадения», формы регуляризации, которая включает случайный пропуск некоторых параметров модели на каждой итерации обучения, значительно повышает производительность Avocado (дополнительный файл 2: рис. S1).

Avocado вменяет эпигеномные треки более точно, чем предыдущие методы

Мы начали наш анализ латентного представления Avocado с измерения его способности вменять эпигеномные анализы, сравнивая общую точность Avocado, измеренную среднеквадратичной ошибкой (MSE), с этой ChromImpute и PREDICTD.С этой целью мы оценили все три метода на 1014 треках эпигеномных данных из проекта Roadmap Epigenomics. Вменения из Avocado и PREDICTD были сделаны с использованием подхода пятикратной перекрестной проверки, при котором складки, используемые для Avocado, были такими же, как и для PREDICTD. ChromImpute использовал одноразовую проверку. В каждом случае значения сигналов по всему геному использовались либо для обучения, либо для тестирования. При рассмотрении полного генома мы сначала оценили три подхода с использованием трех показателей эффективности, первоначально определенных Durham et al.[5]: MSEglobal измеряет MSE по полному набору позиций; MSE1obs измеряет MSE на верхних 1% позиций в соответствии с сигналом ChIP-seq; и MSE1imp измеряет MSE на верхних 1% позиций в соответствии с вмененным сигналом. В то время как Avocado и PREDICTD работают одинаково хорошо в соответствии с MSEglobal (нескорректированное двустороннее парное t , значение p = 0,451), Avocado превосходит PREDICTD на обоих MSE1obs ( p, значение = 9,13e -6) и MSE1imp ( p. Значение = 2.60e −10) (таблица 1). Это наблюдение согласуется с наблюдением Durham et al. что PREDICTD может систематически недооценивать значения сигнала, позволяя ему хорошо набирать очки в областях с низким уровнем сигнала, но достигая более низкой точности на пиках. И наоборот, ChromImpute лучше всех работает на MSE1obs (Avocado / ChromImpute p значение = 2.37e -22, PREDICTD / ChromImpute p value = 2.85e -12), но хуже всего на MSE1imp, что предполагает возможность превышения пиков. Кроме того, Эрнст и Келлис предложили шесть других показателей эффективности оценки, которые демонстрируют те же тенденции, что и метрика MSE1imp (дополнительный файл 2: рис.S2). Затем мы сосредоточили нашу оценку на областях, представляющих особый биологический интерес, реализовав еще три показателя эффективности: MSEProm, MSEGene и MSEEnh, которые измеряют MSE условно приписанных треков по всем промоторным областям, телам генов и энхансерам, соответственно (таблица 1). Мы обнаружили, что Avocado превосходит два других метода в MSEProm (Avocado / ChromImpute , значение p = 3,98e -32, Avocado / PREDICTD , значение p = 8,73e-05) и MSEEnh (Avocado / ChromImpute , значение = 1). .72e -30, Avocado / PREDICTD , значение p = 1,50e-04), при этом производительность аналогична PREDICTD на MSEGene (значение p = 0,875). Взятые вместе, эти показатели эффективности показывают, что авокадо может хорошо вменять сигнал как по всему геному, так и в биологически значимых областях (дополнительный файл 2: таблица S1, дополнительный файл 3).

Все шесть показателей эффективности, перечисленных в таблице 1, рассматривают каждый эпигеномный анализ независимо в каждой геномной позиции.Однако эмпирически многие из этих анализов демонстрируют предсказуемые парные отношения. Например, активирующая метка h4K4me3 и репрессивная метка h4K27me3 имеют тенденцию не совместно локализоваться в пределах одной области промотора. Чтобы измерить, насколько хорошо методы вменения отражают такие попарные отношения, мы количественно оценили три конкретных парных отношения: отрицательная корреляция между h4K4me3 и h4K27me3 в промоторных областях, положительная корреляция между h4K36me3 и RNA-seq в телах генов и отсутствие корреляции между h4K4me1 и h4K27me3. в промоутерских регионах.Кроме того, мы рассмотрели две попарные взаимосвязи между анализами, которые происходят в промоторе и соответствующем теле гена: положительная корреляция между h4K4me3 в промоторах и h4K36me3 в соответствующих телах гена и противоположная для h4K27me3 и h4K36me3. Для каждой пары анализов мы оценили, насколько вмененные треки соответствуют эмпирическим отношениям между анализами (дополнительный файл 4). По всем этим оценкам, мы обнаружили, что Avocado показал наилучшие результаты при восстановлении парных отношений на 2.73 и 39,6% по сравнению с ChromImpute и от 2,89 до 6,64% по сравнению с PREDICTD, причем PREDICTD обычно идет вторым, а ChromImpute идет последним.

Мы предположили, что основной источник ошибок для всех трех методов вменения связан с трудностью прогнозирования пиков, которые возникают в некоторых типах ячеек, но не в других. Соответственно, для каждого анализа мы разделили геномные позиции на те, для которых пик никогда не возникает, те, в которых пик возникает всегда («конститутивные пики»), и те, для которых пик возникает в некоторых, но не во всех типах клеток («факультативный вершины »).Интуитивно мы ожидаем, что алгоритм сможет предсказывать непиковые или конститутивные пики более легко, чем предсказывать факультативные пики. Мы проверяем эту гипотезу, оценивая эффективность каждого из трех методов вменения в положениях генома в хромосоме 20, которые различаются количеством типов клеток, для которых наблюдается пик (см. Раздел «Методы»). Эта оценка состоит из расчета MSE, отзыва (доли истинных пиков, которые приписаны) и точности (доли импулированных пиков, которые являются истинными пиками).Воспроизведение и точность вычисляются путем установления порога либо для основного, либо для вмененного сигнала на значение 1,44, соответствующее значению сигнала p , равное 0,01, и оценки восстановления пиковых вызовов MACS2. Мы можем определить, является ли метод чрезмерным или недостаточным вызовом пика, основываясь на балансе между точностью и отзывом.

Мы обнаружили, что подобная оценка трех подходов условного исчисления объясняет наблюдаемое нами несоответствие между показателями эффективности MSE1obs и MSE1imp.В частности, мы обнаружили, что ChromImpute обычно достигает наивысшего отзыва (косвенно измеряется с помощью MSE1obs) и что Avocado обычно достигает наивысшей точности (измеряется косвенно с помощью MSE1imp) в наиболее изменчивых областях (рис. 2, дополнительный файл 2: рис. S3). ). Интересно, что ChromImpute демонстрирует более высокий отклик, но более низкую точность, чем пороговая обработка сигнала ChIP-seq непосредственно в положениях, которые имеют пик во многих типах клеток. Это наблюдение предполагает, что ChromImpute может вменять более широкие пики, которые при пороговом значении охватывают весь пик, вызванный MACS2.Высокая отзывчивость и низкая точность ChromImpute подтверждают гипотезу о том, что ChromImpute перевыпускает пики и, в частности, может предсказывать пик в положении, которое является пиком в другом типе клеток. Эти результаты также показывают, что Avocado и PREDICTD улавливают разные тенденции в модели, поскольку Avocado обычно имеет более высокий уровень отзыва в факультативных пиках, а PREDICTD имеет более высокий уровень отзыва в конститутивных пиках. Этот вывод предполагает, что можно было бы рассмотреть возможность объединения импутаций из этих подходов, чтобы получить еще более точные измерения.В целом, Avocado обеспечивает баланс между точностью и отзывчивостью, что часто позволяет достичь наилучшего MSE.

Оценка трех подходов вменения в геномных положениях, которые показывают вариации сигнала для разных типов клеток. a Схема разделения геномных локусов на примере четырех типов клеток. Пиковые вызовы MACS2 (выделены серым цветом) суммируются по каждому типу ячеек. Затем геномные локусы оцениваются отдельно на основании количества типов клеток, в которых наблюдается пик. b Каждая панель отображает указанный показатель производительности (ось y ) для различных наборов геномных положений (ось x ) для анализа h4K4me3. Для каждой точки позиции генома выбираются на основе количества типов клеток, в которых пик вызывается в этой позиции, максимум до 127. MSE вычисляется между сигналом h4K4me3 ChIP-seq и соответствующим условно вычисленным сигналом. Точность и отзыв вычисляются путем установления порога вменения на 1,44 и сравнения с узкими пиковыми вызовами MACS2 для соответствующего экспериментального сигнала.На графиках в серии, помеченной как «Дорожная карта», используются экспериментальные данные Дорожной карты, аналогичные пороговым значением 1,44 и по сравнению с вызовами с узким пиком MACS2. c Аналогично b , но с использованием DNAse-seq вместо h4K4me3. Все анализы ограничены хромосомой 20

Скрытое представление Avocado кодирует ортогональные представления данных

Продемонстрировав высокое качество вмененных треков Avocado, мы затем исследовали выученное скрытое представление Avocado.Это представление состоит из отдельных вложений для типов клеток, анализов и геномных координат. Поскольку эти встраивания ортогональны друг другу, например, встраивание типа клеток не зависит от конкретного анализа или набора геномных позиций, мы ожидали, что каждое из них будет захватывать разные аспекты данных.

Сначала мы визуализировали представление промоторов Avocado, используя аннотации из GENCODE v19, и энхансеров, используя набор «надежных энхансеров» FANTOM5, запустив UMAP [12] на их соответствующих геномных встраиваниях (рис.3а). Поскольку каждый функциональный элемент охватывает несколько локусов, мы усредняем значения фактора ± 250 п.н. либо от TSS гена, либо от середины энхансера. На рисунке мы наблюдаем три основных кластера — один, состоящий в основном из промоторов, один из в основном энхансеров, и один, смешанный между двумя. Затем мы охарактеризовали эти кластеры по их эпигеномным сигнатурам. Мы рассчитали среднюю активность h4K4me3, метки, связанной с активными промоторами, и h4K27ac, метки, связанной с активными энхансерами, в окне ± 2 т.п.н. вокруг каждого локуса для всех типов клеток, для которых были доступны экспериментальные данные.Затем мы усреднили эти профили по всем энхансерам в каждом кластере, а затем по всем промоторам в каждом кластере (рис. 3b). Это окно ± 2 кбит / с больше, чем окно ± 250 п.н., используемое для проекции встраивания генома, чтобы дать дополнительный эпигеномный контекст, но мы обнаружили, что проектирование встраивания генома с использованием окна ± 2 кбит / с дало аналогичные результаты (дополнительный файл 2 : Рис. S4). Мы наблюдаем, что промоторный кластер состоит из локусов с высокими уровнями как h4K4me3, так и h4K27ac, что локусы энхансерного кластера демонстрируют высокие уровни h4K27ac, но низкие уровни h4K4me3, и что смешанный кластер имеет низкие средние уровни обеих меток.Для более тщательного исследования локусов, составляющих смешанный кластер, мы затем сгруппировали эпигеномный сигнал этих локусов по всем типам клеток в примеры «высокого» сигнала и «низкого» сигнала и исследовали количество типов клеток, которые были сочтены высоким сигналом (дополнительные файл 5). Мы обнаружили, что смешанный кластер состоял из некоторых локусов, которые демонстрировали высокий сигнал очень специфичным для типа клеток образом, и других локусов, которые демонстрировали низкий сигнал во всех типах клеток. Эти результаты подтверждают, что геномные вложения авокадо фиксируют биологически значимые тенденции по типам клеток и анализам.

Визуализация выученных скрытых представлений Авокадо. a A UMAP-проекция встраиваний генома, обнаруженных в промоторных (синий) и энхансерных (оранжевый) областях. Показана половина всех промоторных областей вместе с равным количеством энхансеров, что составляет примерно одну четвертую от общего количества энхансеров. Показаны три ручных раздела, один с в основном промоторами (85,5%), один с в основном энхансерами (85,9%) и один смешанный (44,9% промоторов и 55,1% энхансеров). b Средние эпигеномные профили h4K4me3 (красный) и h4K27ac (синий) в промоторах и энхансерах в каждом из трех разделов, причем профили расширены на ± 2 т.п.н., чтобы показать дополнительный контекст. c UMAP-проекция встраиваемых материалов для анализа, помеченная их названиями. Цветные метки указывают на обогащение транскрибируемых областей (зеленый), ассоциацию с активной экспрессией (розовый) или ассоциацию с репрессирующей экспрессией (оранжевый). Метки, которые недостаточно охарактеризованы, окрашены в серый цвет. d UMAP-проекция вложений типов клеток, где каждый тип клеток был окрашен в соответствии с его анатомическим типом

Затем мы исследовали структуру вложений анализов. Хотя модификации гистонов играют разные роли в регуляции транскрипции генов [13–16], мы обнаружили, что проекция UMAP встраиваний анализов способна резюмировать несколько высокоуровневых тенденций (Fig. 3c). Например, ассоциированные с транскрипцией метки h4K36me3, h4K79me2, h4K79me1 и h5K20me1 находятся рядом друг с другом.Точно так же многие метки, связанные с активной экспрессией генов, такие как моно-, ди- и три-метилирование h4K4, близки друг к другу. Кроме того, h4K27me3 и h4K9me3, которые являются репрессивными метками, группируются вместе от активирующих меток. Эти тенденции, хотя, по общему признанию, основаны на проекции относительно небольшого количества точек, предполагают, что латентные факторы авокадо успешно кодируют некоторые важные аспекты биологии модификации гистонов.

Наконец, мы запустили UMAP для встраивания типов ячеек и аннотировали каждый тип ячеек его «анатомическим типом», как определено в компендиуме Roadmap (рис.3d). Мы наблюдаем отчетливую группировку типов клеток по анатомии. Более того, связанные типы ячеек, такие как iPSC и ESC, лежат рядом во встроенном пространстве. Интересно, что несмотря на то, что оба они находятся в костном мозге, гемопоэтические стволовые клетки (HSC) лежат рядом с кровяными клетками в проекции, а мезенхимальные стволовые клетки — нет. Интересно, что плюрипотентные стволовые клетки располагаются на одной стороне проекции, в то время как дифференцированные клетки группируются вдали от них, что позволяет предположить, что наше встраивание также может улавливать некоторые аспекты клеточной дифференцировки.Эти результаты подтверждаются прямым исследованием евклидовых расстояний, используемых для построения графика, который показывает похожие кластеры по типу анатомии (дополнительный файл 2: рис. S5).

Скрытое представление Avocado облегчает выполнение множества задач прогнозирования

Показав, что высокоуровневые тенденции фиксируются в изученном скрытом представлении Avocado, мы затем оценили его полезность в качестве входных данных для моделей машинного обучения для задач, для которых представление не было специально обучено для (Рис.4). Этот подход «трансферного обучения» успешно использовался в других областях, таких как обработка естественного языка [17] и компьютерное зрение [18], и в более общем плане был описан Паном и Янгом [19]. Хотя многие методы можно описать как трансферное обучение, мы используем этот термин для обозначения обучения модели для одной задачи и последующего применения модели (или ее компонентов) к некоторым другим задачам. В частности, мы предполагаем, что латентное представление Avocado может служить заменой эпигеномных данных в качестве входных данных для моделей машинного обучения в различных задачах прогнозирования генома.Одна из причин, по которой переносное обучение может быть полезным в этом случае, заключается в том, что многие геномные феномены связаны с эпигеномными сигналами, и поэтому представление, обученное предсказывать эти сигналы, также, вероятно, будет связано с этими явлениями.

Процедура оценки каждой задачи. Для каждого типа ячеек и комбинации набора функций выполняется 20-кратная перекрестная проверка, и возвращается MAP для всех 20 крат. При каждой оценке классификатор дерева решений с градиентным усилением обучается на 18-ти кратных уровнях, сходимость отслеживается на основе производительности в 19-й кратности, а производительность результирующей модели оценивается в 20-й кратности

Затем мы исследовали, существует ли скрытая Представление неявно кодирует четыре различных типа важной биологической активности: экспрессия генов, взаимодействия промотор-энхансер, время репликации и часто взаимодействующие области (FIRE).Эти задачи охватывают множество биологических явлений и источников данных, чтобы гарантировать надежность наших результатов. Для каждой задачи мы обучаем управляемую модель машинного обучения (см. Раздел «Методы»), используя один из семи наборов функций: (1) все доступные тесты ChIP-seq для рассматриваемых типов клеток, (2–4) набор из 24 анализов, рассчитанных с помощью каждого из трех методов, (5) факторы геномного положения из единой модели ансамбля PREDICTD, которая выделена на Рисунке 3 из Durham et al. [5], (6) факторы геномного положения в латентной репрезентации Avocado или (7) полный набор из 1014 ChIP-seq и DNase-seq анализов, доступных в компендиуме Roadmap (рис.4). Мы включаем полный набор анализов из компендиума Roadmap в качестве базового набора функций, потому что латентное представление Avocado изучается из этого полного набора, что позволяет нам проверить нашу гипотезу о том, что изученное представление сохраняет клеточную вариацию, удаляя при этом избыточность и технический шум. Кроме того, мы включаем изученное латентное представление PREDICTD, чтобы исследовать его полезность по сравнению со скрытым представлением Avocado. Наконец, мы сравниваем эти модели с базовым уровнем большинства, где наш прогноз для каждой выборки является просто наиболее распространенной меткой.Мы предполагаем, что если латентное представление хорошо кодирует эти явления, модели, обученные с использованием латентного представления в качестве входных данных, будут превосходить модели, обученные с использованием других наборов функций. Обратите внимание, что скрытое представление Avocado извлекается из модели, обученной на полном наборе данных Roadmap. Для прогнозирования экспрессии генов, времени репликации и FIRE мы используем классификатор с градиентным бустом из-за широкого успеха этой техники в соревнованиях по машинному обучению [20, 21], с частичным списком лучших результатов на соревнованиях Kaggle, доступным на https: / /немного.ly / 2k7W3Jh.

Экспрессия гена

Состав модификаций гистонов, присутствующих в промоторной области гена, может служить предиктором того, экспрессируется ли этот ген, как измерено с помощью анализов RNA-seq или CAGE. Соответственно, несколько предыдущих исследований показали, что модели машинного обучения могут изучать ассоциации между этими гистоновыми метками и экспрессией генов. Поскольку эксперименты с RNA-seq достаточно дешевы, чтобы их можно было проводить на любом интересующем типе клеток, типичная цель построения модели машинного обучения состоит не в том, чтобы заменить RNA-seq, а в том, чтобы лучше понять механизм экспрессии генов.Хотя может быть трудно объяснить этот механизм взаимодействием сложных латентных факторов, хорошее выполнение этой задачи указывает на то, что сложная регуляторная информация, состоящая из множества эпигеномных меток, кодируется в латентных факторах. Кроме того, предсказатель экспрессии генов может быть полезен в настройках генерации гипотез, чтобы помочь в расстановке приоритетов потенциальных экспериментов с последовательностью РНК или в исследовании поведения экспрессии небольшого количества генов во многих типах клеток, для которых были созданы эпигеномные данные.Эти исследования подошли к проблеме либо как к задаче классификации, где цель состоит в том, чтобы предсказать пороговый сигнал RNA-seq или CAGE-seq [22, 23], либо как к задаче регрессии, где цель состоит в том, чтобы предсказать RNA-seq или Сигнал CAGE-seq напрямую [24].

Мы подходим к предсказанию экспрессии гена как к задаче классификации и оцениваем способность различных наборов признаков, полученных из промоторной области гена, предсказывать, экспрессируется ли этот ген. Эта оценка выполняется в 20-кратной настройке перекрестной проверки в каждом типе ячеек индивидуально, и мы сообщаем о средней средней точности (MAP), которая является одним из методов расчета площади под кривой точности-отзыва по всем 20-кратным значениям. .Гены считаются активными в клетке, если среднее значение нормализованного числа считываний из эксперимента с последовательностью РНК по телу гена больше 0,5 (см. Раздел «Методы»).

Мы обнаружили, что латентные факторы авокадо дают лучшие модели для 34 из 47 типов клеток (рис. 5a, дополнительный файл 2: рис. S6 и таблица S2). В 11 из 13 оставшихся типов клеток (из 47 в общей сложности) модели, обученные с использованием латентных факторов авокадо, побеждают только те, кто обучен с использованием полного компендиума Roadmap, и в двух типах клеток (E053 и E054; полученные из коры и культивируемые клетки нейросферы ганглиозного возвышения), авокадо также побежден моделями, обученными с использованием вмененных эпигеномных меток ChromImpute.Ни в одном типе ячеек модели, обученные с использованием первичных данных, типичных входных данных для этой задачи прогнозирования, превосходят модели, обученные с использованием скрытого представления Avocado (нескорректированный двусторонний парный тест t p , значение 4,62e -153), выполняя хуже на 0,005–0,148 MAP. Кроме того, модели, построенные с использованием скрытого представления Avocado, превосходят модели, построенные с использованием скрытого представления PREDICTD для каждого типа ячеек, в диапазоне от улучшения на 0,002 до улучшения на 0.087 ( p значение 3.86e −101). В целом модели, построенные с использованием латентных факторов Avocado, работают на 0,006 MAP лучше, чем модели, построенные с использованием полного компендиума Roadmap ( p , значение 9,75e −21), и только на 0,001 MAP хуже, в среднем, в тех 13 типах ячеек, где они работать хуже. Хотя это улучшение поначалу кажется незначительным, мы отмечаем, что все наборы функций дают модели, которые очень хорошо работают в большинстве типов клеток, что позволяет предположить, что есть типы клеток, для которых прогноз экспрессии генов прост, а для которых — затруднительно.Соответственно, если сосредоточиться на типах ячеек, прогнозирование которых затруднено, мы замечаем, что разница в производительности между наборами функций более выражена. Действительно, когда мы рассматриваем семь типов клеток, у которых основная базовая линия является самой низкой, мы обнаруживаем, что модели, обученные с использованием латентных факторов Avocado, превосходят модели, обученные с использованием полного компендиума Roadmap, в среднем на 0,026 MAP и модели, построенные с использованием только измерений Roadmap для конкретный тип ячеек на 0,107 MAP. Эти результаты показывают, что модели, построенные с использованием скрытого представления Avocado, превосходят любой другой рассматриваемый набор функций или сравнимы с ним.

Производительность каждого набора функций при использовании для задач геномного прогнозирования. В каждой задаче модель контролируемого машинного обучения оценивается отдельно для каждого типа ячеек с использованием 20-кратной стратегии перекрестной проверки, при этом сообщается средняя средняя точность и стандартная ошибка среднего значения отображается на полосах ошибок. Каждая задача рассматривает только геномные локусы в хромосомах с 1 по 22. Задачи — предсказание ( a ) экспрессируемых генов, ( b ) взаимодействий промотор-энхансер, ( c ) время репликации и ( d ) FIRE.На панели и окраска соответствует стандартной ошибке со средней средней точностью, расположенной посередине, тогда как на других панелях средняя средняя точность показана в виде цветной полосы со стандартной ошибкой, показанной черными полосами ошибок. Статистическая значимость различий, наблюдаемых на этом рисунке, оценивается в дополнительном файле 2: Таблицы S2-5

. Чтобы подтвердить эти результаты, мы переформулировали проблему, сделав ее задачей регрессии, удалив пороговое значение для значений RNA-seq, используемых для генерации двоичных данных. этикетки.Мы наблюдали те же тенденции, что и в задаче классификации: латентные факторы авокадо дают лучшую модель для 27 из 47 типов клеток, полный компендиум Roadmap дает лучшую модель для 19 из 47 типов клеток, а ChromImpute дает лучшую модель в одном тип ячейки (дополнительный файл 2: рис. S7). В каждом типе клеток латентные факторы авокадо превзошли по эффективности, используя только эпигеномные данные, специфичные для конкретного типа клеток.

Взаимодействия промотор-энхансер

Один из многих способов, которыми экспрессия генов регулируется в линиях клеток человека, — это потенциально дальнодействующие взаимодействия промоторов с энхансерными элементами.Физические взаимодействия промотор-энхансер (PEI) можно экспериментально идентифицировать с помощью методов на основе 3C, таких как Hi-C или ChIA-PET. Однако разрешение методов 3C для всего генома может быть проблематичным, потому что контактные карты с высоким разрешением дороги в приобретении. Следовательно, прогнозирование PEI на основе более широко доступных и менее дорогих типов данных было бы чрезвычайно ценным. Соответственно, был предложен широкий спектр методов прогнозирования PEI (обзор Mora et al. [25]), в том числе те, которые объединяют энхансеры с промоторами с использованием расстояния вдоль генома [26], которые используют корреляции между эпигенетическими сигналами в промоторе. и энхансерные области [27–29], и которые используют подходы машинного обучения, основанные на эпигенетических характеристиках, извлеченных как из промоторных, так и из энхансерных областей [8].

Мы рассматриваем задачу прогнозирования физических PEI как задачу контролируемого машинного обучения с использованием функций, полученных как из промоторной, так и из энхансерной областей. Мы используем набор PEI, которые изначально были созданы для обучения TargetFinder [8], модели машинного обучения, которая предсказывала, взаимодействуют ли данные пары промотор-энхансер друг с другом, используя эпигеномные измерения, полученные из обоих регионов. Эти PEI соответствуют взаимодействиям ChIA-PET с каждым из четырех типов клеток (HeLa-S3, IMR90, K562 и GM12878) в хромосомах с 1 по 22.Мы дополнительно обрабатываем этот набор данных, чтобы удалить источник систематической ошибки, который был обнаружен после публикации исходного набора данных [30] (дополнительный файл 6). TargetFinder был разработан не для прогнозирования взаимодействий в типах ячеек, для которых не были собраны карты контактов, а для лучшего понимания связей в существующих картах контактов. Точно так же мы обучаем наш классификатор предсказывать PEI внутри каждого типа ячеек, оценивая модель регуляризованной логистической регрессии в настройке перекрестной проверки.Для сравнения мы используем тот же набор реальных и вмененных типов данных, который мы использовали для задачи прогнозирования экспрессии генов.

Мы обнаружили, что модели, обученные предсказанию PEI с использованием латентных факторов авокадо, работают лучше, чем любой другой набор функций, который мы рассматривали (рис. 5b) в IMR-90, GM12878 и HeLa-S3. В K562 использование латентных факторов авокадо уступает только латентным факторам PREDICTD. Эти улучшения средней точности по всему компендиуму Roadmap варьируются от 0.007 в K562 до 0,035 в HeLa-S3 (значения p в диапазоне от 6,97 × 10 ⁻¹⁸ до 9,45 × 10 ⁻³² , дополнительный файл 2: таблица S3). Интересно, что скрытое представление PREDICTD также превосходит полный компендиум Roadmap во всех типах ячеек (значение p 2,43 × 10 ⁻²² ).

Время репликации

Геном человека реплицируется в соответствии с программой упорядоченного времени репликации в процессе, который связан с экспрессией генов и тесно связан с трехмерной структурой генома [31, 32].Паттерны времени репликации по геному можно количественно оценить с помощью экспериментальных анализов, таких как Repli-Seq [33], которые можно использовать для разделения локусов на области с ранней и поздней репликацией. Из-за медленно меняющейся природы времени репликации по геному мы решили делать прогнозы ранней и поздней стадии репликации с разрешением 40 кб.

В соответствии с предыдущими задачами, латентное представление авокадо превосходит как первичные, так и условные эпигеномные данные из интересующего типа клеток (рис.5в). Однако, в отличие от предыдущих задач, латентные представления Avocado и PREDICTD работают аналогично друг другу. Хотя латентное представление Avocado дает модели, улучшение которых по сравнению со скрытым представлением PREDICTD является статистически значимым (значение p 0,004, дополнительный файл 2: таблица S4), эффект невелик (средняя точность 0,9453 против 0,9442). Кроме того, модели, в которых используется полный сборник «Дорожная карта», дают наиболее эффективные модели. Взятые вместе, эти результаты предполагают, что использование эпигеномных измерений для нескольких типов клеток может быть информативным для прогнозирования даже для одного типа клеток.Кроме того, похоже, что агрегирование этих скрытых пространств с гораздо более грубым разрешением (от 25 до 40 кб) может принести в жертву ценную информацию.

Часто взаимодействующие области

Трехмерная структура генома может быть охарактеризована экспериментальными методами, которые идентифицируют контакты между парами локусов в геноме высокопроизводительным способом. В частности, анализ Hi-C [34] создает карту контактов, которая кодирует силу взаимодействий между всеми парами локусов в геноме.В рамках типичной карты контактов блоки увеличенных парных контактов, называемые «топологически ассоциирующими доменами» (TAD), сегментируют геном на большие функциональные единицы, границы которых обогащены генами домашнего хозяйства и определенными эпигенетическими метками, такими как фактор транскрипции CTCF [35 ]. Недавно было обнаружено родственное явление, названное «часто взаимодействующими регионами» (ПОЖАР) [9]. Эти области обогащаются для контактов с близлежащими локусами после вычислительного учета многих известных форм смещения в экспериментальных картах контактов.FIREs обычно обнаруживаются внутри TAD, и предполагается, что они обогащены суперэнхансерами [9].

Соответственно, мы исследуем полезность латентного представления авокадо в прогнозировании ПОЖАРОВ. Наш золотой стандарт основан на измерениях Hi-C в семи типах клеток человека с разрешением 40 кб [9]. Мы формулируем каждую задачу как задачу двоичного прогнозирования, классифицируя каждый геномный локус как ОГОНЬ или нет. Обратите внимание, что любая современная прогностическая модель для элементов архитектуры хроматина, вероятно, будет включать данные CTCF, потому что эта метка сильно обогащена структурными элементами.Однако мы не включаем этот фактор в наш набор функций, потому что факторы транскрипции не были включены в сборник дорожной карты и, следовательно, не использовались для обучения модели Avocado. Кроме того, наша цель — не обучить современную модель прогнозирования пожаров, а оценить относительную полезность этих наборов функций.

Результаты прогнозирования FIRE аналогичны результатам задачи синхронизации репликации, при этом модели, обученные с использованием латентных факторов Avocado, превосходят обе модели, обученные с использованием эпигеномных данных, специфичных для конкретного типа клеток ( p , значение 6.13 × 10 ⁻⁸ ) и скрытых факторов PREDICTD (значение p 2,4 × 10 ⁻⁴ ) (рис. 5d и дополнительный файл 2: таблица S5). Модели, обученные с использованием полного компендиума Roadmap, превосходят модели, использующие латентные факторы авокадо во всех типах клеток, кроме h2 (значение p 1,85 × 10 ⁻³³ ). Это наблюдение предполагает, что включение эпигеномных измерений по типам клеток важно при прогнозировании элементов архитектуры хроматина, как это было для времени репликации, но также предполагает, что агрегирование значений этих факторов по крупным геномным локусам не так информативно, как для прогнозирования. экспрессия генов или взаимодействия промотор-энхансер.

Геномное представление авокадо кодирует большинство пиков

Далее мы стремимся понять, почему скрытое представление авокадо является таким информативным набором функций для разнообразных задач. Хорошо известным недостатком нейронных сетей является то, что их не так легко интерпретировать, как более простые модели, из-за большего количества параметров и нелинейностей, задействованных в модели. Чтобы лучше понять эти модели, недавно появились методы атрибуции признаков как средство понимания прогнозов на основе сложных прогнозных моделей.Эти методы, такие как LIME [36], DeepLIFT [37], SHAP [38] и интегрированные градиенты [39], пытаются количественно определить, насколько важна каждая функция для конкретного прогноза, приписывая ей часть прогноза. Полезным свойством этих атрибутов является то, что они суммируются с результирующим предсказанием или разницей между предсказанием и некоторым эталонным значением.

Мы решили проверить модель авокадо с помощью метода интегрированных градиентов из-за его простоты, чтобы понять роль, которую различные факторы играют в прогнозировании.Когда мы запускаем интегрированные градиенты, входными данными является набор конкатенированных скрытых факторов, которые будут использоваться для прогнозирования в определенной позиции, а выходными данными является атрибуция каждого фактора для этого прогноза, в частности, вмененного сигнала в геномной позиции. для анализа клеточного типа. Однако вряд ли отдельные факторы напрямую соответствуют отдельным биологическим явлениям. Удобно, так как атрибуции суммируются с окончательным прогнозом (за вычетом эталонного значения), мы можем суммировать эти атрибуции по всем факторам, принадлежащим каждому компоненту модели.Эта агрегация позволяет нам разделить предполагаемые сигналы на тип клетки, анализ и три шкалы геномной атрибуции.

При проверке многих геномных локусов большинство пиков кодируется в геномных латентных факторах, в то время как тип клеток и факторы анализа служат в первую очередь для заострения или заглушения пиков. Наглядным примером роли, которую играет каждый компонент, является рассмотрение пары близлежащих регионов в хромосоме 20, где пик h4K4me3 с высоким сигналом приписывается к гораздо более слабому пику GM12878 с очень узким пиком между ними (рис.6а). Внутри условных пиков факторы генома преимущественно усиливают сигнал, тогда как факторы анализа, по-видимому, увеличивают сигнал в сердцевинах обоих пиков, но ослабляют сигнал на боковых сторонах, эффективно заостряя пики. Интересно, что более слабый пик, по-видимому, имеет более выраженный сигнал от скрытых геномных факторов, который смягчается большим отрицательным сигналом от оси типов клеток. Это указывает нам на то, что в этой области наблюдается пик в некоторых типах клеток, но в GM12878 она замалчивается.Чтобы подтвердить, что эта область участвует в пике в некоторых типах клеток, мы изучили ту же область в гладкомышечных клетках двенадцатиперстной кишки (E078, рис. 6b) и наблюдали сильный пик (максимальное значение 3,70 по сравнению с 1,05 в GM12878), который усиливается. факторами типа клетки. Кроме того, в сигнале двенадцатиперстной кишки существует множество более мелких пиков, которые маскируются отрицательной атрибуцией клеточного типа. Это говорит о том, что, хотя тип клеток и факторы анализа могут иметь положительную атрибуцию, они сами не полностью кодируют пики.

Прогнозируемый сигнал h4K4me3 и соответствующие атрибуты для двух типов клеток в одной и той же области хромосомы 20. a Прогноз и атрибуции для GM12878, где высокий пик справа соединен с двумя гораздо меньшими пиками Слева. Многие короткие участки имеют положительную геномную атрибуцию, но отрицательную атрибуцию клеточного типа, которая их маскирует. b Прогнозирование и атрибуция гладкой мускулатуры двенадцатиперстной кишки. Слева теперь предсказывается заметный пик, соответствующий смене отрицательного атрибута типа ячейки на положительный.Те же короткие области, которые ранее были замаскированы атрибутами типа клеток, теперь имеют положительные атрибуции типа клеток и демонстрируют пики в вмененном сигнале.

Далее мы систематически оцениваем атрибуции каждого компонента модели, чтобы лучше понять, как работает авокадо. Наш подход к этому анализу аналогичен подходу к анализу точности методов вменения в регионах клеточной изменчивости. В частности, мы сначала разделяем позиции на интервалы на основе количества типов ячеек, которые показывают пик в этом месте; затем для каждого бина мы вычисляем среднюю атрибуцию в тех типах ячеек, для которых пик есть или не возникает (Дополнительный файл 2: Рис.S8). Таким образом, мы можем анализировать каждый из пяти компонентов модели в каждом анализе. Мы обнаружили, что, когда пики не присутствуют в сигнале, усредненные атрибуты типов клеток одинаково отрицательны для всех анализов и вариабельности сигнала в определенном положении. Кроме того, эти средние атрибуты обычно имеют большую величину в тех вариабельных локусах в типах клеток, для которых нет пика, что позволяет предположить, что факторы клеточного типа участвуют в подавлении этих пиков в результирующих вменениях.Единственный контекст, в котором приписывание среднего типа клеток является положительным, — это когда пики присутствуют в локусах, которые нечасто проявляют пики, предполагая, что факторы типа клетки могут кодировать нечастые пики. Напротив, геномные факторы обычно имеют положительные значения, когда присутствуют пики, с отрицательными значениями, соответственно встречающимися в нечастых пиках и когда пики отсутствуют. Если эти редкие пики являются результатом технического шума, а не реальной биологии, то это указывает на одну причину, по которой геномные факторы часто дают лучшие модели машинного обучения, чем экспериментальные данные.Однако это также предполагает, что геномные факторы могут оказаться бесполезными при идентификации биологических явлений, на которые указывают эти редкие пики. Интересно, что хотя значения атрибуции анализа могут быть как положительными, так и отрицательными, эти атрибуции выше, когда пики не проявляются, а не когда они есть. Непонятно, почему происходит это явление, но это также указывает на то, что геномные компоненты модели являются критическим фактором, определяющим пик авокадо.

Турбулентность: моделирование на подсеточном уровне — Scholarpedia

Моделирование на подсеточном уровне относится к представлению важных мелкомасштабных физических процессов, которые происходят в масштабах длины, которые не могут быть адекватно разрешены на вычислительной сетке.В моделировании турбулентности с использованием больших вихрей подсеточное моделирование (SGS) используется для представления эффектов неразрешенных мелкомасштабных движений жидкости (небольших вихрей, завихрений, вихрей) в уравнениях, управляющих крупномасштабными движениями, которые разрешаются в компьютере. модели. Формулировка физически реалистичных моделей SGS требует понимания физики и статистики масштабных взаимодействий в гидродинамической турбулентности и является открытым вопросом исследования в связи с тем, что турбулентность остается нерешенной проблемой в классической физике.

Моделирование больших вихрей и подсеточное моделирование (SGS)

Уравнения, которые должны быть решены в моделировании больших вихрей однофазной гидродинамики несжимаемой жидкости, получены путем фильтрации уравнений Навье-Стокса, и вместе с отфильтрованным уравнением неразрывности они читаются как \ [\ tag {1} \ frac {\ partial \ overline {\ mathbf u}} {\ partial t} + \ overline {\ mathbf u} \ cdot \ boldsymbol {\ nabla} \ overline {\ mathbf u} = — {1 \ over \ rho} \ boldsymbol {\ nabla} \ overline {p} + \ nu \ nabla ^ 2 \ overline {\ mathbf u} — {\ boldsymbol {\ nabla}} \ cdot {\ boldsymbol {\ tau}}, ~~~~~ \ boldsymbol {\ nabla \ cdot} \ overline {\ mathbf u} = 0, \]

, где \ ({\ overline {(\ dots)}} \) представляет свертку с \ (G _ {\ Delta} ({\ mathbf x}) \.\) Тензор напряжений SGS \ ({\ boldsymbol {\ tau}} \) определяется согласно \ [\ tag {2} \ tau_ {ij} = \ overline {u_iu_j} — \ overline {u} _i \ overline {u} _j. \]

Уравнения LES (или отфильтрованные NS) могут быть дискретизированы численно, используя пространственное разрешение порядка \ (\ Delta \. \), Когда \ (\ Delta \) выбрано намного больше, чем масштаб Колмогорова. , \ (\ eta_K \, \) LES обычно намного дешевле, чем прямое численное моделирование (DNS), которое требует разрешения, близкого к \ (\ eta_K \.d_ {ij} = \ tau_ {ij} — \ tau_ {kk} \ delta_ {ij} / 3 \) имеет значение, поскольку градиент его следа может быть поглощен в поле эффективного давления. В следующих разделах \ (\ tau_ {ij} \) будет использоваться для обозначения бесследной части тензора напряжений SGS, если не указано иное.