Увеличение масштабов нейронных сетей для глубинного обучения

15.10.2016

Компания Fujitsu объявила о разработке технологии, которая оптимизирует использование внутренней памяти графических процессоров (GPU) с целью поддержать увеличивающиеся масштабы нейронных сетей, используемых для повышения точности машинного обучения.

Одним из методов увеличения масштаба глубинного обучения является распределение одной модели нейронной сети на нескольких компьютерах и выполнение вычислений параллельно. Но большой объем данных, который должен передаваться между компьютерами, создает "пробки", значительно снижая скорость выполнения задач, пояснили в Fujitsu. Для того чтобы воспользоваться всеми возможностями графических процессоров для высокоскоростных вычислений, данные должны храниться во внутренней памяти самих процессоров. Однако этот объем, как правило, меньше объема памяти обычных компьютеров, что ограничивает возможности по увеличения масштаба нейронных сетей.

Fujitsu разработала технологию для оптимизации использования памяти и увеличения масштаба нейронных сетей для вычислений с одним графическим процессором. В новинке не используются методы параллельной организации работы, которые значительно уменьшают скорость чтения. Новая технология уменьшает необходимый объем памяти за счет повторного использования ресурсов: она позволяет в независимом режиме выполнять вычисления для создания данных промежуточных ошибок из взвешенных данных и вычисления для создания взвешенных данных из промежуточных данных. Когда обучение начинается, структура каждого слоя нейронной сети анализируется, и порядок вычислений изменяется для того, чтобы область памяти, в которой расположен больший объем данных, могла повторно использоваться, отметили в компании.

Компания использовала новую технологию в рамках платформы для глубинного обучения с открытым исходным кодом Caffe, измерив уровень потребления внутренней памяти GPU. После запуска обучения технология анализирует структуру нейронной сети и оптимизирует порядок выполнения вычислений и расположение данных в памяти для того, чтобы свободная область памяти могла повторно использоваться. При использовании ее совместно с AlexNet и VGGNet, нейронными сетями распознавания изображений, которые используются для научных исследований, новая технология Fujitsu до 2 раз увеличила масштаб нейронной сети по сравнению с предыдущими аналогами. Таким образом, используемый объем внутренней памяти графического процессора, по оценкам компании, был уменьшен более чем на 40%.

Планирует серийное использование новой технологии с 31 марта 2017 г. в рамках проекта искусственного интеллекта Human Centric AI Zinrai. Кроме того, компания планирует использовать эту технологию вместе с ранее представленной технологией для обработки данных в рамках глубинного обучения методом параллелизации графических процессоров.

<< Назад: Кошки способны лечить людей 16.10.2016

>> Вперед: У пчел есть эмоции и смены настроения 15.10.2016

Последние новости науки и техники, новинки электроники:

Новый взляд на магнитное поле Земли 31.10.2025

Магнитное поле Земли долгое время считалось относительно стабильной структурой с предсказуемой полярностью. Однако последние исследования японских ученых показывают, что электрическая организация магнитосферы гораздо сложнее и динамичнее, чем предполагалось ранее. Команда исследователей из Киотского, Нагояского и Кюсюского университетов обнаружила, что заряженные области магнитосферы обладают противоположной полярностью по сравнению с традиционными представлениями. Так, утренняя сторона магнитного щита имеет отрицательный заряд, тогда как вечерняя - положительный, вопреки прежним теориям. Юсуке Эбихара из Киотского университета отмечает, что "электрическая сила и распределение зарядов являются следствием, а не причиной движения плазмы". Исследователи пришли к этим выводам с помощью масштабного магнитогидродинамического моделирования, имитирующего взаимодействие солнечного ветра с геомагнитным полем Земли. Моделирование позволило в деталях проследить, как потоки плазмы формируют э ...>>

Влияние белка PF4 на старение крови 31.10.2025

С возрастом наш организм претерпевает множество изменений, в том числе на уровне крови и иммунной системы. Недавние исследования показали, что ключевым фактором этих изменений может быть белок PF4, или platelet factor 4, который играет важную роль в регуляции стволовых клеток костного мозга. Американские ученые из Университета Иллинойса в Чикаго обнаружили, что с возрастом уровень PF4 значительно снижается. Это ослабление контроля над кроветворными стволовыми клетками приводит к нарушению их работы и повышает вероятность развития воспалительных процессов, онкологических заболеваний крови и сердечно-сосудистых проблем. В молодом организме PF4 выполняет функцию "регулятора роста": он контролирует распределение и деление кроветворных стволовых клеток, не позволяя им чрезмерно размножаться. С возрастом эта система контроля ослабевает, клетки начинают делиться чаще, накапливают генетические мутации и постепенно теряют способность создавать полноценные лимфоциты, что ослабляет иммуните ...>>

Музыка юности остается с нами навсегда 30.10.2025

Музыка сопровождает человека всю жизнь, но некоторые мелодии и песни оставляют особенно глубокий след в памяти. Ученые давно замечали, что композиции из подросткового возраста вызывают сильные эмоции даже спустя десятилетия, и недавно международная команда исследователей под руководством Университета Ювяскюля (Финляндия) подтвердила этот эффект научно. В исследовании приняли участие около 2000 человек из 84 стран. Ученые выявили явление, которое они назвали "пиком воспоминаний": эмоциональная привязка к музыке достигает максимума примерно в 17 лет. Именно песни этого периода чаще всего остаются значимыми и вызывают яркие эмоции долгие годы спустя. Интересно, что у мужчин и женщин наблюдаются разные временные рамки этого пика. У мужчин он приходится примерно на 16 лет, тогда как у женщин - на 19. Исследователи объясняют это различие особенностями формирования музыкальной идентичности: юноши чаще ищут самостоятельность и бунт, а девушки связывают музыку с личными отношениями и пере ...>>

Сплав Cr-Mo-Si с уникальными свойствами 30.10.2025

Разработка материалов, способных работать в экстремальных условиях, остается одной из ключевых задач современной инженерии. Особенно это важно для авиации и энергетики, где повышение термостойкости компонентов напрямую влияет на эффективность и надежность оборудования. Международная группа исследователей объявила о создании нового металлического сплава, обладающего уникальным сочетанием свойств: высокой термостойкостью, устойчивостью к коррозии и сохранением пластичности даже при комнатной температуре. Новый сплав содержит хром, молибден и всего 3 атомных процента кремния. Именно кремний способствует формированию плотного слоя оксида хрома на поверхности металла, который действует как невидимый барьер против кислорода и азота при высоких температурах. В отличие от предыдущих сплавов, этот защитный слой формируется без хрупких силицидов, которые обычно снижали пластичность и делали материалы склонными к трещинам. По словам профессора Мартина Гайльмайера из Института технологий Кар ...>>

Открыт лед, замерзающий при комнатной температуре 29.10.2025

Изучение воды продолжает приносить удивительные открытия: несмотря на то, что эта жидкость кажется хорошо известной, она способна проявлять необычные свойства в экстремальных условиях. Международная команда ученых недавно обнаружила новый вид льда, который формируется при комнатной температуре, если вода подвергается сильному давлению. Это открытие не только расширяет наши знания о воде, но и помогает лучше понять процессы в недрах планет и их спутников. Исследователи из Корейского института стандартов и науки совместно с европейскими коллегами, работающими на рентгеновском лазере на свободных электронах (XFEL) в Германии, провели серию экспериментов с водой в динамической ячейке с алмазными наковальнями. Давление изменялось от 0,001 гигапаскаля до 120 гигапаскалей в секунду - в миллионы раз выше атмосферного, при этом температура поддерживалась около 25 °C, близкой к комнатной. В течение сотен циклов ученые наблюдали, как вода многократно замерзает и тает, фиксируя каждый этап с ис ...>>

Случайная новость из Архива Нейрокомпьютер Darwin Monkey имитирует мозг макаки 05.08.2025 Ученые КНР разработали нейрокомпьютер, имитирующий мозг макаки. Новый компьютер под названием Darwin Monkey был разработан в Государственной лаборатории нейромашинного интеллекта при Чжэцзянском университете в Китае. В основу проекта легла система из 960 нейроморфных чипов третьего поколения Darwin 3, разработанных совместно с исследовательским центром Zhejiang Lab. Каждый из этих чипов способен эмулировать более 2,35 миллиона импульсных нейронов и сотни миллионов синапсов, используя специализированные инструкции для вычислений, приближенных к работе настоящего мозга. Система включает 15 серверов, выполненных в форм-факторе блейд, что позволяет с высокой плотностью размещать нейроморфные модули. В совокупности Darwin Monkey может моделировать более двух миллиардов нейронов и свыше ста миллиардов синапсов, тем самым приближаясь по сложности к настоящему мозгу макаки. При этом энергопотребление системы составляет около двух киловатт, что делает ее достаточно экономичной для вычислительной платформы такого уровня. Компьютер способен не только на выполнение простых задач, но и на полноценную когнитивную деятельность. По сообщениям Global Times, он уже используется для запуска модели мозга под названием DeepSeek, которая позволяет осуществлять логические операции, генерировать контент и даже решать математические задачи. Программная среда, созданная специально для этой платформы, включает механизмы нейроморфного онлайн-обучения, вдохновленные естественным обучением мозга. Darwin Monkey не просто имитирует нейронную активность - он способен интегрировать функции зрения, слуха, речи и обучения в единую модель. Это приближает его к возможностям живого организма, а не просто вычислительной машине. Такой уровень функциональности становится возможен благодаря архитектурным решениям, которые воссоздают сложные нейронные связи и взаимодействия в цифровом виде. Разработка Darwin Monkey стала продолжением общемировой тенденции в области нейроморфных вычислений. Например, в 2024 году компания Intel представила свою систему Hala Point, поддерживающую 1,15 миллиарда нейронов. Она была развернута в рамках проекта Министерства энергетики США в Сандийских национальных лабораториях. Однако китайская разработка шагнула дальше - и по масштабам, и по глубине имитации нейронной деятельности. Примечательно, что нейрокомпьютер Darwin Monkey способен моделировать не только мозг макаки, но и нервные системы более простых животных, таких как рыбки данио-рерио, мыши и даже черви Caenorhabditis elegans. Это открывает широкие перспективы в области биологических и медицинских исследований, позволяя ученым создавать детализированные цифровые модели живых организмов.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2025