GoClick:轻量级GUI自主交互元素定位模型
GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction
Hongxin Li, Yuntao Chen, Zhaoxiang Zhang
⭐ 4
• 本文提出GoClick,一个专为移动设备GUI元素定位设计的轻量级视觉语言模型。
• 该模型仅有2.3亿参数,却能实现高精度,有效解决了轻量化与性能之间的平衡。
• GoClick采用编码器-解码器架构,并结合渐进式数据精炼技术进行训练,确保了高效与准确性。
• 旨在支持移动端图形用户界面的自主交互,极大地提升了自动化操作和用户体验。
🔗 arXiv · 🤗 HF
#GUI交互 #元素定位 #视觉语言 #轻量级模型 #自主交互 #移动应用
GoClick: Lightweight Element Grounding Model for Autonomous GUI Interaction
Hongxin Li, Yuntao Chen, Zhaoxiang Zhang
⭐ 4
• 本文提出GoClick,一个专为移动设备GUI元素定位设计的轻量级视觉语言模型。
• 该模型仅有2.3亿参数,却能实现高精度,有效解决了轻量化与性能之间的平衡。
• GoClick采用编码器-解码器架构,并结合渐进式数据精炼技术进行训练,确保了高效与准确性。
• 旨在支持移动端图形用户界面的自主交互,极大地提升了自动化操作和用户体验。
🔗 arXiv · 🤗 HF
#GUI交互 #元素定位 #视觉语言 #轻量级模型 #自主交互 #移动应用
模拟检索器:用于模拟电路检索的跨模态表示学习
AnalogRetriever: Learning Cross-Modal Representations for Analog Circuit Retrieval
Yihan Wang, Lei Li, Yao Lai, Jing Wang, Yan Lu
⭐ 1
• AnalogRetriever是一个统一的三模态检索框架,旨在通过整合多种数据形式来增强模拟电路设计。
• 该框架能够将电路原理图、文本描述和网表结构编码到一个共享的嵌入空间中,实现高效的跨模态检索。
• 它利用视觉语言模型处理图像和文本数据,并结合图卷积网络来理解网表等结构化信息。
• 通过这种方式,AnalogRetriever为模拟电路的快速检索提供了强大支持,从而加速设计与开发流程。
🔗 arXiv · 🤗 HF
#模拟电路 #跨模态检索 #多模态学习 #图神经网络 #视觉语言模型
AnalogRetriever: Learning Cross-Modal Representations for Analog Circuit Retrieval
Yihan Wang, Lei Li, Yao Lai, Jing Wang, Yan Lu
⭐ 1
• AnalogRetriever是一个统一的三模态检索框架,旨在通过整合多种数据形式来增强模拟电路设计。
• 该框架能够将电路原理图、文本描述和网表结构编码到一个共享的嵌入空间中,实现高效的跨模态检索。
• 它利用视觉语言模型处理图像和文本数据,并结合图卷积网络来理解网表等结构化信息。
• 通过这种方式,AnalogRetriever为模拟电路的快速检索提供了强大支持,从而加速设计与开发流程。
🔗 arXiv · 🤗 HF
#模拟电路 #跨模态检索 #多模态学习 #图神经网络 #视觉语言模型
❤1