关于.net3.5中LINQ的效率问题？

beysup

为了提高运行效率，我把一个拥有几千万条记录的表从database load into memory，干掉了近3G空间 ，现在我要对这个内存中的数据进行频繁的查询获得它的subset，使用了LINQ，但效率并不满意，全部程序运行下来要几十个小时，如何提高执行效率，感觉使用LINQ比较慢，希望各位大虾赐教，谢谢

procoder

使用内存数据库试试。

woodheadz

LINQ来搞千万级数据量的工作，恐怕不是个好主意哦

espress74

其实要处理数据量的大小， 跟用不用LINQ 没有多大关系，如果要用LINQ， 最后它还是要转化成SQL语句执行，只不过是经过系统优化的延后执行。

woodheadz

楼主是用Linq2SQL做的？

huazhb

这种大数据量全loading到内存里? 你用SQL或者StoreProc在数据库里搞定然后再返回给你程序比较好把

huazhb

你如果有兴趣, 把表和需求写一下, 我来看看?

beysup

谢谢ls各位大虾，经过改进，目前效率得到显著提升，但是还要大概10小时左右

表结构很简单，就3个columns，USER_ID,TAG_ID,TAG_VECTOR，总共5000多个USERS，每个USERS有几十个到几千个TAGS，每个TAG用一个VECTOR来表示，VECTOR的SIZE是3000多，就好比是一个3000多维的向量。

问题是这样的，要计算任何两个USERS之间的所有TAGS向量夹角的余弦值，对于给定的阈值，统计满足条件的TAGS数量占其中一个USER中TAGS数量的比例，保存这个比例值。

huazhb

我的建议你可以写一个.net程序把它放到sql server中, 变成sql server的一个user function, 然后直接在sql中用sql 来调用这个function, 我相信比你load到内存中计算要快很多

xblues

这个表里面每一行数据存的是一个TAG值么？所以如果一个用户有3000个TAG，那么这个表里面就有3000条记录？

goldensun

用Linq2SQL显然是没有意义的
主要是算法问题吧
能不能提供3-5个User的数据，以及阀值，
我看到一个SQL网上经常有这样的擂台赛，就一个具体的问题由大家提供方案或者程序，看谁的方法效率最好

espress74

LINQ2SQL is already dead.

Melodyy

原帖由 espress74 于 24-3-2010 08:58 发表

                               
登录/注册后可看大图

LINQ2SQL is already dead.

为什么？哪位大侠能解释一下吗？

据我所知：
Of all the new features introduced in .Net Framework 3.5, LINQ to SQL is the most significant one.

还没开始看.Net Framework 4，莫非有新的东西代替LINQ？
不明白。。。

huazhb

Linq to sql 确实微软已经不推了.这和linq没什么关系. 现在是Entity Framework 4.0. 我觉得这些ORM的东西处理一些业务逻辑还是不错的. 但是大数据量下面的查询还是的用SQL, ORM不行的.